Технические вопросы продвижения ресурсов

Как узнать, забанен ли сайт в Яндексе?

Абсолютно точно — никак, только по косвенным признакам. Например, посмотреть, есть ли сайт в индексе. Существует несколько способов:

1) использовать оператор url="site.ru*" в поле запроса
2) использовать параметр &surl=site.ru в адресной строке
3) использовать параметр &serverurl=site.ru в адресной строке

Они дают разные результаты, потому рекомендуется проверить все три. Так же, для удобства, можно воспользоваться сервисом be1.ru.

Если ни один из способов не дал результатов и вы при этом точно знаете, что ваш сайт известен Яндексу, то, скорее всего, это бан.

Какой у Яндекса язык поисковых запросов?

Синтаксис поисковых запросов Яндекса можно посмотреть здесь и здесь.

Кроме того, здесь можно узнать, как Яндекс обрабатывает файл robots.txt.

Какой у Гугла язык поисковых запросов?

Синтаксис поисковых запросов Гугла.

Как посмотреть выдачу поисковиков без без фильтров?

Добавить в урл запроса параметры: для Гугла — &filter=0, для Яндекса — &rd=0, для Рамблера — &noglue=1, для Yahoo — &dups=1.

Как можно обойти сендбокс («песочницу») в Гугле?

Информация не на 100% достоверная, как, впрочем, и почти всё, что связано с поисковиками.

Найдите старый домен, который уже вышел из сендбокса
Сделайте на нем субдомен
Скопируйте полностью ваш «запесоченный» сайт на этот субдомен
Модифицируйте даты создания файлов на новом субдомене так, будто субдомен был создан вскоре после старого домена (т.е. искусственно делаем его старым)
Поставьте ссылку с основного домена на субдомен, чтобы он проиндексировался
Когда он проиндексируется, поставьте с него 301 редирект на новый домен

Как представляются роботы Гугла?

Роботы Google представляются всегда одинаково:
Googlebot/2.1 (+http://www.google.com/bot.html)
Ходят оне с разных адресов.

Какие метатеги поддерживает Гугл?

<meta name="googlebot" content="nosnippet">
запрет выдачи сниппетов в поиске (кэш при этом тоже не создаётся)

<meta name="googlebot" content="noarchive">
запрет кэширования документов для Гугла, если указать:
<meta name="robots" content="noarchive">
то этот метатег также будет работать для Ask, Live и Yahoo

<meta name="googlebot" content="unavailable_after: 23-Jul-2007 18:00:00 EST">
контент должен быть недоступен в поиске с указанного числа.

Как проверить индексацию сайта роботом Google?

источник

Дописать в урл запроса поиска по сайту (site:domen.com) параметр &as_qdr. Этот параметр дописывается в URL, если использовать расширенный поиск по диапазону дат.

&as_qdr позволяет увидеть страницы, которые были загружены роботом за указанный промежуток времени. Эта переменная может принимать следующие значения:
&as_qdr=d (day - за один день)
&as_qdr=w (week - за неделю)
&as_qdr=m (month - за месяц)
&as_qdr=y (year - за год).

Кроме того, можно писать &as_qdr=d5, тогда получите проиндексированные страницы за последние пять дней.

Как быстро создать большое количество субдоменов?

Вопрос не то, чтобы совсем оптимизаторский, но часто требуется.

Добавляем в конфиг-файл DNS-зоны сайта сроку:

*.mydomain.com. 14400 IN CNAME mydomain.com.

Создаём алиас для желаемого домена в конфиг-файле сервера httpd.conf в разделе VirtualHost:

ServerAlias *.mydomain.com

Далее, в корневой директории создаем .htaccess с таким содержанием:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^(.+)\.mydomain\.com$ [NC]
RewriteCond %{HTTP_HOST} !^www\.mydomain\.com$ [NC]
RewriteCond %{REQUEST_URI} !^/sub
RewriteRule ^(.*) %{HTTP_HOST}$1
RewriteRule ^(.*)\.mydomain\.com(.*) /sub/$1$2
RewriteRule ^sub\.(.*) /sub/$1

В корне сервера создаем папку sub — все папки в ней станут субдоменами.

Как автоматически убирать префикс www при запросе адреса?

Создать файл .htaccess с таким содержимым:

RewriteEngine On
RewriteCond %{HTTP_HOST} ^www.site.ru$
RewriteRule ^(.*)$ http://site.ru/$1 [R=301,L]

Это нужно для того, чтобы избавиться от проблем с «зеркалами» — всегда будет виден только один адрес сайта.

Как запретить индексацию HTTPS-адресов?

Создать файл robots-https.txt с запретом индексации:

User-agent: *
Disallow: /

и добавить в корневой файл .htaccess такую запись:

RewriteEngine On
RewriteCond %{HTTPS} on
RewriteRule ^robots\.txt$ robots-https.txt

Фильтрация трафика по ip и языку

В .htaccess в корневом каталоге сервера пишем:

RewriteEngine on
// фильтруем по айпишнику:
RewriteCond %{ENV:GEOIP_COUNTRY_CODE} ^ru$
RewriteRule ^(.*)$ http://куда_слать_русский_траф.ru [L]
// фильтруем по языку браузера:
RewriteCond %{HTTP_ACCEPT_LANGUAGE} ru.* [NC] 
RewriteRule ^(.*)$ http://куда_слать_русский_траф.ru [L]