Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.
Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке - почему, что делать?
Вообще, прежде чем беспокоиться, нужно знать следующее: Яндекс (за редким исключением) всегда всё индексирует медленнее Google.
Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки - нужно просто подождать. Обычно до месяца, в среднем - 2 недели.
Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, "белые и хорошие" веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.
Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)
1) Robots.txt
Не закрыт ли вход на ваш сайт через файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт "случайно" близка к нулю, но всё-таки проверить можно.
2) Тег noindex
Тег "noindex" какой-нибудь код "/noindex" используется для того, чтобы какой-нибудь кодне попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот noindex открыли, а закрыть забыли :). В результате весь код страницы получается "спрятанным" от робота.
3) Язык сайта
Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.
Если и Яндекс, и Google и другие ПС сайт не индексируют
В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.
4) Мета-тег Robots
Если вдруг на странице есть что-нибудь такое:
то такая страница не будет индексироваться.
5) Кривая HTML-разметка
Если нарушена вложенность тегов, например, есть что-то такое:
то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.
6) Время загрузки сайта
У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.
Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды - уже хорошо.
На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке - значит пора переезжать на новый хостинг.
7) Ошибки сервера с кодом 4xx и 5xx
Прежде всего, это ошибка 500 - внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.
Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.
8 ) Не настроена склейка домена с www и без www
Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу - одно из двух
Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант - правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.
9) Самое неприятное - домен с "плохой" историей
Возможно, вам удалось подобрать такое доменное имя для своего сайта, которое в прошлом заслужило отрицательный авторитет у поисковых роботов.
Например, это был дорвей или adult-ресурс. Или он очень активно торговал ссылками с автобирж (Sape и др.), за что получил бан в Яндексе или Гугле (ну или что-то помягче, но тоже ничего хорошего).
В общем, если на этом домене был сайт, злоупотреблявший Black-SEO методами, то к вашему ресурсу поисковики будут некоторое время относиться по-особому и долго не будут индексировать по-нормальному.
Так, например, было с web-ru.net. Мне показалось, что это неплохое доменное имя и я сразу купил его, не проверив его историю.
Домен был куплен 29 октября 2011, первые публикации начались в ноябре. Но до 27 декабря в индексе была только одна страница. Причём Яндекс как будто дважды проиндексировал главную страницу:
Если у вас в панели Яндекс.Вебмастер есть подобные глюки - то связано это, скорей всего, с плохой доменной историей.
В моём случае web-ru.net влетел в индекс поисковиков (как Гугла, так и Яндекса) лишь под новый год.
Ранее на данном домене располагался какой-то автомобильный ресурс, очень активно торгующий ссылками с автобирж, имеющий вредоносный код и ещё делающий что-то плохое :).
В общем, это наверное всё, из-за чего Яндекс не будет индексировать нормальный, человеческий сайт. Повторюсь, здесь я не упоминаю о фильтрах и разных наказаниях, их может быть много и приобретаются они уже по мере развития ресурса.
Если же с вашим сайтом всё нормально (исходя из 9 описанных выше пунктов), то нужно подождать.
Но никогда не следует стесняться писать в поддержку Яндекса - люди там отзывчивые и отвечают всегда (хотя время ответа может затянуться и на пару недель).
Обращение в поддержку может, например, вывести ресурс из пугающего многих вебмастеров АГС и т.п.
А по поводу индексации просто пишем: Мне кажется, с моим проектом всё нормально, он новый, недавно созданный, но Яндекс почему-то не индексирует сайт. Что мне делать?
Вот и всё. Отвечают конкретно или же многозначительно намекают ;).
