Вход
huffson.com
huffson.com
testopay.com

Почему Яндекс не индексирует сайт (9 причин) и что делать?

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   10:41

Эта заметка посвящена разбору ответов на вопросы по индексации Яндексом страниц сайта. Вопросов весьма много, но все они похожи. Думаю, данная статья и будет ответом на все из них.

почему яндекс не индексирует сайт

Как правило, подобные вопросы приходят от новичков в таком виде: Яндекс не индексирует страницы кроме главной, а с Google всё в порядке - почему, что делать?

Вообще, прежде чем беспокоиться, нужно знать следующее: Яндекс (за редким исключением) всегда всё индексирует медленнее Google.

Так что если вы недавно создали свой первый сайт, отправили его в инструменты вебмастера Yandex и Google и в Гугле всё проиндексировалось быстро, а в Яндексе какие-то задержки - нужно просто подождать. Обычно до месяца, в среднем - 2 недели.

Теперь рассмотрим более тяжёлые случаи. Рассматриваются, прежде всего, "белые и хорошие" веб-ресурсы, не попавшие под фильтры, санкции поисковиков, а недавно созданные, но имеющие проблемы с индексацией Яндексом.

Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)

1) Robots.txt

Не закрыт ли вход на ваш сайт через файл Robots.txt. Вероятность того, что вход поисковым роботам закрыт "случайно" близка к нулю, но всё-таки проверить можно.

2) Тег noindex

Тег "noindex" какой-нибудь код "/noindex" используется для того, чтобы какой-нибудь кодне попал в индекс Яндекса. На некоторых веб-ресурсах бывает ошибка: где-нибудь в шапке сайта этот noindex открыли, а закрыть забыли :). В результате весь код страницы получается "спрятанным" от робота.

3) Язык сайта

Всё-таки Yandex ориентирован больше на Рунет, поэтому могут быть проблемы с индексацией, если язык вашего сайта отличен от языков стран СНГ. Но даже если и так, то следует обратиться в Службу поддержки вебмастеров.

Если и Яндекс, и Google и другие ПС сайт не индексируют

В дополнение к предыдущему. Если замечаете, что есть какие-то проблемы и с другими ПС, то следует кое-что проверить.

4) Мета-тег Robots

Если вдруг на странице есть что-нибудь такое: 

пример записи мета роботс

то такая страница не будет индексироваться.

5) Кривая HTML-разметка

Если нарушена вложенность тегов, например, есть что-то такое: 

не валидная разметка

то у поисковых роботов могут возникнуть проблемы с разбором содержимого страницы. В результате страница или не проиндексируется вовсе, или будет ухудшено её ранжирование.

6) Время загрузки сайта

У всех поисковых роботов есть лимит по обращениям к веб-страницам. Если после нескольких обращений страница не отреагировала, то робот так и не узнает, что же нужно было поместить в свой индекс.

Это не значит, что для успешной индексации необходима загрузка страниц за доли секунды, но хотя бы 4 секунды - уже хорошо.

На время загрузки сайта влияет также качество хостинга. Если с вашим хостингом не всё в порядке - значит пора переезжать на новый хостинг.

7) Ошибки сервера с кодом 4xx и 5xx

Прежде всего, это ошибка 500 - внутренняя ошибка сервера. Её возникновение связано, опять же, с качеством хостинга, а также с корректностью серверных скриптов на сайте.

Ну и ошибка 404 (страница не найдена) для существующих на самом деле страниц. Бывает и такое: страница есть, всё с ней нормально, но выдаёт она код 404. Поэтому поисковый робот (думая, что её нет) не индексирует её.

8 ) Не настроена склейка домена с www и без www

Это не всегда вызывает проблемы, но лучше бы, чтоб ваш веб-ресурс открывался по однозначному адресу - одно из двух

  • site.ru
  • www.site.ru

Для Яндекса настроить всё это можно в файле Robots.txt или указать главное зеркало в панели вебмастера. Но лучший вариант - правильно настроить 301-й редирект в файле .htaccess. Уже готовый файл .htaccess есть в 3-м уроке этого СЕО-курса.

9) Самое неприятное - домен с "плохой" историей

Возможно, вам удалось подобрать такое доменное имя для своего сайта, которое в прошлом заслужило отрицательный авторитет у поисковых роботов.

Например, это был дорвей или adult-ресурс. Или он очень активно торговал ссылками с автобирж (Sape и др.), за что получил бан в Яндексе или Гугле (ну или что-то помягче, но тоже ничего хорошего).

В общем, если на этом домене был сайт, злоупотреблявший Black-SEO методами, то к вашему ресурсу поисковики будут некоторое время относиться по-особому и долго не будут индексировать по-нормальному.

Так, например, было с web-ru.net. Мне показалось, что это неплохое доменное имя и я сразу купил его, не проверив его историю.

Домен был куплен 29 октября 2011, первые публикации начались в ноябре. Но до 27 декабря в индексе была только одна страница. Причём Яндекс как будто дважды проиндексировал главную страницу:

Yandex ошибся в рассчётах

Если у вас в панели Яндекс.Вебмастер есть подобные глюки - то связано это, скорей всего, с плохой доменной историей.

В моём случае web-ru.net влетел в индекс поисковиков (как Гугла, так и Яндекса) лишь под новый год.

Ранее на данном домене располагался какой-то автомобильный ресурс, очень активно торгующий ссылками с автобирж, имеющий вредоносный код и ещё делающий что-то плохое :).

В общем, это наверное всё, из-за чего Яндекс не будет индексировать нормальный, человеческий сайт. Повторюсь, здесь я не упоминаю о фильтрах и разных наказаниях, их может быть много и приобретаются они уже по мере развития ресурса.

Если же с вашим сайтом всё нормально (исходя из 9 описанных выше пунктов), то нужно подождать.

Но никогда не следует стесняться писать в поддержку Яндекса - люди там отзывчивые и отвечают всегда (хотя время ответа может затянуться и на пару недель).

Обращение в поддержку может, например, вывести ресурс из пугающего многих вебмастеров АГС и т.п.

А по поводу индексации просто пишем: Мне кажется, с моим проектом всё нормально, он новый, недавно созданный, но Яндекс почему-то не индексирует сайт. Что мне делать?

Вот и всё. Отвечают конкретно или же многозначительно намекают ;).

Юрген
Пользователь

Сообщений: 14

Благодарности: 0

На форуме: с 12.08.21

05 апр 2022   11:16

Спасибо за разбор полетов с индексацией яндекса. Скажу о гугле, большинство только смотрят что страница проиндексирована и думают что все ок, а в каком индексе она основном или дополнительном нет. Если процент в основном индексе очень мал, это также может быть проблемой плохой индексации Яндексом, проверял не на одном проекте.

Apxuk
Пользователь

Сообщений: 10

Благодарности: 0

На форуме: с 10.08.21

05 апр 2022   11:17

А что делать если сайту год без недели, а я в Яше проиндексировано 0 страниц, в google есть? %) ((

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   11:18

[quote=Apxuk]А что делать если сайту год без недели, а я в Яше проиндексировано 0 страниц, в google есть?[/quote]

Яндекс всегда медленнее индексирует чем гугл, но год это очень много - пишите в Яндекс вопрос "почему".

Vitalik77
Пользователь

Сообщений: 11

Благодарности: 0

На форуме: с 09.08.21

05 апр 2022   11:19

Подскажите господа хорошие. Почему Яша сайт индексирует(все страницы видит), всё норм, а когда провожу анализ сайта различными «анализаторами», пишет, что в яндекс каталоге нет?

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   11:20

[quote=Vitalik77]Подскажите господа хорошие. Почему Яша сайт индексирует(все страницы видит), всё норм, а когда провожу анализ сайта различными «анализаторами», пишет, что в яндекс каталоге нет?[/quote]

Яндекс каталог это не поиск, туда добавлять надо и скорее всего платно.

Серый
Пользователь

Сообщений: 17

Благодарности: 0

На форуме: с 08.08.21

05 апр 2022   11:21

Через сколько примерно начинает индексироваться новый сайт в яндексе (среднее значение)? На моем сайте каким-то чудом одна страница только попала в индекс яндекса и все. А основной робот еще не приходил в гости походу…

Гугл же проиндексировал почти все.
В техподдержке яндекса ответили дежурной фразой «спасибо ,что обратили наше внимание…» и тишина.

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   11:22

[b]Серый[/b], Ну тишина-то эта когда-нибудь закончится. Подождите ответа или напишите им ещё раз. Среднего значения скорей всего нет

Com4y
Пользователь

Сообщений: 5

Благодарности: 0

На форуме: с 06.10.21

05 апр 2022   11:22

Согласен, что хуже всего покупать домены, которые были забанены поисковыми системами. Мне пришлось почти год переписываться с техподдержкой и работать над сайтом.

Grisha
Пользователь

Сообщений: 7

Благодарности: 1

На форуме: с 06.10.21

05 апр 2022   11:23

Здравствуйте, как раз интересуюсь вопросом «Почему Яндекс не индексирует сайт (в то время как с Google всё Ok)». Как вы считаете, может это происходить из-за того, что у меня бесплатный blogger-овский домен .com. В вебмастере висит уже много месяцев с 2 страницами, загруженными быстророботом. Что можно сделать?

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   11:24

[b]Grisha[/b], 

Нет, причина точно не в этом.
Пишите в поддержку Яндекс.Вебмастера.

P.S.
Хотя сейчас обратил внимание, что с corolesja.blogspot.COM у вас перекидывает на corolesja.blogspot.RU, а в robots.txt прописан sitemap для .com-домена.
В общем, напишите в поддержку

Света
Пользователь

Сообщений: 6

Благодарности: 0

На форуме: с 15.07.21

05 апр 2022   11:27

Я несколько лет писала статьи для биржи Адвего и успешно продавала их. Так что писать уникальные статьи для сайтов умею. Создала свой блог. Первые статьи сразу же попали в ТОП. А потом вдруг – этот фильтр. Что это значит? Статьи все мои с уникальностью не меньше 95%. Что делать.

Em99
Пользователь

Сообщений: 7

Благодарности: 1

На форуме: с 18.10.21

05 апр 2022   11:28

отличная статья, то что искал! буду проверять на наличие noindex на страницах, возможно, именно с этим связаны проблемы с индексацией в Яндексе (только морда в индексе). С Гуглом все ок, довольно быстро индексирует новые статьи. Спасибо за материал! =)

birds
Администратор

Сообщений: 626

Благодарности: 87

На форуме: с 02.03.20

05 апр 2022   11:29

Хочу дополнить:
Всегда проверяйте параметры индексации в Яндекс Вебмастер и Google Analistic.

Был сайт по продаже оборудования по всему миру. Яндекс по умолчанию автоматически внёс его в индекс только по нескольким упоминаемым на сайте городам. Причём проверка из Москвы показывает нормальную выдачу по запросу, а из других городов — нет.

Корж
Пользователь

Сообщений: 6

Благодарности: 0

На форуме: с 14.08.21

05 апр 2022   11:30

Народ, чего вы так паритесь по этому яндексу? И уж тем более сравниваете его с гуглом. Какие мощностя у гугу и какие у яши))) Это всё равно, что равнять слона и дробину))) Нет у яндекса такой возможности быстро индексировать сайты. Потому и ссылаются на якобы всякие правила. Я свой сайт вообще нигде не регил, и яша нашёл и и гугл, гугу 160 страниц индекса, яша 3))) Тут ещё правильно нужно сайтмап.хмл и робот.тхт, обновлять сайтмап после добавления новостей… Вон смотрю сайты с тиц 700 у яши даже в каталогах не числятся, правда сайт с 2009 года и посетителей под лям в сутки))) Так что плевал я и на яндекс и на его каталоги))) Всему своё время, когда оборудования докупит яндекс, тогда и индексация ускорится