Ошибка Я.Вебмастер:
файлы Sitemap давно не обновлялись
Sitemap.xml – это файл, в котором содержатся данные о структуре сайта. Он находится в корневой папке ресурса наряду с robots.txt. Карта сайта обычно доступна по ссылке название сайта/sitemap.xml.
Одной из самых наиболее распространенных проблем, с которой регулярно сталкиваются пользователи Я.Вебмастер является сообщение «Файлы Sitemap давно не обновлялись». Сервис акцентирует внимание на том, что в файлах карты сайта нет изменений с undefined. Я.Вебмастер предлагает проверить необходимо ли обновление файлов Sitemap.
Как обновить Sitemap
Чтобы обновить Sitemap воспользуйтесь одним из сервисов для генерации карты сайта. При этом, для снижения вероятности возникновения проблемы в дальнейшем, рекомендуется не выгружать значение last-modified, особенно, если оно не отображает реальную дату последней корректировки страницы (особенно актуально для небольших сайтов, у которых нет проблем с краулинговым бюджетом для обхода).
После обновлении карты на сайте, сообщите об этом Яндекс Вебмастеру.
Как ошибаются вебмастеры при обновлении sitemap
Перед тем, как обновить sitemap, необходимо ознакомиться с наиболее распространенными ошибками, которые допускают пользователи Я.Вебмастер в процессе обновлении карты сайта:
Перед обновлением sitemap также стоит убедиться в том, что в файлах карты сайта нет ошибок, которые могут повлиять на их обработку поисковым роботом. Если такие ошибки возникли, то необходимо использовать сервис анализа файлов sitemap. Его можно найти в разделе «Инструменты».
Остались вопросы? Опишите вашу проблему в форме ниже.
Диагностика сайта Webmaster
Вкратце о диагностике сайта
В этой статье мы подробно опишем большинство самых популярных проблем, которые выдает диагностика сайта от Яндекса. Напомним, что раздел диагностики находится в Yandex Webmaster на второй вкладке в левом меню.
Краткую информацию о наличии проблем возможно найти в левом верхнем блоке на главной странице Вебмастера.
Прежде, чем рассказывать о каждой проблеме отдельно, поясним общую информацию. Яндекс разделил все ошибки на 4 вида:
Фатальные — то есть, те, которые несовместимы с отображением сайта в поисковой выдаче. Наличие таких ошибок, скорее всего, приведет к полному исключению сайта из поиска. Среди них — запрет индексации, различного рода санкции со стороны поисковиков, серьезное нарушение безопасности или неработоспособность сайта;
Критичные — то есть, те, которые серьезно затрудняют удобство пользования сайтом, его корректную работу или индексацию. Наличие таких ошибок вряд ли приведет к исключению ресурса из поисковой выдачи, но может сильно снизить видимость;
Возможные — то есть, те, которые влияют на удобство пользователей, отображение и корректную индексацию. Подобные ошибки стоит устранить для улучшения сайта и повышения видимости в органической выдаче. В общем списке сайтов Вебмастера возможные проблемы обозначаются серым восклицательным знаком. 
Рекомендации — носят исключительно рекомендательный характер. Обычно направлены на улучшение сайта или отображения.
Фатальные проблемы
Решать фатальные проблемы нужно немедленно, иначе они приведут к исключению сайта из поисковой выдачи. Подобные ошибки справедливы не только для Яндекса, но и для всех остальных поисковых систем. Ниже мы опишем каждую из них в отдельности, а так же предложим варианты решения.
Сайт закрыт к индексации в файле robots.txt
«При последнем обращении к файлу robots.txt было обнаружено, что сайт закрыт для индексации. Убедитесь в корректности файла robots.txt, иначе сайт может полностью пропасть из поиска.» © Яндекс Вебмастер
Очень серьезная, но легко решаемая проблема. Причиной ее появления может стать банальная ошибка в синтаксисе файла robots.txt или ненамеренный запрет индексации. Зачастую такую ошибку можно увидеть у новых сайтов, так как разработчики обычно закрывают ресурс для индексации и не всега открывают обратно.
Поправить это очень просто. Открываем свой robots.txt по ссылке ваш_домен/robots.txt и проверяем содержимое. Если в нем расположен код следующего содержания:
User-agent: Yandex
Disallow: /
То, просто заменяем его на шаблонные инструкции для Вашей CMS или прописываем уникальные вручную.
Не удалось подключиться к » target=»_blank»>серверу из-за ошибки DNS
«При попытке скачать данные с сайта не удалось подключиться к » target=»_blank»>серверу из-за ошибки DNS. Если роботы не смогут получить доступ к » target=»_blank»>серверу, сайт может полностью пропасть из поиска. Возможно, пользователи также не могут попасть на сайт.» © Яндекс Вебмастер
Данная проблема решается уже не так быстро, как предыдущая. Суть ее проста. Индексирующий робот Яндекса попросту не смог получить доступ к сайту. То есть, корректная индексация уже невозможна. Если краулер, при повторных обращениях, будет продолжать получать ошибку, то сайт рано или поздно исключат из поиска.
В данном конкретном случае, лучше всего будет обратиться к разработчикам сайта или хост-провайдеру (регистратору доменного имени.) Если Вы не профессионал, то можете потерять много драгоценного времени в попытках разобраться в произошедшем. Помните, что фатальные ошибки нужно решать незамедлительно.
Главная страница сайта возвращает ошибку
«При обращении к главной странице сайта не удалось получить HTTP-код 200 OK. Поскольку страница недоступна для робота, она может быть исключена из результатов поиска.» © Яндекс Вебмастер
При обращении к главной странице сайта робот ожидает ответ 200 ОК. Только при его получении продолжается корректная индексация.
Если Вы столкнулись с вышеупомянутой проблемой, то вот несколько причин ее появления.
Неверно настроен ответ главной страницы. К примеру, главная может отдавать 404 Not Found или 403. Что для нее не корректно. Определить ответ можно в Яндекс Вебмастере, при помощи инструмента «проверка ответа » target=»_blank»>сервера«;
Для главной страницы может быть настроен 301 редирект;
Главная страница сайта может технически отсутствовать, что редкость.
Решается проблема путем проверки наличия страницы и ее ответа. Для разработчиков сайта устранить данную ошибку не составит никакого труда.
Обнаружены нарушения или проблемы с безопасностью
«Сайт может угрожать безопасности пользователя, или на нём были обнаружены нарушения правил поисковой системы. Наличие этой проблемы негативно сказывается на положении сайта в результатах поиска.» © Яндекс Вебмастер
Одна из самых сложно решаемых проблем. Причин ее появления может быть множество. Вот основные из них:
Сайт был взломан и на нем находится вредоносный код. Это может быть вирусный рекламный баннер, вставки iframe, различного рода трояны, а так же множество другой гадости;
Сбор, обработка или передача данных пользователей сделана насколько некорректно, что индексирующий робот заподозрил в этом мошеннические намерения;
Сайт не соответствует правилам поисковой системы. То есть, имеет запрещенный контент, обманывает или вводит в заблуждение пользователей, подменяет материал и т.д.;
Стоит сказать, что данная проблема может появляться у очень молодых сайтов из-за темного прошлого доменного имени. Обязательно проверяйте домен перед покупкой.
Однако, не стоит беспокоиться и переделывать сайт, если Вы уверены в его корректной работе. Подобное сообщение может появляться по ошибке. Если это так, то оно автоматически пропадет через несколько обновлений.
Критичные проблемы
На критичные проблемы стоит сразу обратить внимание и начать искать решение. Их появление скорее всего не приведет к исключению из поиска, однако может серьезно повлиять на видимость сайта.
Долгий ответ » target=»_blank»>сервера
«При обращении к » target=»_blank»>серверу среднее время ответа превышает 3 секунды. Долгая загрузка страниц затрудняет работу с сайтом.» © Яндекс Вебмастер
Это одна из основных причин неполной (некорректной) индексации. Робот отводит на каждый сайт определенное количество секунд, после чего переходит к следующем ресурсу. Если ответ » target=»_blank»>сервера слишком долгий, то времени на загрузку страниц может просто не остаться.
Что бы решить эту проблему, необходимо обратиться к администратору » target=»_blank»>сервера или хост-провайдеру. Возможно, Вашему сайту просто не хватает выделенных для работы ресурсов.
Если данное сообщение появилось, а потом пропало без видимых причин, не стоит его игнорировать. Обязательно проверьте скорость ответа » target=»_blank»>сервера, а так же параметры загрузки сайта. Наличие подобной проблемы влияет на индексацию вне зависимости от того, есть сообщение в Вебмастере или его нету.
Большое количество неработающих внутренних ссылок
«На сайте не работает значительное число внутренних ссылок. Это может затруднять навигацию пользователям.» © Яндекс Вебмастер
Причиной возникновения подобной проблемы может служить некорректный перенос разделов, страниц или сайта в целом. Так же, к этому может привести сбой в работе каталога, фильтра, пагинации или другого блока связанного со ссылками.
Определить точное количество неработающих ссылок и увидеть детали можно в разделе «Внутренние ссылки» Яндекс Вебмастера.
В этом блоке подробно описываются причины, поэтому Вам останется только устранить проблемы внутри сайта.
Возможные проблемы
Несмотря на название, возможные проблемы все же являются серьезными изъянами с точки зрения SEO. Они не приведут к исключению ресурса из поиска, а так же слабо повлияют на позиции и видимость. Однако их устранение может привести к подъему поискового трафика и более лояльному отношению поисковиков.
Главная страница перенаправляет на другой сайт
«При обращении к главной странице робот получает перенаправление на другой сайт, что делает невозможным её индексирование.» © Яндекс Вебмастер
Данную проблему Яндекс относит к разделу «Возможные», однако с нашей точки зрения это серьезная ошибка. Речь сейчас не идет о перенаправлении на зеркала или «склейку». Только редирект на сторонний сайт.
При корректном обращении к главной странице краулер должен получать ответ 200 ОК, что означает, что страница доступна пользователям и ее можно индексировать. В случае получения 301 Redirect, робот не только отправляется на сторонний ресурс, но и получает тревожный сигнал, что сайт мог быть взломан или вводит пользователей в заблуждение. То есть, Вы уже рискуете попасть под фильтры безопасности.
Отсутствуют теги
Очень серьезное упущение с точки зрения поискового продвижения. Заголовки являются одним из основных факторов внутренней оптимизации, которые влияют на ранжирование страницы.
Ранее этому заголовку мы посвятили полноценную статью. В ней разложено по полочкам все, что нужно знать о данном теге с точки зрения SEO.
Безусловно, Яндекс самостоятельно выберет текст для ссылки при построении поисковой выдачи и без сниппета Вы не останетесь, однако Ваша конкурентоспособность с точки зрения SEO сильно упадет.
Ошибки в файле robots.txt
«Файл robots.txt содержит ошибки. Это может привести к некорректному обходу и индексированию сайта.» © Яндекс Вебмастер
Данный файл представляет из себя список инструкций для индексирующего робота. Именно в нем определяется, что нужно загружать в базу, а что игнорировать. Находится он в корневой папке сайта и доступен по адресу www.ваш_домен.ru/robots.txt.
Большинство ошибок в robots.txt, обычно, связаны с синтаксисом прописываемых в нем инструкций. Лишняя точка, слэш или пробел могут привести к некорректному распознанию команды.
Поэтому, при появлении данной проблемы сразу открывайте свой роботс и начинайте проверять синтаксис. В этом деле Вам может помочь сервис «Анализ robots.txt» находящийся во вкладке «Инструменты» Яндекс Вебмастера.
Не найден файл robots.txt
«Робот не смог получить доступ к файлу robots.txt при последнем обращении. Из-за отсутствия параметров индексирования и инструкций в поиск могут попасть нежелательные страницы.» © Яндекс Вебмастер
Суть проблемы понятна из названия. Что бы решить ее, необходимо просто добавить robots.txt в корневой каталог Вашего сайта. Сделать это можно через FTP или при помощи различного рода плагинов.
Если Вы используете популярную CMS, то мы готовы предложить шаблонные решения. Однако, обратите внимание, что шаблоны инструкций не гарантируют корректность индексации и отсутствие мусора. У каждого сайта будут свои особенности и подводные камни.
Отсутствуют мета-теги
Узнать полный список страниц с отсутствующими тегами Вы можете перейдя по ссылке «Ознакомьтесь» в описании проблемы.
Отсутствие meta тега сильно влияет на корректность отображения сниппетов. Поэтому тянуть с решением проблемы не стоит.
Если подобная ошибка появилась у Интернет-магазина, сайта-каталога или другого крупного ресурса, то для ее решения есть стандартные плагины, которые формируют meta description автоматически. Пользоваться такими плагинами мы советуем в крайнем случае, так как результат работы не всегда удовлетворителен.
Некорректное отображение несуществующих файлов и страниц
«Вероятно, на сайте некорректно настроен возврат HTTP-кода 404 Not Found, что может негативно сказаться на индексировании сайта роботом. Настройте возврат кода 404 на запрос несуществующих страниц.» © Яндекс Вебмастер
Проще говоря, у Вас попросту отсутствует или некорректно работает страница 404. Что бы разобраться в этом, необходимо перейти на несуществующий раздел. Сделать это можно введя любой некорректный URL, к примеру «ваш_домен.ру/none12345».
Если Вы видите перед собой неизвестную ошибку, белый экран, сообщение хост-провайдера или другую информацию, которая к сайту не относится — у Вас просто нету данной страницы. Шаблон для нее необходимо сделать в CMS сайта. Это напрямую относится к разработке и дизайну сайта, поэтому работы стоит поручить верстальщику.
Если Вы видите оформленную страницу 404 своего сайта, тогда проблема в ответе » target=»_blank»>сервера. Нужно понимать, что надпись «404 — страница не найдена» не означает, что сайт действительно отдает «404 Not Found», скорее всего, результатом будет 200 ОК.
Проверить ответ » target=»_blank»>сервера Вы можете в разделе «Проверка ответов » target=»_blank»>сервера» во вкладке «Инструменты» Яндекс Вебмастера.
Создание страницы 404 Not Found и настройка ответа