У вашего сайта проблемы с Google?
Цель этой публикации — объяснить веб-мастерам основные причины по которым их сайты может, мягко говоря, недолюбливать Google. Также предлагается система диагностики попал ли сайт под санкции Google или нет.
Мой сайт под фильтром Google? Как узнать под каким? Просел сайт в выдаче, в чём причина? Падают позиции и нет посещаемости, в чём дело?
Именно с таким названием вы увидите темы на большинстве известных SEO-форумах и на Справочном форуме для веб-мастеров Google.
Сразу отметим, что вместо слова «фильтры» в таких ситуациях уместнее употреблять слово «алгоритмы».
На самом деле причина проблем с сайтом может быть не связана с мерами воздействия Google.
Техническая сторона
1. Для начала проверьте нет ли проблем с » target=»_blank»>сервер, » target=»_blank»>хостингом.
2. Затем проверьте присутствует ли в исходном коде этот мета-тег.
/>
Как показал опыт общения с веб-мастерами на Справочном форуме Google, наличие в коде этого мета-тега — типичная ошибка для сайтов на WordPress. Почему именно на WordPress, сложно сказать, но таковы результаты наблюдений. Вероятно, веб-мастера иногда забывают снять указатель в настройках темы, запрещающий сканирование сайта поисковыми системами. Второй вариант — этот мета-тег появился в результате взлома сайта.
3. Проверьте, правильно ли настроен основной домен сайта.
4. Проверьте ваш robots.txt, не закрыли ли вы там чего лишнего.
«Matt Cutts» позвонит?
Если ничего из вышеуказанного не является причиной проблем с сайтом, тогда нужно копать в сторону Google. 
Есть только три канала связи по которым можно точно узнать у Google, попал ваш сайт в немилость (под санкции) или нет. Первый и самый простой — проверить обе (все) версии сайта в Google Search Console на предмет наличия мер, принятых вручную (раздел “Поисковый трафик”). Второй — обратиться на Справочный форум для веб-мастеров Google. За каждым справочным форумом закреплён сотрудник Google. В русскоязычном форуме для веб-мастеров это Андрей Липатцев и Екатерина Черткова. При обращении на форум не нужно в названии темы писать что-то наподобие — «Андрей Липатцев, помоги». Дело в том, что сотрудник Google отвечает на форуме при наличии у него для этого времени или если Ведущие участники не могут предложить однозначное решение (уведомляют об этом сотрудника Google). Третий канал — написать в Сообщество Google для веб-мастеров. Там тоже часто отвечает на вопросы пользователей сотрудник Google Андрей Липатцев.
Если в Search Console вы обнаружили сообщение о мерах, внимательно его прочитайте и следуйте описанным инструкциям.
Практика показывает, что в 75 процентах случаев меры применяются за ссылочный и анкорный спам, 10 процентов за неинформативное и бесполезное содержание (обычно как дополнение к абузам за нарушение авторских прав), 10 процентов — за маскировку и скрытую переадресацию — например за вап-клик, и 5 процентов за прочие нарушения Рекомендаций для веб-мастеров.
Если сообщение о мерах в Search Console отсутствует, но трафик и позиции сайта резко падают или, не дай Господь, сайт вовсе исключили из индекса, значит, тут самая вероятная причина — воздействие одного из алгоритмов Google.
Основные алгоритмы Google
Основных алгоритмов, о которых известно вебмастерам и которые влияют на ранжирование, четыре:
Pirate Algorithm — пессимизирует сайты за нарушение авторских прав (DMCA). У Google есть и специальная форма, через которую правообладатель может подать жалобу. На практике встречались случаи, когда из-за жалобы правообладателя на незаконное использование изображений была удалена из индекса главная страница сайта. Вся информация о таких нарушениях («абузах») в итоге собирается в Lumen (ранее в Chilling Effects).
Google Penguin — Пингвин наверно один из самых известных в среде веб-мастеров алгоритм. Он призван бороться со всеми случаями и видами спама в интернет.
Дополнительно рекомендуем изучить:
Амит Сингхал. Дополнительные рекомендации по созданию сайтов с качественным содержанием.
На самом деле таких алгоритмов значительно больше, чем четыре. О многих из них, например о Payday Loan Algorithm, вебмастерам мало что известно или практически ничего не известно.
Способы диагностики воздействия алгоритмов
Что касается поисковых алгоритмов, здесь мы, обычно, не можем дать какого-либо конкретного совета.
Джон Мюллер (John Mueller) [3]
Таким образом, мы (вебмастера) можем только предполагать пессимизирован ли сайт алгоритмами Google или нет. Есть несколько маркеров по которым можно предположить какой именно алгоритм воздействует на сайт и за что.
Самый лучший показатель качества сайта — это трафик.
Мария Моева [4]
Следовательно первый и основной маркер — резкое падение трафика, позиций в поисковой выдаче. Это говорит о том, что в глазах Google ваш сайт резко потерял в качестве. Вам нужно установить причину.
Если сайт увешан рекламой как новогодняя ёлка — не исключено воздействие алгоритма Page Layout. Тут нужно учесть такой нюанс:
Начиная с сегодняшнего дня [2 нояб. 2015 г. — прим. авт.], страницы с межстраничной рекламой установки приложений, скрывающей существенный объём контента при переходе со страниц результатов поиска, перестанут считаться приспособленными для мобильных устройств. Вместо полностраничных межстраничных объявлений мы рекомендуем веб-мастерам использовать более удобные для пользователей форматы, такие, как баннеры для установки приложений.
Андрей Липатцев
Введите в строку поиска оператор site:domain.com, нажмите клавишу Enter. Добавте в конце ссылки в браузере &start=990 и снова нажмите клавишу Enter. Просмотрите с конца выборочно пять страниц результатов выдачи. Если вы увидите сообщение «В ответ на жалобу, полученную на основании US Digital Millennium Copyright Act (Закона США о защите авторских прав в цифровую эпоху), мы удалили несколько результатов. » — это означает, что правообладатель подал на вас жалобу. Чем больше жалоб, тем выше вероятность попасть под воздействие Pirate Algorithm.
Второй маркер — диагностика спама.
Проанализируйте ваш домен сервисом Ahrefs. Обратите внимание на резкие пиковые скачки прироста dofollow-ссылок.
Даты появления ссылок также могут быть использованы для обнаружения «спама». Обычно, «законопослушный» документ (страница) привлекает обратные ссылки медленно. Большой (пиковый) рост количества обратных ссылок может указывать на то, что страница является источником популярной новости, или сигнализировать о попытке поискового спама. [5]
Несмотря на то что официально Google это не подтверждает, следует прислушаться к мнению основателя Cognitiveseo Развана Гаврилас (Razvan Gavrilas) и Варени Вячеслава о том, что если в структуре ссылочного профиля доля dofollow-ссылок меньше 10 процентов — это может свидетельствовать о его неестественном (спамном) формировании.
Обратите внимание на структуру анкоров ваших обратных ссылок. По нашему мнению, анкоры с долей более 15 процентов в общем количестве могут быть квалифицированы как спам.
Избыточное количество ключевых слов в контенте и в мета-тегах тоже указывает на спам.
Третий маркер — качество контента.
Автоматически сгенерированный текст, текст о том «как налить стакан воды», отсутствие своего полезного и информативного основного контента — может быть причиной пессимизации сайта.
Лучший способ увидеть, избежал ли сайт воздействия алгоритма, — отслеживать органический трафик с помощью аналитики, обращая внимание на большие перепады. Затем следует проверить, подтвердили ли специалисты Google обновления. [6]
Проверить воздействует ли на сайт алгоритм Panda или Penguin можно при помощи онлайн-инструментов или проанализировать самостоятельно.
Google Penguin Checker Tool — показывает динамику органического трафика используя данные SEMrush и апдейты алгоритма Penguin.
Website Penalty Indicator — это более функциональный онлайн-инструмент. Он тоже использует данные SEMrush, но показывает кроме обновлений Пингвина обновления еще нескольких важных алгоритмов, в том числе Google Panda.
Хотелось бы объяснить, как мы собираем свои данные. У нас есть база данных из 106 миллионов самых популярных ключевых слов, распределенных по 26 региональным базам. Когда мы обновляем ключевое слово, мы ищем его в Google и делаем снимок первых двух страниц выдачи.
Таким образом, если в SEMrush нет информации о трафике, это значит, что домен не появлялся в выдаче на первых двух страницах для тех ключевых слов, которые содержатся в нашей базе. Обычно все-таки оценочный трафик согласно SEMrush меньше трафика в Google Analytics.
Elizaveta Lavrienko, SEMrush Customer Support Specialist
Если вы хотите воспользоваться онлайн-инструментом, то лучше выбрать такой, который берет данные из Google Analytics.
Barracuda — бесплатный сервис, использующий данные из Google Analytics и показывает динамику трафика между обновлениями Google Panda и Google Penguin. 
Что касается инструмента Диагностика санкций от SEOlib, то к сожалению в нем последнее время не обновляется информация о последних апдейтах алгоритмов Google.
Для самостоятельного анализа войдите в Google Analytics — Источники трафика — Весь трафик — Источник/Канал. Тут нужно обратить внимание какое место в списке занимает «google / organic». Обычно это первая или вторая позиция.
Как мы видим у этого сайта органический трафик с Google лишь третий, а Яндекс и вовсе пятый.
Поставьте отметку напротив «google / organic» и нажмите на кнопку «Показать на диаграмме». Сопоставьте периоды резкого снижения органического трафика с Google с подтвержденными датами обновлений алгоритмов Google.
Надеемся, что эта статья поможет вам быстро разобраться действуют ли в отношении вашего сайта какие-то санкции или нет.
Как ускорить индексацию сайта в Яндексе и Google
В статье:
Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.
К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.
Частые проблемы с индексацией сайта в ПС
Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки » target=»_blank»>сервер, » target=»_blank»>хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Страницы не индексируются одним из поисковиков
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.
Страницы индексируются, но долго
Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.
Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:
Индексация и санкции ПС в Анализе сайта
Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.
Как ускорить индексацию страниц
Представитель Google Джон Мюллер на вопрос об индексировании ответил так:
«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».
Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.
Отправить страницу на переобход
Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.
Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:
«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».
В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.
Создать Sitemap — Карту сайта
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.
Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.
Страница-сирота в структуре сайта
Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:
Упрощенный пример структуры сайта, подходит для меню
Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.
DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Публиковать ссылки в соцсетях и на других площадках
Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.
Превью поста с сайта на Фейсбуке
Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.
Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ