сайт плохо индексируется гугл
У вашего сайта проблемы с Google?
Цель этой публикации — объяснить веб-мастерам основные причины по которым их сайты может, мягко говоря, недолюбливать Google. Также предлагается система диагностики попал ли сайт под санкции Google или нет.
Мой сайт под фильтром Google? Как узнать под каким? Просел сайт в выдаче, в чём причина? Падают позиции и нет посещаемости, в чём дело?
Именно с таким названием вы увидите темы на большинстве известных SEO-форумах и на Справочном форуме для веб-мастеров Google.
Сразу отметим, что вместо слова «фильтры» в таких ситуациях уместнее употреблять слово «алгоритмы».
На самом деле причина проблем с сайтом может быть не связана с мерами воздействия Google.
Техническая сторона
1. Для начала проверьте нет ли проблем с хостингом.
2. Затем проверьте присутствует ли в исходном коде этот мета-тег.
/>
Как показал опыт общения с веб-мастерами на Справочном форуме Google, наличие в коде этого мета-тега — типичная ошибка для сайтов на WordPress. Почему именно на WordPress, сложно сказать, но таковы результаты наблюдений. Вероятно, веб-мастера иногда забывают снять указатель в настройках темы, запрещающий сканирование сайта поисковыми системами. Второй вариант — этот мета-тег появился в результате взлома сайта.
3. Проверьте, правильно ли настроен основной домен сайта.
4. Проверьте ваш robots.txt, не закрыли ли вы там чего лишнего.
«Matt Cutts» позвонит?
Если ничего из вышеуказанного не является причиной проблем с сайтом, тогда нужно копать в сторону Google. 
Есть только три канала связи по которым можно точно узнать у Google, попал ваш сайт в немилость (под санкции) или нет. Первый и самый простой — проверить обе (все) версии сайта в Google Search Console на предмет наличия мер, принятых вручную (раздел “Поисковый трафик”). Второй — обратиться на Справочный форум для веб-мастеров Google. За каждым справочным форумом закреплён сотрудник Google. В русскоязычном форуме для веб-мастеров это Андрей Липатцев и Екатерина Черткова. При обращении на форум не нужно в названии темы писать что-то наподобие — «Андрей Липатцев, помоги». Дело в том, что сотрудник Google отвечает на форуме при наличии у него для этого времени или если Ведущие участники не могут предложить однозначное решение (уведомляют об этом сотрудника Google). Третий канал — написать в Сообщество Google для веб-мастеров. Там тоже часто отвечает на вопросы пользователей сотрудник Google Андрей Липатцев.
Если в Search Console вы обнаружили сообщение о мерах, внимательно его прочитайте и следуйте описанным инструкциям.
Практика показывает, что в 75 процентах случаев меры применяются за ссылочный и анкорный спам, 10 процентов за неинформативное и бесполезное содержание (обычно как дополнение к абузам за нарушение авторских прав), 10 процентов — за маскировку и скрытую переадресацию — например за вап-клик, и 5 процентов за прочие нарушения Рекомендаций для веб-мастеров.
Если сообщение о мерах в Search Console отсутствует, но трафик и позиции сайта резко падают или, не дай Господь, сайт вовсе исключили из индекса, значит, тут самая вероятная причина — воздействие одного из алгоритмов Google.
Основные алгоритмы Google
Основных алгоритмов, о которых известно вебмастерам и которые влияют на ранжирование, четыре:
Pirate Algorithm — пессимизирует сайты за нарушение авторских прав (DMCA). У Google есть и специальная форма, через которую правообладатель может подать жалобу. На практике встречались случаи, когда из-за жалобы правообладателя на незаконное использование изображений была удалена из индекса главная страница сайта. Вся информация о таких нарушениях («абузах») в итоге собирается в Lumen (ранее в Chilling Effects).
Google Penguin — Пингвин наверно один из самых известных в среде веб-мастеров алгоритм. Он призван бороться со всеми случаями и видами спама в интернет.
Дополнительно рекомендуем изучить:
Амит Сингхал. Дополнительные рекомендации по созданию сайтов с качественным содержанием.
На самом деле таких алгоритмов значительно больше, чем четыре. О многих из них, например о Payday Loan Algorithm, вебмастерам мало что известно или практически ничего не известно.
Способы диагностики воздействия алгоритмов
Что касается поисковых алгоритмов, здесь мы, обычно, не можем дать какого-либо конкретного совета.
Джон Мюллер (John Mueller) [3]
Таким образом, мы (вебмастера) можем только предполагать пессимизирован ли сайт алгоритмами Google или нет. Есть несколько маркеров по которым можно предположить какой именно алгоритм воздействует на сайт и за что.
Самый лучший показатель качества сайта — это трафик.
Мария Моева [4]
Следовательно первый и основной маркер — резкое падение трафика, позиций в поисковой выдаче. Это говорит о том, что в глазах Google ваш сайт резко потерял в качестве. Вам нужно установить причину.
Если сайт увешан рекламой как новогодняя ёлка — не исключено воздействие алгоритма Page Layout. Тут нужно учесть такой нюанс:
Начиная с сегодняшнего дня [2 нояб. 2015 г. — прим. авт.], страницы с межстраничной рекламой установки приложений, скрывающей существенный объём контента при переходе со страниц результатов поиска, перестанут считаться приспособленными для мобильных устройств. Вместо полностраничных межстраничных объявлений мы рекомендуем веб-мастерам использовать более удобные для пользователей форматы, такие, как баннеры для установки приложений.
Андрей Липатцев
Введите в строку поиска оператор site:domain.com, нажмите клавишу Enter. Добавте в конце ссылки в браузере &start=990 и снова нажмите клавишу Enter. Просмотрите с конца выборочно пять страниц результатов выдачи. Если вы увидите сообщение «В ответ на жалобу, полученную на основании US Digital Millennium Copyright Act (Закона США о защите авторских прав в цифровую эпоху), мы удалили несколько результатов. » — это означает, что правообладатель подал на вас жалобу. Чем больше жалоб, тем выше вероятность попасть под воздействие Pirate Algorithm.
Второй маркер — диагностика спама.
Проанализируйте ваш домен сервисом Ahrefs. Обратите внимание на резкие пиковые скачки прироста dofollow-ссылок.
Даты появления ссылок также могут быть использованы для обнаружения «спама». Обычно, «законопослушный» документ (страница) привлекает обратные ссылки медленно. Большой (пиковый) рост количества обратных ссылок может указывать на то, что страница является источником популярной новости, или сигнализировать о попытке поискового спама. [5]
Несмотря на то что официально Google это не подтверждает, следует прислушаться к мнению основателя Cognitiveseo Развана Гаврилас (Razvan Gavrilas) и Варени Вячеслава о том, что если в структуре ссылочного профиля доля dofollow-ссылок меньше 10 процентов — это может свидетельствовать о его неестественном (спамном) формировании.
Обратите внимание на структуру анкоров ваших обратных ссылок. По нашему мнению, анкоры с долей более 15 процентов в общем количестве могут быть квалифицированы как спам.
Избыточное количество ключевых слов в контенте и в мета-тегах тоже указывает на спам.
Третий маркер — качество контента.
Автоматически сгенерированный текст, текст о том «как налить стакан воды», отсутствие своего полезного и информативного основного контента — может быть причиной пессимизации сайта.
Лучший способ увидеть, избежал ли сайт воздействия алгоритма, — отслеживать органический трафик с помощью аналитики, обращая внимание на большие перепады. Затем следует проверить, подтвердили ли специалисты Google обновления. [6]
Проверить воздействует ли на сайт алгоритм Panda или Penguin можно при помощи онлайн-инструментов или проанализировать самостоятельно.
Google Penguin Checker Tool — показывает динамику органического трафика используя данные SEMrush и апдейты алгоритма Penguin.
Website Penalty Indicator — это более функциональный онлайн-инструмент. Он тоже использует данные SEMrush, но показывает кроме обновлений Пингвина обновления еще нескольких важных алгоритмов, в том числе Google Panda.
Хотелось бы объяснить, как мы собираем свои данные. У нас есть база данных из 106 миллионов самых популярных ключевых слов, распределенных по 26 региональным базам. Когда мы обновляем ключевое слово, мы ищем его в Google и делаем снимок первых двух страниц выдачи.
Таким образом, если в SEMrush нет информации о трафике, это значит, что домен не появлялся в выдаче на первых двух страницах для тех ключевых слов, которые содержатся в нашей базе. Обычно все-таки оценочный трафик согласно SEMrush меньше трафика в Google Analytics.
Elizaveta Lavrienko, SEMrush Customer Support Specialist
Если вы хотите воспользоваться онлайн-инструментом, то лучше выбрать такой, который берет данные из Google Analytics.
Barracuda — бесплатный сервис, использующий данные из Google Analytics и показывает динамику трафика между обновлениями Google Panda и Google Penguin. 
Что касается инструмента Диагностика санкций от SEOlib, то к сожалению в нем последнее время не обновляется информация о последних апдейтах алгоритмов Google.
Для самостоятельного анализа войдите в Google Analytics — Источники трафика — Весь трафик — Источник/Канал. Тут нужно обратить внимание какое место в списке занимает «google / organic». Обычно это первая или вторая позиция.
Как мы видим у этого сайта органический трафик с Google лишь третий, а Яндекс и вовсе пятый.
Поставьте отметку напротив «google / organic» и нажмите на кнопку «Показать на диаграмме». Сопоставьте периоды резкого снижения органического трафика с Google с подтвержденными датами обновлений алгоритмов Google.
Надеемся, что эта статья поможет вам быстро разобраться действуют ли в отношении вашего сайта какие-то санкции или нет.
Как ускорить индексацию сайта в Яндексе и Google
В статье:
Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.
К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.
Частые проблемы с индексацией сайта в ПС
Страницы вообще не индексируются
Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
Страницы не индексируются одним из поисковиков
Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.
Страницы индексируются, но долго
Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.
Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:
Индексация и санкции ПС в Анализе сайта
Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.
Как ускорить индексацию страниц
Представитель Google Джон Мюллер на вопрос об индексировании ответил так:
«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».
Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.
Отправить страницу на переобход
Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.
В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.
Проверить разрешения в robots.txt
В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.
Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:
«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».
В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.
Создать Sitemap — Карту сайта
Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.
Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.
Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.
Проверить структуру и перелинковку разделов
На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.
Страница-сирота в структуре сайта
Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:
Упрощенный пример структуры сайта, подходит для меню
Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.
DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.
Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.
Взять за правило обновлять контент
Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.
Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.
Публиковать ссылки в соцсетях и на других площадках
Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.
Превью поста с сайта на Фейсбуке
Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.
Ускорить загрузку сайта
Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.
Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.
Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.
Фрагмент анализа сайта
Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.
До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой
FAQ: что еще влияет на скорость индексации сайта
Как страницы вне индекса могут повлиять на отношение поисковика к сайту?
Качество контента на сайте поисковики оценивают только по проиндексированным страницам.
Тег noindex может влиять на индексацию страницы после его снятия?
По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.
Как редирект влияет на индексацию страниц?
Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.
Как ускорить индексацию страниц, которые были 404?
Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.
Как поисковики относятся к URL c хэшами?
URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.
Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.
10 действенных способов заставить Google индексировать ваш сайт
Статистика статьи
Показывает, сколько различных веб-сайтов ссылаются на этот контент. Как правило, чем больше сайтов ссылаются на вас, тем выше вы ранжируетесь в Google.
Показывает ежемесячный рассчетный поисковый трафик на эту статью по данным Ahrefs. Фактический поисковый трафик (по данным Google Analytics) обычно в 3–5 раз больше.
Количество ретвитов этой статьи в Twitter.
Поделиться этой статьей
Если вы читаете эту статью, то это вам уже и так известно. Так что перейдем сразу к делу.
Эта статья поможет вам решить три проблемы:
Но сперва давайте убедимся, что мы имеем в виду одно и то же, когда говорим об «индексировании».
Что такое краулинг и индексирование?
Google находит новые страницы при помощи паука, который ползает по Всемирной паутине («краулинг» дословно означает «ползание») и добавляет страницы в свою базу данных — индекс. Этот паук называется поисковым роботом, а у робота Google есть собственное имя — Гуглбот (Googlebot).
Запутались? Давайте дадим определения основным терминам.
Вот видео от Google, в котором этот процесс подробно объясняется:
Когда вы ищете что-то в поисковике Google, он выдает все релевантные страницы из своей базы данных — индекса. Поскольку часто запросу могут соответствовать миллионы страниц, алгоритм ранжирования Google делает все возможное, чтобы отсортировать их так, чтобы первыми шли страницы, которые лучше всего отвечают запросу.
Тут важно понимать, что индексирование и ранжирование — это совершенно разные вещи.
Индексирование — это регистрация на участие в гонке, а ранжирование — это распределение призовых мест.
Нельзя победить в гонке, не зарегистрировавшись сперва.
Как узнать, есть ли ваш сайт в индексе Google
Откройте сайт Google и введите в поиск site:ваш_сайт.com
Это число примерно показывает, сколько страниц вашего сайта содержится в индексе Google.
Если результатов не будет, значит, страницы нет в индексе.
Стоит заметить, что если вы пользуетесь Google Search Console, то можете воспользоваться отчетом «Покрытие», чтобы получить более точные сведения о состоянии индексирования вашего сайта. Просто перейдите в раздел:
Google Search Console > Индексирование > Покрытие
Посмотрите на число действительных страниц (с предупреждениями и без).
Если эти числа в сумме отличаются от нуля, значит, по крайней мере часть страниц вашего сайта содержится в индексе Google. Если же оба числа равны нулю, то у вас серьезная проблема, поскольку ни одна страница сайта не проиндексирована.
В Search Console можно также проверить, проиндексирована ли конкретная страница. Для этого вставьте ее URL-адрес в Инструмент проверки URL.
Если страница проиндексирована, то сервис выдаст сообщение «URL есть в индексе Google».
Если нет — то «URL нет в индексе Google».
Как сделать так, чтобы Google индексировал ваш сайт
Обнаружили, что Google не индексирует ваш сайт или страницу? Попробуйте следующее:
Это полезно делать, когда вы публикуете новую статью или страницу. Так вы напрямую сообщаете Google о том, что добавили что-то новое на свой сайт и что поисковику следует взглянуть на это.
Однако непосредственный запрос не поможет решить глубинные проблемы, которые препятствуют индексированию старых страниц. Если это ваш случай, то пройдитесь по приведенному ниже списку, чтобы диагностировать и решить проблему.
Вот ссылки на каждую тактику — на случай, если вы пробовали часть из них:
1) Удалите блокирующие условия из файла robots.txt
Google не индексирует весь ваш сайт? Причиной может быть блокирующее условие в файле robots.txt.
Чтобы проверить эту возможность, перейдите по адресу ваш_сайт.com/robots.txt.
Посмотрите, нет ли в тексте одного из этих фрагментов:
Оба этих фрагмента сообщают Гуглботу, что ему нельзя сканировать страницы вашего сайта. Чтобы исправить проблему, просто удалите их. И всё.
Блокирующее условие в файле robots.txt может быть виновным и в том случае, когда Google не индексирует отдельную страницу. Чтобы проверить этот вариант, вставьте адрес страницы в Инструмент проверки URL в Google Search Console. Откройте раздел «Покрытие» и поищите ошибку «Сканирование разрешено? Нет: заблокировано через robots.txt».
Эта ошибка указывает на то, что страница заблокирована в файле robots.txt.
В таком случае поищите в файле robots.txt любые правила «disallow», относящиеся к странице или содержащему ее подкаталогу.
Важная страница заблокирована для индексирования в файле robots.txt.
Если нужно, удалите эти правила.
2) Удалите шальные теги noindex
Google не станет индексировать страницы, если попросить об этом. Так вы можете оградить некоторые страницы от публичного доступа. Есть два способа сделать это:
Способ 1: тег meta
Страницы с одним из этих тегов meta в секции не индексируются Google:
Это мета-тег robots, который сообщает поисковым системам, следует ли им индексировать данную страницу.
Чтобы найти на своем сайте все страницы с мета-тегом noindex, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в отчет Indexability («Индексируемость»). Поищите предупреждения «Noindex page» («Неиндексируемая страница»).
Нажмите на одно из них, чтобы увидеть все такие страницы. Удалите мета-тег noindex со всех страниц, где он не нужен.
Способ 2: X‑Robots-Tag
Инструмент проверки URL в Search Console позволяет узнать, блокирует ли Google сканирование страницы из-за заголовка. Просто введите свой URL-адрес, а затем поищите ошибку «Индексирование разрешено? Нет: обнаружено значение ‘noindex’ в HTTP-заголовке X‑Robots-Tag».
Если вы хотите исправить эту проблему на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs, а затем примените фильтр «Robots information in HTTP header» («Информация для роботов в заголовке HTTP») в разделе Page Explorer:
Попросите своего разработчика исключить страницы, которые нужно индексировать, из числа тех, что возвращают такой заголовок
3) Добавьте адрес страницы в файл sitemap
Файл sitemap сообщает Google, какие страницы вашего сайта важны, а какие нет. Также он может рекомендовать, как часто следует повторно сканировать определенные страницы.
Google способен находить страницы на вашем сайте независимо от того, представлены ли они в файле sitemap, но хорошей практикой является указание важных страниц. В конце концов, нет смысла усложнять работу Google.
Чтобы проверить, указана ли страница в файле sitemap, используйте Инструмент проверки URL в Search Console. Если вы увидите ошибку «URL нет в индексе Google» и «Sitemap: н/д», значит, страницы нет в файле sitemap или индексе.
Не пользуетесь Search Console? Перейдите по URL-адресу своего файла sitemap — обычно этоваш_сайт.com/sitemap.xml — и поищите адрес страницы.
Либо, если вы хотите найти все сканируемые и индексируемые страницы, которых нет в файле sitemap, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в Page Explorer и примените следующие фильтры:
Вы получите список страниц, которые следует добавить в файл sitemap. Когда вы это сделаете, сообщите Google о том, что вы обновили свой файл sitemap, перейдя по этому URL:
Только подставьте туда URL-адрес своего файла sitemap. Вы увидите что-то подобное:
Это должно ускорить индексирование страницы поисковой системой.
4) Удалите шальные теги canonical
Тег каноничности (тег canonical) сообщает Google о канонической версии страницы. Выглядит он так:
Большая часть страниц либо не имеют тега canonical, либо содержат так называемый автореферентный тег canonical. Он сообщает поисковой системе о том, что страница сама является канонической, а возможно, и единственной версией. Другими словами, вы хотите, чтобы эта страница индексировалась.
Но если на страницу затесался шальной тег canonical, он может направить Google на каноническую версию страницы, которая на самом деле не существует. В таком случае страница не будет проиндексирована.
Чтобы проверить такую возможность, воспользуйтесь Инструментом проверки URL от Google. Если тег каноничности указывает на другую страницу, то вы увидите предупреждение «Альтернативная каноническая страница».
Если такого быть не должно, и вы хотите, чтобы страница индексировалась, удалите тег каноничности.
Имейте в виду, что теги каноничности не всегда плохи. Чаще всего они добавляются не просто так. Если вы видите, что ваша страница содержит такой тег, проверьте страницу, которая указана как каноническая. Если окажется, что это и правда приоритетная версия страницы, которую нужно индексировать, то тег canonical следует оставить.
Если вы хотите быстро найти все шальные теги canonical на своем сайте, запустите сканирование в сервисе Site Audit от Ahrefs. Перейдите в раздел Page Explorer. Используйте такие настройки:
Они запустят поиск страниц в файле sitemap с неавтореферентными тегами каноничности. Если поиск с этим фильтром выдаст какие-либо результаты, вам следует разобраться с ними, поскольку вы наверняка хотели бы, чтобы эти страницы индексировались.
Высока вероятность того, что эти страницы либо содержат ошибочные теги каноничности, либо наоборот — не должны находиться в файле sitemap.
5) Проверьте, не является ли страница сиротой
Страницы-сироты — это такие страницы, на которые не ведет ни одной внутренней ссылки.
Поскольку Google находит новый контент, перемещаясь по Всемирной паутине от одной страницы к другой, он не может найти таким образом страницы-сироты. Точно так же их не смогут найти посетители сайта.
Чтобы найти страницы-сироты, просканируйте свой сайт при помощи сервиса Site Audit от Ahrefs. Затем откройте отчет Incoming links (Входящие ссылки) для ошибок «Orphan page (has no incoming internal links)» («Страница-сирота (не имеет входящих ссылок)»):
В нем показаны все индексируемые страницы, указанные в файле sitemap, на которые при этом не ведет ни одна внутренняя ссылка.
Чтобы это сработало, должны быть выполнены два условия:
Вы не уверены, что все страницы, которые вы хотите видеть индексированными, указаны в файле sitemap? Попробуйте следующее:
Все адреса, не найденные в процессе сканирования, принадлежат страницам-сиротам.
Вы можете решить проблему страниц-сирот двумя способами:
6) Почините внутренние nofollow-ссылки
Nofollow-ссылки — это ссылки с тегом rel=“nofollow”. Они препятствуют передаче показателя PageRank целевому URL-адресу. К тому же, Google не сканирует nofollow-ссылки.
По сути, использование атрибута nofollow заставляет Google не включать целевые ссылки в общий граф сети. Тем не менее, целевые страницы все равно могут попасть в наш индекс, если на других сайтах встретятся ссылки на них без атрибута nofollow либо если URL-адреса будут указаны в файле Sitemap.
Короче говоря, вам нужно убедиться, что внутренние ссылки на индексируемые страницы не должны иметь атрибута nofollow.
Для этого просканируйте свой сайт при помощи Site Audit от Ahrefs. В отчете Incoming links (Входящие ссылки) поищите индексируемые страницы с ошибками «Page has nofollow incoming internal links only» («На страницу ведут только внутренние nofollow-ссылки»):
Удалите атрибут nofollow из внутренних ссылок, если вы хотите, чтобы Google индексировал страницы, на которые они ведут. Если нет, то удалите страницы либо пометьте их тегом noindex.
7) Добавьте «сильные» внутренние ссылки
Google находит новый контент, сканируя ваш сайт. Если вы пренебрегаете созданием внутренних ссылок, то поисковик может и не найти некоторые страницы.
Одно из простых решений этой проблемы — добавить несколько внутренних ссылок, ведущих на нужную страницу. Разместить ссылки можно на любых других страницах, которые Google может сканировать и индексировать. Но если вы хотите, чтобы Google проиндексировал целевой контент как можно быстрее, то лучше всего разместить ссылку на одной из самых «сильных» страниц.
Почему? Потому что Google сканирует такие страницы чаще.
Для этого перейдите в Site Explorer от Ahrefs, введите адрес своего сайта, а затем откройте отчет Best by links (Лучшие по ссылкам).
В нем будут перечислены все страницы вашего сайта, отсортированные по показателю URL Rating (UR). Другими словами, он показывает первыми самые авторитетные страницы.
Пролистайте этот список, чтобы найти подходящие страницы, куда можно добавить внутренние ссылки на интересующую страницу.
Например, если мы хотим добавить внутреннюю ссылку на руководство по гостевому постингу, то руководство по линкбилдингу вполне подойдет для этого. Последняя страница очень кстати оказывается 11‑й по авторитетности в нашем блоге:
В следующий раз, когда Google будет сканировать эту страницу, он обнаружит новую ссылку и перейдет по ней.
Вставьте адрес страницы, на которой вы разместили внутреннюю ссылку, в Инструмент проверки URL от Google. Нажмите «Запросить индексирование», чтобы сообщить поисковой системе о том, что содержание страницы изменилось, и ее следует отсканировать заново. Это может ускорить процесс нахождения и индексирования той страницы, на которую ведет ссылка.
8) Убедитесь, что страница уникальна и обладает ценностью
Google, как правило, не индексирует некачественные страницы, которые не представляют ценности для пользователей. Вот что Джон Мюллер из Google говорил об индексировании в 2018 году:
Мы не индексируем все существующие URL-адреса, и это нормально. Сосредоточьтесь на том, чтобы делать сайт замечательным и вдохновляющим, и тогда у вас не будет проблем с индексированием.
То есть, если вы хотите, чтобы Google проиндексировал ваш сайт или страницу, их содержание должно быть «замечательным и вдохновляющим».
Если вы не находите технических причин отсутствия индексирования, возможно, виновником является отсутствие ценности. Поэтому нелишне будет взглянуть на страницу свежим взглядом и спросить себя, действительно ли эта страница имеет ценность и принесет ли она пользу тому, кто перейдет на нее из результатов поиска.
Если ответом будет «нет», значит, вам следует улучшить свой контент.
Вы можете использовать Site Audit от Ahrefs и URL Profiler, чтобы найти другие потенциально некачественные страницы, которые не индексируются. Для этого перейдите в раздел Page Explorer в Site Audit и установите такие настройки:
Так вы получите «слабые» страницы — индексируемые, но не приносящие в данный момент естественного трафика. Высока вероятность того, что они не проиндексированы.
Экспортируйте отчет, а затем вставьте все URL-адреса в URL Profiler и запустите проверку Google Indexation (Индексирование в Google).
Если вы выполняете эту проверку для большого числа страниц (больше 100), то рекомендуется использовать прокси. Иначе вы рискуете тем, что Google забанит ваш IP-адрес. Если вариант с прокси не подходит, то введите в поиск Google «массовая проверка индексации в google бесплатно». Есть целый ряд инструментов, но в большинстве из них нельзя проверить более 25 страниц за раз.
Проверьте качество страниц, которые не индексируются. Улучшите качество, где это необходимо, и запросите индексирование в Google Search Console.
Также следует проверить возможность дублирования контента. Google старается не индексировать страницы-копии и очень похожие страницы. Загляните в отчет Content quality (Качество контента) в сервисе Site Audit, чтобы проверить этот вариант.
9) Удалите некачественные страницы (чтобы оптимизировать «краулинговый бюджет»)
Слишком большое число некачественных страниц на сайте приводит к пустой трате краулингового бюджета.
[Страницы-с-низкой-ценностью] отвлекают на себя активность сканирования от страниц, которую действительно имеют ценность, что способно приводить к значительным задержкам в обнаружении хорошего контента на сайте.
Представьте, что учитель проверяет сочинения, одно из которых — ваше. Если ему нужно оценить десять сочинений, то он довольно быстро доберется до вашего. Если сочинений будет сто, то ему потребуется гораздо больше времени. Если их будут тысячи, то нагрузка будет слишком высокой, и учитель может вообще никогда не добраться до оценки вашего сочинения.
В Google заявляют, что «краулинговый бюджет […] — это не то, о чем большинству стоит беспокоиться», и что «если на сайте меньше нескольких тысяч адресов, то большую часть времени он будет сканироваться эффективно».
Тем не менее, удаление некачественных страниц с вашего сайта никогда не повредит. Это только пойдет на пользу краулинговому бюджету.
Вы можете использовать наш шаблон аудита контента, чтобы найти потенциально некачественные и нерелевантные страницы, которые можно удалить.
10) Получите качественные обратные ссылки
Обратные ссылки сообщают Google о том, что страница, на которую они ведут, важна. Раз кто-то дает на нее ссылку, значит, у нее должна быть некая ценность, верно? Поэтому Google индексирует страницы с обратными ссылками.
Для полной прозрачности Google индексирует не только страницы, имеющие обратные ссылки. Есть множество (миллиарды) проиндексированных страниц без обратных ссылок. Но поскольку Google считает страницы с качественными ссылками более важными, поисковик будет быстрее и чаще сканировать такие страницы, чем те, у которых нет обратных ссылок. То есть, индексирование страниц с качественными обратными ссылками происходит быстрее.
В нашем блоге есть много материалов по созданию качественных обратных ссылок.
Ниже приведены ссылки на некоторые из них.
Индексирование и ранжирование — это разные вещи
Наличие вашего сайта в индексе Google не означает, что он будет попадать в выдачу и приносить трафик.
Индексирование означает только то, что Google известно о существовании вашего сайта. Это не означает, что ваш сайт будет показан в топе выдачи по подходящим запросам.
Тут-то и вступает в дело SEO — искусство оптимизации веб-страниц для попадания в топ выдачи по определенным запросам.
В общих чертах поисковая оптимизация (SEO) включает в себя:
Вот видео, которое поможет разобраться в основах SEO:
…И несколько статей:
Напоследок
Есть только две возможные причины, почему Google не индексирует ваш сайт или веб-страницу:
Вполне возможно, что имеют место обе эти проблемы. Но, по моему опыту, технические проблемы встречаются гораздо чаще. Технические проблемы также могут стать причиной автоматического создания индексируемого некачественного контента (например, проблемы с фасетной навигацией). Это нехорошо.
Но проход по приведенному выше списку в девяти случаях из десяти должен решить проблемы индексирования.
Только не забывайте, что индексирование и ранжирование — это разные вещи. Выполнение поисковой оптимизации по-прежнему жизненно необходимо, если вы хотите вывести свои страницы в топ выдачи по подходящим поисковым запросам и привлечь стабильный поток естественного трафика.