api yandex wordstat история запросов
История запросов в Яндекс.Вордстат
Как мы уже писали, Яндекс.Wordstat – это сервис Яндекса, с помощью которого можно смотреть самые популярные запросы пользователей на любые тематики в этой поисковой системе. Сегодня мы разберем, зачем нужен один из разделов Вордстата — История запросов.
Что такое история запросов?
История запросов — это одна из опций Вордстата, с помощью которой можно отслеживать тренды. Результаты показываются как в числах, так и в виде графиков (по неделям или по месяцам), поэтому информация очень наглядная и легкочитаемая. С помощью этой опции можно отслеживать сезонность запросов: в этом плане Вордстат, пожалуй, самый удобный инструмент.
Как пользоваться этой опцией?
Смотрим сезонность запроса «Праздники» по месяцам.
Изначально графики показывают информацию по месяцам, но можно посмотреть выдачу по неделям:
Теперь посмотрим сезонность этого же запроса по неделям.
Поднеся курсор на любой интересующий вас период на графике, вы сможете увидеть точное число показов.
В качестве примера мы ввели слово «праздники». Обратите внимание, что график имеет волнообразный вид. Это неудивительно: наиболее яркие «всплески» замечены перед Новогодними праздниками и перед Днем Победы. Делаем вывод: люди, готовясь к праздникам, ищут информацию о них перед их непосредственным наступлением.
Абсолютное и относительное значения
Наверняка вы сразу заметили, что статистика представлена в двух графиках: абсолютное значение и относительное. Что это значит?
Абсолютное значение – это фактическое значение показов в разные периоды времени. С этим значением вряд ли у вас будут вопросы.
Относительное значение – это отношение показов по искомому запросу к общему числу показов в Яндексе. На этом графике отображается популярность запроса среди всех остальных. Другими словами (словами самого Яндекса):
«Статистику можно смотреть как в абсолютных значениях, так и в относительных. Для получения относительного значения абсолютная цифра нормируется на количество показов результатов поиска Яндекса за соответствующий месяц».
Оба графика обычно идут близко друг к другу.
И, кстати говоря, здесь не имеет смысла использовать кавычки и знаки «!», «-», «+», так как в истории запросов не поддерживается синтаксис.
И не забывайте, что информация выдается не только по запросу, состоящему из слов, которые вы вбили в строку. Любая статистика в Вордстате показывает сумму разных запросов, где встречается указанное слово или словосочетание. Так что «организовать праздники» и «веселые праздники» тоже будут учитываться.
Для чего эту статистику можно использовать?
Полученную статистику можно использовать практически где угодно. Один из ярких примеров — это контекстная реклама. Например, вы сможете увидеть, что продавать сноуборды летом не очень хорошая идея. Ну, разве что с большой скидкой. 🙂 Такой пример, конечно, очевиден и без Вордстата, но сезонность некоторых других товаров и услуг может вас удивить.
В контекстной рекламе информацию об истории запросов применяют для прогноза бюджета. Также — при составлении семантического ядра. Невозможно получить нужные запросы в несезон, их просто не будет в выдаче. Если вы собираете ядро, а в Вордстате нет нужной сематики, проверьте вкладку «История запросов». Может быть, нужные запросы появятся в выдаче чуть позже.
Также статистику, полученную из истории запросов, можно использовать, если у вас или у вашего сайта есть блог. Согласитесь, читать зимой про лучшие кафе-мороженые в Москве не так интересно, как летом. И, естественно, писать про это не так выгодно. 🙂
А еще история запросов помогает проверить, все ли вы делаете правильно на вашем сайте. Допустим, вы четко уверены, что ваш сайт хорошо оптимизирован, статьи отвечают запросам, структура продумана, с дизайном проблем нет, но почему-то трафик ниже желаемого. Знакомо? Проверьте по Вордстату сезонность запросов, которым отвечает ваш сайт! Возможно, уже через месяц его посещаемость вырастет в несколько раз. Например, мало кто вбивает в поисковик запрос «прически» в ноябре, тогда как в декабре девушки выстраиваются в очередь в салоны красоты, чтобы блистать на новогодних корпоративах.
Если же с сезоном все ОК, а ваша посещаемость недостаточно высока, задумайтесь, что вы делаете неправильно. Или просто поисковые роботы еще не успели проиндексировать страницы вашего сайта, такое тоже бывает.
Кстати, чтобы получить более точный результат, используйте синонимы. Так, если вы хотите посмотреть статистику по запросу «одеяло», не забудьте также проверить запросы «плед», «покрывало» и т.д.
Пишем свой парсер Яндекс Wordstat, используя API Директа!
Автор: Игорь Кантор · Опубликовано 25 января, 2020 · Обновлено 11 марта, 2021
Главная > Инструменты > Пишем свой парсер Яндекс Wordstat, используя API Директа!
Всем привет! В предыдущей статье по Яндекс Wordstat я упомянул о возможности облегчить себе жизнь при подборе ключей с помощью API Директа. Как и обещал, я поделюсь своим скриптом на Python, который автоматизирует процесс сбора ключевых фраз. Разберем, как работает парсер Яндекс Wordstat на конкретном примере и, попутно, научимся получать доступ к API Директа и немножко кодить на Python).
API Директа
Думаю, долго распинаться на тему того, что такое Яндекс Директ необходимости нет) Здесь все более или менее в курсе, что такое реклама в интернете, какие виды рекламы бывают и насколько солидный кусок пирога в этом плане у Яндекса.
Кстати, напомню, что кроме контекстной рекламы существует условно-бесплатный трафик из соцсетей. Обязательно ознакомьтесь с моей статьей на эту тему!
Яндекс дружит с разработчиками и, предоставляет в свободное пользование доступ ко многим сервисам через программный интерфейс (API). За вопросы, которые касаются создания и ведения рекламных кампаний, отвечает сервис Яндекс Директ. И у него тоже есть API! Этим мы и воспользуемся)
API ( application programming interface ) — программный интерфейс приложения.
В частном случае, он позволяет работать с приложением из другого приложения (например, вашего скрипта) без привычного графического пользовательского интерфейса (GUI).
Если по-простому, то вы можете написать программу, которая будет работать с сервисом вместо вас!
Мы будем использовать API Директа, чтобы спарсить выдачу Wordstat по заданному списку ключевых фраз, минус-слов и региону сбора. Т.е. будем делать автоматически то, что в прошлый раз делали с помощью плагина Wordstat.Assistant, НО с возможностью автоматизации и больших объемов сбора (десятки тысяч фраз за раз)!
Сбор ключей нужен не только для настройки рекламных кампаний, но используется для SEO-продвижения сайтов и даже групп ВКонтакте (об этом здесь).
План работы
Может, звучит и сложно, но, на самом деле, пугаться здесь нечего. Сейчас все подробно по шагам разберем. Было бы желание, а от результата точно кайфанёте)
Парсер кроссплатформенный. Это значит, что она работает как на ПК под Windows, так и на Linux и Mac
Создаем приложение в Директе
Первое, что нужно — это создать учетку в Яндексе, если, вдруг, у вас ее еще нет. Далее, переходим на страницу API Директа:
Ниже, в разделе «С чего начать» есть ссылка на подробный мануал по регистрации нового приложения. В конечно счете, нужно попасть на страницу создания нового приложения https://oauth.yandex.ru/client/new:
Заполняем необходимые поля:
Остальное заполнять необязательно. Нажимаем «Создать приложение»:
Попадаем на такую страницу и копируем ID нашего приложения:
ID приложения понадобится при получении отладочного токена, который вы будете передавать из скрипта в приложение при каждом подключении. Этот механизм защищает ваше веб-приложение от несанкционированных подключений. Так, как речь идет об API Директа, т.е. о доступе к рекламному кабинету, где может быть ненулевой баланс, необходимость авторизации обоснована.
Получаем отладочный токен
Мы скопировали ID нашего приложения. Теперь, в адресной строке браузера пишем следующий URL с параметрами:
https://oauth.yandex.ru/authorize?response_type=token&client_id=
Вместо подставляем скопированный ID приложения (без скобок) и переходим по получившейся ссылке. Откроется окно, где указан ваш токен — ключ API Yandex:
Поздравляю! Токен получен. Сохраните этот ключ в надежном месте, его мы будем вставлять в наш парсер Яндекс Wordstat.
Более подробно процесс получения ключа доступа описан в официальной документации.
Отправляем заявку на доступ к приложению
Наберитесь терпения, осталось немного) Чтобы Яндекс разрешил нам работать с приложением, нужно запросить доступ. Есть 2 варианта доступа: тестовый и полный. Для задач парсинга подойдет тестовый доступ, поэтому, именно его мы будем получать.
Заполняем необходимые поля:
Читаем пользовательское соглашение. Если все устраивает, соглашаемся и отправляем заявку. Готово)
Имейте в виду, что на рассмотрение заявки может уйти несколько дней. Пока Яндекс не одобрит заявку, работать с парсером не получится.
Активируем песочницу
Не дожидаясь одобрения заявки, можно завершить последние приготовления, а именно, активировать песочницу. Для этого, перейдите в соответствующий раздел и нажмите кнопку «Начать пользоваться песочницей»:
Песочница — это пространство для тестирования. Вы можете работать с API Директа и, при этом, не сломать свою действующую рекламную кампанию.
Выбираем роль = «Клиент«, ставим галочку «Создать тестовые кампании» и жмем «Продолжить«. Песочница создана:
Проверяем, что ничего не забыли
Проверим, что мы должны иметь на данный момент:
Помним, что на одобрение заявки может уйти несколько дней. Чтобы не терять их впустую, предлагаю заняться подготовкой клиентской стороны (т.е. нашего ПК) к работе с парсером.
Устанавливаем Python
Первое, что нужно сделать — это установить интерпретатор языка Рython (он же — питон). Для этого, заходим на официальный сайт проекта и скачиваем подходящую для нашей системы сборку: https://www.python.org/downloads/
Почему именно Python? Я сделал выбор в пользу питона по двум причинам:
1. Очень низкий порог вхождения: даже непрограммист вполне в состоянии быстро разобраться с основами;
2. В официальной документации на API Директа примеры написаны, в том числе, на питоне
В целом, хотелось бы чуть больше рассказать о том, почему Python так хорош, но в одну статью это не влезет)
Я люблю Python за универсальность. Можно и чат-бота написать и сайты спарсить и рабочую рутину по сведению таблиц Excel автоматизировать. И это не говоря уже о фреймворке Django для веб-приложений на Python!
Приятный бонус — достаточно легко найти высокооплачиваемую работу (если вас это, конечно, интересует). Если задумаете изучить язык на серьезном уровне, рекомендую этот курс. Да, это не быстро (12 месяцев). Да, не бесплатно. Зато, результат обучения с лихвой окупит все вложения.
Дальше все стандартно: запускаем инсталлятор и следуем инструкциям.
Очень удобно, что из коробки вместе с интерпретатором поставляется простенькая среда разработки — IDLE. Конечно, разработчики с опытом уже имеют свою рабочую среду и, понятно, будут работать в ней, но для старта и первого знакомства, IDLE вполне достаточно.
Лично я, в своей работе использую среду Visual Studio Code. Мои скромные потребности она полностью удовлетворяет: интеграция с Git, подсветка и дополнение кода, линтер, встроенный терминал и удобный отладчик. К тому же, она бесплатная) Если захотите чуть глубже окунуться в разработку — рекомендую.
Поздравляю, с подготовкой мы закончили)
Работаем с Yandex.Wordstat-parser
Я написал небольшой класс для работ с API Яндекс Директ в части парсинга ключей из Вордстат. Делал я его для себя и своими силами, поэтому, на идеальный вариант он никак не претендует, но, со своими задачами справляется неплохо) Обсуждение в комментариях приветствуется.
Есть 2 способа установить его: просто скачать с GitHub или с помошью Git (продвинутый способ). Рассмотрим оба варианта.
Качаем парсер Яндекс Wordstat с GitHub
Установка с помощью Git
Тоже самое можно сделать одной простой командой в командной строке, конечно, при условии, что у вас установлен клиент Git:
Git — это одна из самых распространенных систем контроля версий программного обеспечения. Многие разработчики используют ее для управления своим кодом и совместной работы над программным продуктом.
GitHub — популярный провайдер Git, предоставляющий место хранения и коллективной работы над исходными кодами.
Установить клиент Git можно отсюда. После установки, команды git станут доступны из командной строки. В некоторых случаях, требуется дополнительно прописать путь к git в переменную реды PATH. Если будет интерес к теме работы с Git — пишите в комментах, может, подготовлю небольшую статью.
Настраиваем скрипт и начинаем парсить!
У нас есть папка с файлами, скаченными с GitHub:
Класс для работы с API Директа содержится в файле «wsparser.py«. Его трогать не нужно.
В файле «example.py» приведен пример работы с классом wsparser — это и есть парсер Вордстата, в который нужно подставить наши исходные данные.
Открываем файл «example.py» в IDLE (или в любом текстовом редакторе) и вводим свой ключ api yandex, он же — отладочный токен (как его получить, читай выше) — параметр token, и ваш логин в Яндекс — userName:
Параметр url можете оставить без изменения. Если вы получали полный доступ и хотите работать с API Директа не в режиме песочницы, то укажите вместо этого, адрес, указанный строчкой выше (адрес полного доступа). Для парсинга в этом нет необходимости.
Далее, указывается список минус-слов (подробнее, в этой статье), свой список фраз и география (если требуется), по которым хотите собрать выдачу. :
Если хотите уточнить географию — это делается указанием кода региона и/или города в параметре geo.
Больше никаких настроек делать не нужно) Сохраняете файл и запускаете на исполнение. Файл содержит подробные комментарии ко всем действиям — настоятельно рекомендую ознакомиться!
Запуск скрипта
Для запуска скрипта на исполнение достаточно в верхней части окна нажать Run — > Run Module. Откроется терминал Python Shell, куда будет выводиться лог выполнения скрипта. Если все сделали правильно, то увидите нечто подобное:
Теперь откройте папку, где лежит «example.py«:
В файлах «phrases_left.txt» и «shows_left.txt» лежат фразы и частотность левой колонки выдачи Wordstat. В файлах «phrases_right.txt» и «shows_ right .txt» — правая колонка (похожие запросы). За один проход собирается 300 фраз левой колонки для одной фразы. У нас было 2 фразы на входе («фотошоп» и «photoshop»), поэтому, в результате, мы получили 600 фраз на выходе.
Ограничения API Директ на парсинг
Баллы API Директа
Если вы обратили внимание, то в логе парсера первой строчкой приводится информация о том, сколько баллов у нас осталось. При первом запросе результат будет 32000. При втором, уже 31980.
Баллы API — это, своего рода, валюта API Директа. Запрос выдачи по одной фразе стоит 10 баллов. Когда баллы закончатся, запросы обрабатываться перестанут.
Так у Яндекса реализован механизм ограничения нагрузки на сервера обработки.
Хорошая новость! Баллы со временем автоматически пополняются.
У нас за 1 запрос парсилось 2 фразы, поэтому, сняли 20 баллов.
Отчеты
Другие ограничения связаны с тем, что результаты парсинга возвращаются в виде отчетов. Кол-во отчетов на одного пользователя ограничено 5 штуками. При попытке сформировать шестой отчет будет получена ошибка. Поэтому, если вы заметили, в скрипте, кроме методов создания и получения отчета createReport, getReportList и readReport используется метод для удаления отчетов с сервера — deleteReport.
Еще ограничение: в одном отчете можно получить результаты сбора только для 10 фраз.
Для более глубокого парсинга вы можете модифицировать алгоритм скрипта под себя и сделать двух- и даже трехпроходовый парсер Яндекс wordstat. Для этого, после получения первых 300 ключевых фраз (если парсили одну фразу) можно разбить результат на 30 групп по 10 фраз и снова запрашивать отчеты, уже по 10 фраз. Потребуется запросить 30 отчетов.
Заключение
Конечно, есть достаточно много хороших и не очень инструментов, упрощающих жизнь SEO-шников, директологов, арбитражников и вебмастеров.
Для себя я уже сделал выбор в пользу десктопного софта — KeyCollector (не путать с названием моего блога😎). Это мощный инструмент, облегчающий работу по сбору и анализу больших ядер в сотни тысяч ключей. Цена инструмента вполне демократичная, а функционал покроет почти любые потребности.
Тем, кто хочет получить результат еще быстрее и без установки дополнительного софта — попробуйте замечательный инструмент для парсинга Wordstat от команды Rush Analytics. Есть бесплатный период, очень удобный интерфейс и, самое главное, он работает в облаке! Это не только удобно, но и гораздо быстрее десктопных приложений.
Тем не менее, надеюсь, что моя статья сподвигнет кого-то на изучение чего-то нового для себя. Разве не от новых достижений мы получаем свою порцию дофамина?) Возможно, кому-то окажется полезным класс на Python и вы используете его в реальном проекте или для создания собственного софта.
С вами был Игорь Кантор, не забывайте подписываться на новости! Всем профита!
SEO продвижение группы ВКонтакте: органический трафик из поиска
Автор: Игорь Кантор · Published 4 марта, 2021
Подбор ключей в Яндекс Wordstat: ручной сбор с Wordstat Assistant
Автор: Игорь Кантор · Published 20 ноября, 2019 · Last modified 11 марта, 2021
комментариев 13
Доброго времени суток, Игорь!
Попытался по вашему кейсу сделать парсер но вышла заминка в доступе к приложению API Директа. Мне 3й раз сейчас отказали с комментарием:
«Заявка отклонена. Инструмент для получения статистики поисковых запросов (метод CreateNewWordstatReport и смежные) являются неотъемлемой частью API Директа и самого сервиса Яндекс.Директ. Сам же сервис предназначен исключительно для активных пользователей — в частности рекламодателей. Использование API Директа только для получения данных о статистике поисковых запросов не является целевым использованием сервиса, так как не ведет какого-либо взаимодействия с основными объектами, например рекламными материалами.»
Сталкивались ли с такой проблемой и может знаете как решить ее?
Евгений, здравствуйте!
Я не сталкивался, но предполагаю, что Яндексу не понравилась заявка, а именно, ответ на вопрос «Для чего предназначено приложение». Попробуйте указать что-то в духе «автоматизация управления бюджетом РК». Для чистоты, можно в коде какой-нибудь метод соответствующий упомянуть.
Написал им в поддержку и получил такой ответ:
Добрый день, Евгений!
К сожалению, в данном случае мы не можем одобрить вашу заявку. Методы «CreateNewWordstatReport» и смежные являются неотъемлемой частью API Директа и самого Яндекс.Директа. Нецелевое использование этого сервиса может привести к каким-либо ограничениям в работе с ним. Если вы не планируете использовать Яндекс.Директ по прямому назначению, то это может считаться нецелевым использованием сервиса. Если вам нужны только данные сервиса Wordstat, то мы рекомендуем использовать общедоступный веб-интерфейс этого сервиса (https://wordstat.yandex.ru ) в ручном режиме.
Однако, в случае если вы все же планируете использовать Яндекс.Директ, то опишите, пожалуйста, более подробно, как и какие методы API Директа использует ваша программа: названия методов (включая наименование сервиса для API Директа версии 5); для каких целей используются методы; схема и последовательность вызова методов; с какой частотой производится вызов каждого метода (раз в минуту, раз в час и т.д.) и для каких целей выбрана именно эта частота. Также опишите, как программа производит обработку ошибок, возникающих при работе с API, и как программа учитывает текущие ограничения API Директа.
Решил попробовать воспользоваться их Директ.коммандером, вроде тоже самое получается но все равно не то, что мне надо)
не знаете какой-нибудь способ чтоб вордстат выдавал с определенного кол-ва запросов? например чтоб запросы у которых выше 10к не выдавались мне?
Можно спарсить в сервисе Rush Analytics, выгрузить в Excel и отфильтровать по собственным критериям.
В целом, спасибо за ценный комментарий — думаю, читателям будет полезно знать про дополнительные требования к описанию со стороны Яндекс.
Подскажите, что именно в URL указать? то что в примере?
Работаем с Wordstat правильно. Полное руководство
Многие люди не знают, как работать с трендами в интернете, где их искать. Перед тем, как начинать бизнес не знают, где посмотреть будет ли этот бизнес вообще популярен и нужен ли он. Поэтому напишу полный туториал, чтобы закрыть все вопросы по этой тематике.
Работать мы будем со специальным сервисом по сбору поисковых запросов пользователей Яндекса Вордстатом, интерфейс которого довольно прост и понятен:
В начале, по традиции, поставлю цели:
Ключевая роль сервиса заключается в том, что он помогает оценить пользовательский интерес к трендам, различным тематикам и подобрать ключевые слова для контекстной рекламы.
Знакомство с сервисом
Для того, чтобы начать пользоваться Вордстатом нам необходимо авторизоваться в аккаунте Яндекса:
После авторизации мы можем пользоваться сервисом. Просмотр данных поисковых запросов нам доступен во вкладке «По словам»:
В левой колонке мы видим статистику по словам, которые были вместе с вашим поисковым запросом и показы в месяц по ним. Для того, чтобы мы нашли наше слово в точном соответствии мы должны использовать операторы. В правой колонке показываются похожие по смыслу запросы на заданную нами фразу.
Наглядный пример использования ключевых слов с операторами:
Оператор «!» — фиксирует форму слова (число, падеж, время);
Оператор «[]» — Фиксирует порядок слов. При этом учитываются все словоформы и стоп-слова.
Подробнее об операторах читаем здесь.
По умолчанию Вордстат показывает запросы по всем типам устройств. Настройки можно изменять: десктоп/мобайл/только телефоны/только планшеты. В нашем случае отфильтруем только десктопы.
По умолчанию статистика показывается для всех регионов. Выбрать отображение статистики по интересующему нас региону можно во вкладке «Все регионы»:
Во вкладке «По регионам» отображаются данные со всех регионов, а также региональная популярность — доля, которую занимает регион в показах по слову, деленная на долю всех показов результатов поиска, пришедшихся на этот регион.
Для удобства эти же данные отображаются на карте:
Во вкладке «История запросов» мы видим данные по запросу, обычно за 1,5 года. Здесь наглядно можем оценить тренды и влияние их на определенные запросы.
Статистику можно смотреть как в абсолютных значениях, так и в относительных. Для получения относительного значения абсолютная цифра нормируется на количество показов результатов поиска Яндекса за соответствующий месяц.
На этом изучение инструменты можно закончить и приступить к следующей нашей цели — правильный сбор семантического ядра.
Правильный сбор семантического ядра
В интернете уйма сервисов и способов для сбора семантического ядра, а также искусственного его создания. Мы не будем создавать велосипед и танцевать с бубном, а соберем семантику легко, просто и бесплатно.
Для того, чтобы нам собрать нашу семантику, первым делом мы скачиваем с официального сайта Яндекса Директ Коммандер последней версии.
После загрузки запускаем программу, логинимся и создаем (без разницы с каким названием) кампанию:
Добавляем группу объявлений (по прежнему нет смысле заморачиваться с его названием):
Переходим во вкладку «Подбор фраз», и вуаля! Это тот же самый Вордстат, только в программе Директ Коммандер. Логика работы с ним такая же, только в отличии от веб версии Вордстата здесь мы можем сразу указать минус слова:
После того как мы тщательно отфильтруем весь список поисковых запросов от лишних запросов, можно приступать к экспорту нашей кампании в csv файл. Все, что остается нам сделать, это удалить лишние столбцы. Наше семантическое ядро находится в столбце «Фраза (с минус-словами)»:
Плюсы сбора семантики таким способом:
Работа с API Wordstat
Прежде чем начать, ознакомимся с базовой информацией из справки Яндекс Директа.
Описание параметров
Обязательные GET параметры
request — Данные запроса
GET параметры
lr — код региона, если 0 — то все регионы
imp — если 1 — то важный запрос
Ответ содержит
status — Код статуса (0 — нет ошибок)
err_msg — Текст ошибок
data — Количество показов в месяц
Для указания региона используются коды из Яндекса. Скачать список регионов можно по ссылке
На этом все цели, которые мы поставили перед собой, в конце статьи были достигнуты.