какое количество a b тестирований может быть запущено одновременно

A/B Тестирование: Основы

Что, Зачем, Когда и Как

Какой из цветов, розовый или голубой, поспособствует тому, чтобы больше людей кликали на кнопку регистрации на сайте? Стоит ли использовать Gif вместо статичного изображения для Главной страницы? Сколько должно быть опций меню для привлечения клиентов, пять или семь? Какая версия больше способствует доведению клиентов до последнего этапа воронки?

Вы можете продолжать вносить изменения наугад или попробовать А/В тестирование!

А/В тестирование используется для определения наиболее эффективной версии продукта на рынке.

Компании самых разных масштабов от стартапов до крупных высокотехнологичных предприятий прибегают к А/В тестированию, чтобы сделать более осознанный выбор. Даже самое простое тестирование может помочь в принятии важных решений.

Что такое А/В тестирование?

А/В тестирование — это метод исследования, при котором разным группам посетителей сайта одновременно показаны две версии одной и той же веб-страницы для определения, какая из них работает эффективнее.

Если вкратце, то исследование показывает, какая из версий (А) или (В) лучше?

A/B тестирование, также известное как сплит-тестирование (split testing) или групповое тестирование (bucket testing), по сути, представляет собой эксперимент, в котором пользователям случайным образом показываются два или более варианта рекламы, маркетингового емэйла или веб-страницы, а затем используются различные методы статистического анализа для определения какой вариант дает больше конверсий.

Как правило, при A/B тестировании вариант, который дает более высокую конверсию, является выигрышным, т.е. этот вариант может помочь вам оптимизировать ваш сайт для получения более высоких результатов.

Для чего нужно A/B тестирование?

При емэйл-рассылках пользователям отправляется два варианта письма, и таким образом, маркетинговая команда узнает, какое письмо дало больший эффект с точки зрения прочтения и кликабельности.

Но они не знают, что именно заставило пользователя открыть письмо: предварительный текст, тема, визуальные эффекты или содержание письма? Какой из элементов емэйла является наиболее привлекающим внимание можно определить с помощью A/B теста.

Он может помочь вам изучить поведение посетителей и клиентов на вашем сайте, прежде чем принимать важные решения об изменениях, и повысить ваши шансы на успех. Иными словами, A/B тестирование помогает избежать ненужных рисков, позволяя целенаправленно использовать свои ресурсы для достижения максимальной отдачи и эффективности.

В каких случаях следует использовать A/B тестирование?

Платформа для онлайн-обучения хочет внести изменения в свою главную страницу, чтобы новый, более привлекательный дизайн увеличил количество пользователей, проходящих их курсы. Или, например, они хотят сфокусировать внимание клиентов на более подробном описании карьеры на странице обзора курса, и это изменение потенциально может побудить большее количество пользователей зарегистрироваться и пройти курс — A/B тестирование может проверить так ли это.

Все, что отображается на веб-странице и может повлиять на поведение посетителя при просмотре сайта, можно протестировать с помощью A/B тестирования.

При проведении A/B тестирования сравнения должны быть как можно проще. Например, не сравнивайте две совершенно разные версии своего веб-сайта, потому что вы не поймете, какие факторы действительно имели значение. Точно так же, если на сайт добавляется новый модуль или меню, он не может быть протестирован с помощью A/B тестирования, поскольку в этом случае у нас нет основ для сопоставления.

Как проводится A/B тестирование?

Идеальная воронка продаж для интернет-магазина выглядит следующим образом:

Домашняя страница → Список категорий/Поиск продукта → Просмотр страницы продукта → Корзина → Оформление заказа

Магазин теряет своих пользователей по мере того, как они проходят этапы этой воронки. Затем проводится A/B-тестирование, чтобы опробовать изменения, которые, как мы надеемся, повысят коэффициент конверсии от одного этапа к другому.

A/B тестирование проводится в четыре этапа:

Определение изменения и метрики

Для начала решите, какую информацию вы сможете собирать и анализировать. Мы не просто предполагаем, а используем соответствующие аналитические инструменты, чтобы в первую очередь удостовериться, что у вас действительно есть проблема, и определить, где именно она находится.

Аналитика часто дает представление о том, что вы можете попробовать усовершенствовать. Например, мы решили изменить кнопку с призывом к действию (CTA) на странице продукта с «Buy Now» на «Shop Now», чтобы увеличить количество пользователей, которые добавляют товары в корзину.

Затем выбираются метрики для измерения уровня вовлеченности пользователей. В нашем примере метрикой будет служить кликабельность кнопки «Buy Now». Коэффициент кликабельности (Click through rate, CTR) — это количество кликов уникальных пользователей, разделенное на количество просмотров уникальными пользователями. Вы можете выбрать столько метрик, сколько захотите, и чем больше вы оцениваете, тем выше вероятность того, что вы заметите существенные различия.

Определение гипотезы

Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты. Наиболее важные и запутанные аспекты проверки гипотез — это определение нулевой и альтернативной гипотез.

Проще говоря, утверждение, которое истинно до того, как мы собираем какие-либо данные, является нулевой гипотезой. При A/B тестировании основная нулевая гипотеза будет заключаться в том, что новая версия не лучше или даже хуже старой. Для нашего примера это утверждение, что новый коэффициент кликабельности (CTR) меньше или равен старому.

Альтернативой является конкурирующая гипотеза, зачастую являющаяся логическим отрицанием нулевой гипотезы. Утверждения, которые мы пытаемся доказать, всегда появляются альтернативой. Итак, при A/B тестировании альтернативная гипотеза состоит в том, что новая версия лучше старой. В нашем примере это утверждение о том, что новый CTR будет больше старого.

Создание эксперимента (размер выборки, факторы воздействия, время выполнения, участники)

Обычно пользователи выбираются случайным образом и распределяются либо в контрольную группу, либо в экспериментальную группу. Затем мы запускаем эксперимент, в котором контрольная группа видит старую версию, а экспериментальная группа — новую.

Каждый пользователь видит только один вариант дизайна (A или B), даже если обновляет интерфейс. Таким образом, каждую из версий будет просматривать одинаковое количество людей, и вы сможете проанализировать, какая версия обеспечивает улучшение метрики, которое вы считаете существенным.

Размер выборки, который вы выберете, позволяет приблизительно определить, сколько времени займет сбор достаточного количества данных.

Анализ результатов A/B тестирования

После завершения исследования мы можем проанализировать результаты. На этом этапе больше всего сконцентрировано внимание аналитиков. Мы рассчитываем значения показателей как для контрольной, так и для экспериментальной группы.

Затем применяются различные статистические методы, такие как распределение выборок (Sampling Distribution) с применением бутстреппинга, регрессии и различных других алгоритмов машинного обучения, для оценки метрики и демонстрации разницы между работой двух версий вашей веб-страницы и наличия статистически значимой разницы.

Трудности при A/B тестировании

При планировании A/B тестирования и составлении выводов по его результатам необходимо учитывать множество факторов. Перечислим несколько самых распространенных:

Эффект новизны и отторжение изменений, когда старые пользователи впервые сталкиваются с изменениями.

Достаточный трафик и конверсии для значимых и повторяемых результатов.

Последовательность среди испытуемых в контрольной и экспериментальной группе.

Выбор лучших показателей для принятия окончательного решения. Например, измерение дохода в сопоставлении с количеством кликов.

Практическая значимость коэффициента конверсии, стоимость запуска новой фичи по сравнению с прибылью от увеличения конверсии.

Продолжительность времени исследования, чтобы учесть такие факторы, как изменения в настроении людей в зависимости от времени дня/недели или сезонных событий.

При написании этой статьи я старалась выражать мысли как можно проще, чтобы люди, не знакомые с A/B тестированием, могли получить общее представление о нем. Существуют различные аналитические инструменты, которые используются для A/B тестирования в крупных отраслях, такие как Google Analytics и Google Optimize, Vwo, Optimizely, набор для A/B тестирования HubSpot, Crazy Egg и т. д.

A/B — это не роскошь для маркетологов, у которых есть свободное время; это — источник жизненной силы «взлома роста».

Один из самых популярных примеров A/B тестирования — 41 оттенок синего, когда Google не могли решить, какой из двух синих цветов они предпочитают для определенного элемента дизайна. По некоторым данным, они использовали A/B тестирование для оценки привлекательности 41 различных оттенков синего. Кроме того, ознакомьтесь с 7 невероятными примерами A/B тестов, проводимых реальными компаниями — примеры A/B тестирования промышленного уровня.

Точный подход к A/B тестированию может привести к огромным преимуществам и более эффективному взаимодействию с пользователями, повышению коэффициента конверсии, простоте анализа и увеличению продаж — это беспроигрышный вариант!!

Приглашаем всех желающих записаться на бесплатный демо-урок, в рамках которого рассмотрим потоковую обработку больших данных. Подходы, архитектуры, фреймворки, сравнение, обзор и выбор. Основных игроков и перспективных новичков. А также реальные проекты, интересные связки и многое другое!

Источник

Администратор. Модули. Служебные модули

1. Для защиты веб-проекта на высоком уровне безопасности необходимо:

+ настроить стандартный уровень безопасности, а затем выполнить настройку параметров для высокого уровня
— настроить только параметры высокого уровня безопасности
— настроить стандартный уровень безопасности, а затем настроить параметры использования одноразовых паролей и контроля активности

2. При master-slave репликации в модуле «Веб-кластер»

— если разрешено использования одноразовых паролей
+ для которых в правах доступа к модулю «Проактивная защита» разрешена операция «Обход проактивного фильтра»
— если включен механизм хранения данных сессий пользователей в базе данных
— добавленных в стоп-лист

4. Сразу после создания подключения к облачному хранилищу

+ старые файлы останутся на хостинге, а новые будут автоматически сохраняться в «облаке»
— старые файлы автоматически будут перенесены в «облако», а новые сразу будут сохраняться там
— на хостинге будут размещаться как старые файлы, так и вновь создаваемые

5. Просмотреть содержимое подключенных контейнеров облачных хранилищ можно на странице

— Облачные хранилища (Настройки > Облачные хранилища)
+ Облачные хранилища (Контент > Облачные хранилища)
— Управление структурой (Контент > Структура сайта > Файлы и папки)

6. Где указывается сервер, на котором размещен почтовый ящик?

— в любом из перечисленных
— в настройках модуля «Почта»
— в настройках главного модуля
+ в настройках почтового ящика

7. Чтобы защита осуществлялась на повышенном уровне необходимо:

— настроить параметры повышенного уровня: систему одноразовых паролей и механизм контроля целостности
— настроить защиту на стандартном и высоком уровне
+ настроить защиту на стандартном и высоком уровне, а затем настроить параметры повышенного уровня

8. Импорт пользователей из AD/LDAP осуществляется:

— автоматически
+ из выбранного администратором сервера (вручную)
— для всех серверов

9. Чтобы правило применялось к почтовым сообщениям автоматически, в поле «Применять при событиях» (форма редактирования правила, модуль «Почта») следует выбрать значение:

+ при получении
— при принудительном вызове

10. Если стандартный уровень не настроен полностью, то:

— защита сайта будет осуществляться на начальном уровне, без учета настроенных параметров на стандартном, высоком и повышенном уровнях
— защита сайта будет осуществляться на базовом уровне
+ защита сайта будет осуществляться на начальном уровне, но с учетом настроенных параметров на стандартном, высоком и повышенном уровнях

11. Если пользователь удален из списка пользователей корпоративной сети, то:

— он сохранит прежний доступ к сайту.
+ при попытке получить доступ к ресурсам сайта он получит отказ в авторизации.
+ его аккаунт будет сохранен в системе управления сайтом.

12. Изменить место хранения кеша при установленном модуле веб-кластер можно

— в настройках главного модуля
+ в административной части сайта на странице «Memcached»
— в настройках модуля веб-кластер
+ в файле «\bitrix\modules\cluster\memcache.php»

13. После подключения сервера memcached с помощью модуля веб-кластер

— сервер будет использоваться в кластере совместно с файлами кеша
+ сервер будет использоваться в кластере вместо файлового кеша
+ в случае отказа всех memcached-серверов подсистема кеширования снова начинает использовать файловый кеш

14. При входе на подключенный к контроллеру сайт через логин на контроллере

— Происходит прозрачная авторизация без создания локального пользователя
+ На сайте создается локальный пользователь с соответствующим именем и правами

15. Передача файлов через контроллер сайтов:

— возможна на отдельный сайт или и на группу при условии совпадении имен директорий для загрузки
— невозможна
— возможна только на отдельный сайт
+ возможна как на отдельный сайт, так и на группу

16. Если сведения о группах пользователей корпоративной сети хранятся в базах данных нескольких серверов или в нескольких базах данных одного сервера, то следует:

— Создать универсальную запись и указать все возможные сервера и базы данных.
+ Создать несколько записей, регламентирующих доступ к ним.

17. Администратор может выполнять следующие действия с почтовыми ящиками:

+ создать новый почтовый ящик
+ просмотреть или добавить новое правило для почтового ящика
+ изменить параметры учетной записи
+ просмотреть все сообщения, пришедшие на этот ящик
+ удалить учетную запись
+ посмотреть журнал событий по данному ящику

18. Если перед удалением сайта из контроллера он был предварительно отсоединен, то:

— запись будет удалена, а сам сайт будет работать с теми настройками, которые были установлены контроллером.
+ после удаления на сайте будут возвращены настройки, установленные до подключения к контроллеру.

19. При подключении сайта к контроллеру

+ На подключенном сайте создается локальный пользователь-администратор, пароль от которого в зашифрованном виде хранится на контроллере
— На подключенном сайте хранится зашифрованный пароль администратора контроллера

20. Страница «Веб-сервера»

— носит как информационный характер, так и позволяет добавить в кластер новые узлы
+ носит информационный характер
— позволяет добавить в кластер новые узлы

21. Модуль AD/LDAP интеграция служит для:

— организации совместной работы корпоративной сети и сайта
— автоматического доступа в соответствии с уровнем прав
+ организации централизованного управления всеми группами пользователей корпоративной информационной системы

22. Проверка целостности файлов системы осуществляется на странице:

— Агенты
— Проверка сайта
+ Контроль целостности

23. Задание структуры компании в AD производится:

+ автоматически с помощью специальных свойств пользователя
— вручную

24. Редактирование подключения к облачному хранилищу выполняется

— на странице настроек модуля «Облачные хранилища»
— на странице «Облачные хранилища» (Контент > Облачные хранилища)
+ на странице «Облачные хранилища» (Настройки > Облачные хранилища)

25. Что отображено на странице Панель безопасности:

+ таблица параметров и их значений
+ текущий уровень безопасности
— состояние параметров защиты

26. Администратор контроллера на подчиненных сайтах может:

— авторизовываться и выполнять действия в соответствии с правами, заданными локальными администраторами.
+ авторизовываться и выполнить необходимые действия без учета уровня прав, установленных локальными администраторами.

27. Если при редактировании подключения к облачному хранилищу на закладке «Правила» в колонке «Список модулей» оставить поле пустым

— то под действие правила не будут попадать файлы ни одного из модулей
+ то под действие правила подпадают файлы любых модулей
— то под действие правила подпадают файлы только главного модуля

28. Контроллер сайтов – это

— надстройка над Active Directory для управления сайтами, разработанная компанией «1С-Битрикс»
+ модуль Bitrix Framework, который позволяет устанавливать связь с другими независимыми веб-сайтами и централизованно управлять ими

29. При деактивации подключения к облачному хранилищу

— данные будут не доступны для чтения, запись будет невозможна
+ данные будут доступны для чтения, запись будет невозможна
— данные будут удалены, запись будет невозможна

30. Модуль «Веб-Кластер» поддерживает

— распределение однотипных данных веб-приложения (например, учетных записей) между отдельными базами данных
+ разделение одной базы данных веб-приложения на две и более базы данных за счет выделения отдельных модулей, без изменения логики работы веб-приложения
— как разделение одной базы данных веб-приложения на две и более базы данных, так и распределение однотипных данных веб-приложения между отдельными базами данных

31. Войти на сайт, подключенный к контроллеру, может:

+ локальный пользователь этого сайта
+ пользователи контроллера, группе которых разрешен вход на подключенный сайт
+ администратор контроллера
— все пользователи контроллера

32. Если подключенный сайт отмечен в контроллере как неактивный, то:

+ он недоступен для любых посетителей.
— управление этим сайтом со стороны контроллера невозможно.
— на управляемом сайте не выводится информация с управляющего сайта.

33. Для того чтобы выполнять получение почтовых сообщений вручную, на странице настройки почтового ящика в поле «Проверять с периодом» следует указать:

Источник

Ответы на тест: Администратор. Модули. Служебные Модули

Какое количество A/B тестирований может быть запущено одновременно?

Увидеть ответ на вопрос: Какое количество A/B тестирований может быть запущено одновременно?, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

В каком пункте меню можно выполнить операции над подключенными сайтами?

Увидеть ответ на вопрос: В каком пункте меню можно выполнить операции над подключенными сайтами?, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

В каком пункте меню можно настроить выполнение на удаленных сайтах определенного php-кода в заданный период времени?

Увидеть ответ на вопрос: В каком пункте меню можно настроить выполнение на удаленных сайтах определенного php-кода в заданный период времени?, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

В каком пункте меню нужно вводить произвольный PHP код?

Увидеть ответ на вопрос: В каком пункте меню нужно вводить произвольный PHP код?, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

При входе на подключенный к контроллеру сайт через логин на контроллере

Увидеть ответ на вопрос: При входе на подключенный к контроллеру сайт через логин на контроллере, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

Контроллер сайтов – это

Увидеть ответ на вопрос: Контроллер сайтов – это, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

Передача файлов через контроллер сайтов:

Увидеть ответ на вопрос: Передача файлов через контроллер сайтов:, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

Администратор контроллера на подчиненных сайтах может:

Увидеть ответ на вопрос: Администратор контроллера на подчиненных сайтах может:, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

Если подключенный сайт отмечен в контроллере как неактивный, то:

Увидеть ответ на вопрос: Если подключенный сайт отмечен в контроллере как неактивный, то:, можно купив подписку в которую входит данные ответы: 🚀

Купить подписку и ознакомить какие ответы на тесты 1с битрикс входят в нее, можно на главной странице

Источник

A/B тестирование (сплит-тестирование): быть или не быть

Соберите все данные для сквозной аналитики вместе с OWOX BI

Соберите все данные для сквозной аналитики вместе с OWOX BI

Под лежачий камень вода не течет и лиды не приходят. Чтобы превратить драгоценный трафик, который приносит ваша реклама, в успешные продажи, нужно постоянно оптимизировать свой сайт. Улучшать пользовательский опыт, поведенческие показатели и коэффициент конверсии. Но как убедиться в том, что изменения, которые вы собираетесь внедрить, принесут ожидаемый результат? Для этого существует A/B (сплит) тестирование. В статье мы расскажем, что это такое, как его проводить и на какие нюансы стоит обратить внимание.

Если вам нужна помощь с внедрением метрик, сбором данных и запуском A/B тестов, команда OWOX BI готова поочь. Закажите демо, чтобы уточнить детали.

Содержание

бонус для читателей

Видео докладов с конференций: Analyze, GoAnalytics и Ecommerce

Что такое A/B (сплит) тестирование

A/B тестирование в маркетинге оно же сплит-тестирование (от англ. split testing) — это сравнение двух вариантов посадочной страницы, которые отличаются между собой одним параметром. Его цель — определить, какой из двух вариантов наиболее эффективный и приносит больше конверсий.

Допустим, вы продаете какое-нибудь программное обеспечение. У вас есть лендинг с описанием продукта и кнопкой для подписки на пробную версию, которая расположена в конце страницы. Чтобы увеличить количество подписчиков, вы решили добавить еще одну кнопку на первый экран — для тех, кто уже знает о вашем продукте или предпочитает пробовать сразу, а не читать подробные инструкции.

Чтобы проверить, сработает ли ваша гипотеза, вы создаете копию оригинального лендинга и добавляете на нее кнопку. Затем делите посетителей страницы на две части: одним показываете оригинальную страницу (вариант А), другим — усовершенствованную (вариант B). По окончании теста сравниваете показатели эффективности (в нашем примере это количество подписок) и определяете победителя.

Зачем проводить А/B (сплит) тестирование

Рассмотрим несколько основных проблем, которые помогает решить сплит-тестирование.

1. Лучше понимать своих пользователей и давать им то, чего они хотят. Как бы долго вы ни занимались электронной коммерцией и онлайн-маркетингом, будет ошибкой полагаться в этом вопросе исключительно на личный опыт.

Даже если кажется, что вы можете предугадать поведение пользователя на сайте и понимаете, как именно организовать контент, чтобы он максимально быстро двигался по воронке продаж, проведите A/B тест. Результаты могут вас удивить.

Как показывает практика, не всегда наши предположения совпадают с реальной картиной. Поэтому мы не можем решать, что лучше для клиента, основываясь лишь на собственных убеждениях.

2. Данные VS экспертное мнение. Вторая проблема, вытекающая из первой — это целесообразность изменений на сайте и минимизация связанных с этим рисков.

Часто гипотезы строятся на основе личных взглядов, которые могут не совпадать со взглядами аудитории. В результате изменения, внедренные без предварительного А/В теста, не приносят желаемого эффекта или того хуже — снижают конверсию.

Поэтому, когда перед вами стоит вопрос, что использовать для принятия решений — данные или экспертное мнение, всегда выбирайте данные.

3. Персонализировать коммуникацию с клиентами. Существует много точек взаимодействия с клиентам: они пользуются различными устройствами, приходят из разных источников, по-разному взаимодействуют с вашим сайтом, просматривают и покупают разные товары.

Сервисы веб-аналитики, такие как Google Analytics, Яндекс.Метрика и пр., помогают объединить эти данные и систематизировать знания о пользователе. Мы собираем информацию о том, на каких страницах они были, что делали. Это дает возможность разделить аудиторию по множеству признаков на несколько десятков или сотен сегментов и узнать, к примеру, как себя ведут пользователи, пришедшие с органики или с платного трафика.

Но мы не всегда правильно используем эту информацию и не выжимаем из нее максимум пользы. Простой пример: большинство онлайн-проектов до сих пор показывает один и тот же контент всем пользователям, независимо от их поведения и источников трафика:

Если вы тоже так делаете, сплит-тестирование поможет вам исправить ситуацию и персонализировать контент на сайте.

Основные этапы A/B (сплит) тестирования

Теперь давайте рассмотрим основные этапы и нюансы сплит-тестирования:

Этап 1. Выявить проблему

Первым делом вам нужно определить список слабых мест на сайте. Для этого вы можете:

К примеру, вы посмотрели стандартную Enhanced Ecommerce воронку в GA и увидели, что у вас с карточки товара очень мало человек добавляет товар в корзину. При этом, если у вас есть офлайн-точка, и вы знаете, что в ней популярность товара высокая, то скорее всего что-то не так с вашим онлайн-магазином

Этап 2. Выдвинуть гипотезу

Когда вы определились, что исправлять, нужно подумать, как именно вы будете это делать. Без гипотезы A/B (сплит) тестирование не имеет смысла — ценность от выводов, которые вы получите, будет невелика. Вы должны четко представлять, с какой целью вы проводите эксперимент, какой элемент веб-страницы нужно протестировать, и каких количественных результатов хотите достичь.

При формулировании гипотезы отталкивайтесь от вашей конверсионной воронки. Спросите себя: «Что мне стоит поменять в той или иной части страницы, чтобы быстрее продвинуть пользователя по воронке?». В рамках одного теста проверяйте одну гипотезу, иначе будет сложно определить, какое именно изменение и в какой степени повлияло на конечный результат.

Что можно тестировать:

Еще больше примеров вы найдете в статье «100 идей для A/B тестирования» часть 1, часть 2.

Выбор показателей для оценки эффективности зависит от гипотезы и целей, которых вы хотите достичь. Это могут быть: доход, количество покупок, коэффициент конверсии, средний чек, заявки и подписки, показатель отказов и другие метрики.

Этап 3. Проверить метрики

Следующим шагом вам нужно убедиться, что у вас внедрены и фиксируются все необходимые метрики, на основе которых вы будете делать выводы в конце теста. В своей работе мы сталкивались со случаями, когда клиенты выявили слабые места, определили гипотезы, но не прописали корректно систему метрик так, чтобы потом можно было понять, конверсия изменилась именно из-за этой кнопки, которую он поменял, либо из-за других факторов.

Этап 4. Запустить тест

Перед тем, как запускать эксперимент, рекомендуем вам учесть следующие факторы:

После этого вы можете запускать тест. Чуть ниже мы расскажем об инструментах, с помощью которых это делается.

Этап 5. Проанализировать результаты

По окончании эксперимента вы сравниваете и анализируете полученные результаты. К примеру, изначальный CR на вашем лендинге был 3%, вы предполагали, что можете увеличить его до 5%, а тестовый вариант показал 3,5%. То есть коэффициент конверсии хоть и увеличился, но совсем незначительно. Тут уже вам решать, стоит ли внедрять изменение на сайт или протестировать другую гипотезу.

Проверить, имеют ли результаты сплит-тестирования статистическую значимость, вы можете с помощью онлайн-калькулятора или статистических методов:

Прочитать подробнее, что такое статистическая мощность, длина выборки, доверительный интервал, статистическая значимость и как они считаются, вы можете в статье «Статистика в веб-аналитике, или Как стать настоящим Data Scientist».

Если тест прошел успешно и вы получили достоверные данные, выводите лендинг-победитель на сайт и приступайте к следующему эксперименту.

Возможные ошибки при анализе результатов тестирования:

Инструменты для A/B (сплит) тестирования

Для запуска теста необходимо создать тестовый вариант страницы, сегментировать аудиторию и посчитать целевые метрики для каждой их них отдельно. Если у вас есть навыки программирования и достаточно ресурсов, вы можете запустить А/B тест вручную. Но проще и удобнее делать это с помощью специальных сервисов.

Мы подготовили для вас небольшую таблицу, в которой сравнили популярные инструменты для сплит-тестов:

Мы в OWOX BI используем для сплит-тестирования страниц Google Optimize, поэтому подробнее остановимся на особенностях именно этого инструмента.

A/B тестирование с Google Optimize

Optimize — это онлайн-сервис для тестирования, который подключается к вашему веб-сайту и позволяет экспериментировать с различными способами отображения контента.

Optimize позволяет использовать данные, которые вы накопили в Google Analytics, чтобы предлагать пользователю тот вариант страницы, который будет наиболее удобным для него и результативным для вашего бизнеса.

Плюсы Optimize

Недостатки Optimize

Как работает Google Optimize

По принципу работы Google Optimize похож на другие инструменты для проведения экспериментов и персонализации:

Кроме классических A/B (сплит) тестов в Optimize можно запускать мультивариативные тесты (когда у вас несколько меняющихся элементов во множестве комбинаций) и редирект тесты (для страниц с разным URL и дизайном).

Ознакомиться подробнее с интерфейсом и настройками сервиса вы можете в статье «Как провести свой первый А/B тест: автоматизируем процесс с Google Optimize».

Анализ результатов

Благодаря отчетам в Google Optimize вы можете наблюдать за результатами по ходу эксперимента и анализировать собранные данные сразу после его окончания.

Термины в отчетах Optimize:

Как определяется победитель

Optimize использует для расчета вероятности Байесову статистику. Если не углубляться в детали, то для пользователя это означает, что во время эксперимента в отчетах Optimize можно увидеть вероятность того, что вариант B будет победителем еще до окончания эксперимента. Если вероятность достигла определенного уровня, можно досрочно закончить эксперимент и сэкономить время и деньги бизнеса.

Кроме того, команда Google планирует реализовать в Optimize механизм перераспределения трафика в пользу лучшего варианта до окончания эксперимента. Это позволит сэкономить ваши деньги так, как меньше пользователей во время теста увидят неэффективный вариант.

Если вы интегрируете Optimize со своим аккаунтом Google Analytics, то сможете просматривать и анализировать результаты тестов в интерфейсе GA, меню «Поведение» — «Эксперименты»:

Источник