A/B-тест сайта: как проверить изменение формы и не обмануться
Коротко: A/B-тест сравнивает два варианта страницы или элемента по одной метрике на похожей аудитории, чтобы отделить эффект изменения от случайности и сезона. Для первого теста возьмите одну гипотезу и связанную с ней метрику, настройте эксперимент в разделе «Эксперименты» Метрики и не останавливайте его раньше расчётного срока.
Кнопка стала зелёной, форма короче, заголовок другой, и заявок вроде бы больше. Но через неделю был праздник, а до этого шла реклама, и непонятно, что именно сработало. A/B-тест нужен, чтобы отделить эффект изменения от случайности и сезона. Ниже разберём, как провести его на сайте с формой заявки через «Эксперименты» Яндекс Метрики, как оценить нужную длительность и когда тестировать пока рано.
Что такое A/B-тест и что он решает
Это сравнение двух вариантов страницы или элемента. Часть посетителей видит вариант A (текущий), часть вариант B (изменённый), и по одной выбранной метрике вы смотрите, какой работает лучше. Яндекс РекламаЯндекс Реклама описывает метод как способ проверить эффект изменения до того, как внедрять его для всех.
Разница с обычной правкой «посмотрим, что будет» в том, что обе версии работают одновременно и на похожей аудитории. Рост заявок после правки сам по себе ничего не доказывает: в это же время могла измениться реклама, день недели или сезон.
Когда тест имеет смысл
- Счётчик Метрики установлен, а цель, по которой вы будете сравнивать варианты, настроена и работает. Как это сделать, разобрано в материале о целях в Яндекс Метрике.
- На странице достаточно визитов. В разборе Яндекс Метрики от iContext приведён пример сайта с 2000 визитов и 5 заявками в месяц: для него тест пока нецелесообразен. Сначала растите трафик.
- Страница работает без ошибок: если форма иногда не отправляется, тест сравнит баг, а не дизайн. Проверьте скорость загрузки и отправку формы заранее.
Шаг 1. Сформулируйте гипотезу
Хорошая гипотеза содержит изменение, метрику и ожидание. Пример из материалов Яндекс Рекламы: если упростить форму обратной связи, число её заполнений вырастет на 10%. Откуда берутся такие идеи? Из наблюдений: например, записи визитов показывают, что посетители бросают форму на длинном поле. Как найти такие места, описано в статье про Вебвизор.
Меняйте одну вещь за раз. Если вы одновременно переписали заголовок, убрали два поля и перекрасили кнопку, по итогам теста будет непонятно, что дало результат.
Шаг 2. Выберите метрику, связанную с изменением
Метрика должна логично зависеть от того, что вы меняете. Форму оценивают по числу отправленных заявок, заголовок по кликам или переходам дальше по странице. Яндекс Реклама отдельно называет ошибкой оценку изменения по несвязанной метрике.
В «Экспериментах» к основной метрике можно добавить до двух дополнительных, например долю отказов или звонки. Это помогает заметить, что рост заявок не обернулся ухудшением по другим показателям. Учтите и качество: если заявок стало больше, но менеджеры жалуются на пустые обращения, смотрите дальше формы, в обработку заявок.
Шаг 3. Подготовьте эксперимент в Метрике
A/B-эксперименты в Метрике работают на основе Вариокуба. По описанию в материалах Яндекса и iContext порядок такой:
- Нужен счётчик, установленный на сайте, и права на его редактирование.
- В разделе «Эксперименты» создайте эксперимент, задайте название, условия и метрику. URL-фильтр заполняйте только если тест идёт не на всех страницах.
- Добавьте на сайт код эксперимента и проверьте подключение: в интерфейсе есть проверка по адресу страницы.
- Опишите вариант B. Простые правки, например текст или цвет кнопки, можно сделать в интерфейсе без разработчика.
- Выберите долю трафика, которая попадёт в эксперимент. Посетители делятся случайно и поровну между вариантами. Чем меньше доля трафика, тем дольше идёт тест, зато вы рискуете меньшим числом заявок, если вариант B окажется хуже.
Яндекс Реклама отмечает ограничение: базовая версия Вариокуба позволяет вести до двух тестов одновременно. На одной странице лучше запускать один тест, иначе результаты будут влиять друг на друга.
Шаг 4. Оцените длительность
Срок зависит от нужного размера выборки, потому что результат должен быть статистически значимым. В разборе iContext предлагается считать так: в онлайн-калькуляторе размера выборки (авторы используют калькулятор Эвана Миллера) задайте текущую конверсию и минимальный эффект, который хотите заметить. Чем меньше эффект, тем больше нужно визитов. Затем число визитов на один вариант умножьте на два и разделите на среднее число визитов в день.
Условный пример: калькулятор показал 1 750 визитов на вариант, на страницу приходит 100 визитов в день. Получается 1 750 × 2 / 100 = 35 дней. Если на странице 10 визитов в день, тест займёт почти полгода, и разумнее сначала взять изменение с более заметным эффектом или заняться трафиком.
Запускайте тест в спокойный период: без распродаж, сезонных всплесков и громких инфоповодов. Если срок заранее неизвестен, можно поставить ориентировочную дату окончания и остановить тест вручную позже.
Шаг 5. Прочитайте результат и примите решение
- Не останавливайте тест раньше срока только потому, что показатель уже окрасился. Цвет означает статистическую значимость, а не окончательный итог.
- Перед остановкой проверьте размер выборки по каждой метрике, включая дополнительные.
- В Метрике по умолчанию порог значимости равен 0,05. Если различия значимы, показатель подсвечивается красным или зелёным. Серый цвет означает, что заметной разницы нет, или тест идёт слишком недолго.
- Отсутствие разницы тоже результат: вы не потратили время на внедрение изменения, которое ничего не даёт.
После теста решите: внедрить вариант B, доработать гипотезу или оставить как есть. Внедрённое изменение запишите: что меняли, на каких данных и каков итог.
Что можно тестировать на сайте с формами и виджетами
- Количество полей и их порядок в форме заявки.
- Текст и цвет кнопки.
- Заголовок и первый экран.
- Место блока с формой или виджетом на странице.
- Текст предложения во всплывающем окне.
Выбирайте то, что стоит на пути к заявке: изменения вдали от формы обычно слишком слабо влияют на цель.
Типичные ошибки
- Менять сразу несколько элементов в одном тесте.
- Останавливать тест при первых зелёных цифрах.
- Запускать тест на странице, где визитов слишком мало.
- Сравнивать варианты по метрике, которая не связана с изменением.
- Тестировать в период распродажи или после перемены рекламной кампании. Если в тест идёт рекламный трафик, UTM-метки помогут понять, откуда пришли посетители.
Если инструмент для вас новый или вы сомневаетесь в равномерности трафика, в разборе iContext советуют сначала провести A/A-тест: он сравнивает две одинаковые версии и показывает, нет ли перекоса.
Если вы делаете сайты для клиентов
Тест хорошо работает как часть отчёта: вместо слов «мы улучшили форму» вы показываете, что именно меняли и как это отразилось на заявках. Если вы подключаете сервисы OGNEMET клиентам, обратите внимание на партнёрскую программу: вознаграждение составляет 20%, условия описаны на странице программы.
Коротко
A/B-тест нужен, чтобы понять, что именно повлияло на заявки. Сформулируйте одну гипотезу, выберите связанную метрику, настройте эксперимент в Метрике, заранее оцените срок по размеру выборки и не останавливайте тест досрочно. Если на странице мало визитов, сначала растите трафик.
Частые вопросы
Что такое A/B-тест на сайте?
Это сравнение двух вариантов страницы или элемента: часть посетителей видит вариант A, часть вариант B. По одной выбранной метрике смотрят, какой вариант работает лучше.
Сколько времени должен идти A/B-тест?
Срок зависит от нужного размера выборки. Число визитов на один вариант умножьте на два и разделите на среднее число визитов в день: при 1 750 визитах на вариант и 100 визитах в день получится 35 дней (условный пример).
Можно ли проводить A/B-тест при малом трафике?
В разборе iContext пример сайта с 2000 визитов и 5 заявками в месяц назван неподходящим для теста. При малом трафике сначала растите трафик.
Когда можно остановить тест?
Не останавливайте тест раньше срока только потому, что показатель уже окрасился: цвет означает статистическую значимость, а не окончательный итог. Перед остановкой проверьте размер выборки по каждой метрике.
Что можно тестировать на сайте с формами?
Количество полей и их порядок, текст и цвет кнопки, заголовок и первый экран, место блока с формой или виджетом, текст предложения во всплывающем окне.
компаний
по всему миру используют
огнемёт, принимая ежедневно: