A/B-тесты

A/B-тест попапа показывает посетителям сайта разные всплывающие окна и помогает оставить то, что работает лучше. Посетители делятся между вариантами теста. Каждый посетитель видит один вариант и тот же вариант при следующих визитах. Тест сравнивает варианты по цели и подсказывает, когда разница надёжная.

1. Откройте раздел A/B-тесты и нажмите «Новый A/B-тест».
2. Введите название, например «Заголовок со скидкой».
3. Выберите цель: по ней Поптимайзер определит лучший вариант.
4. Отметьте от двух до восьми попапов. Первый отмеченный попап станет вариантом A, второй станет вариантом B.
5. Нажмите «Создать тест».

Тест создаётся черновиком: посетители его не видят, пока вы не нажмёте «Запустить».

Под названием попапа стоят его статус, папка и дата создания. По ним легко отличить копии с одинаковым названием. Строка поиска ищет по названию попапа и по названию папки, кнопки над списком оставляют только активные попапы, черновики или архив.

Попап, который уже стоит в идущем или приостановленном тесте, отмечен строкой «Уже в тесте «…»», и выбрать его нельзя.

Если у выбранных попапов разные правила показа, форма предупредит об этом. Например, варианты с разными триггерами увидят разные посетители, и сравнение получится нечестным.

Цель задаёт показатель, по которому тест сравнивает варианты. Цель считается в долях или во времени, а не в штуках: число кликов зависит от того, сколько посетителей получил вариант.

Для цели «Вовлечённость» тест не считает уверенность: сравните цифры сами.

Доля трафика задаёт часть посетителей теста, которая получает вариант. Новый тест делит посетителей поровну. Доли меняются ползунками на странице теста, пока тест — черновик или на паузе.

Сумма долей всегда равна 100 %, у каждого варианта не меньше 1 %. Доли удобно задавать сверху вниз: если поставить варианту A 50 %, а затем варианту B 30 %, вариант C получит оставшиеся 20 %. Кнопка «Поровну» возвращает равные доли. Новые доли начинают действовать после кнопки «Сохранить доли».

«Запустить» включает все попапы теста, и посетители начинают получать варианты. Цифры теста считаются с первого запуска.

«Пауза» переводит попапы теста в черновик, и сайт не показывает ни одного варианта. «Продолжить» снова включает их. Идущий тест удалить нельзя: сначала поставьте его на паузу или завершите.

Блок вверху страницы теста говорит, что делать дальше:

• «Собираем данные»: для вывода каждому варианту нужно не меньше 300 показов. Шкала показывает, сколько показов собрал вариант, где их меньше всего;
• «Впереди Вариант B, но это ещё не точно»: лидер есть, но разница может быть случайной;
• «Вариант B лучше — можно завершать»: уверенность не ниже 95 %, разница вряд ли случайна.

Уверенность показывает, насколько маловероятно, что разница между лидером и следующим вариантом случайна. Чем больше показов и чем сильнее разница, тем выше уверенность.

Тест из двух вариантов показывает их карточками рядом. Тест из трёх и больше вариантов показывает рейтинг от лучшего к худшему. Под ним таблица сравнения содержит показы, клики, CTR, конверсии, конверсию (CR), отказы и вовлечённость каждого варианта. Столбец цели подсвечен, лучшее значение выделено.

Цифры теста считаются только за время теста, а не за всю жизнь попапа.

Раздел «A/B-тесты» делит тесты на группы:

• «Можно завершать»: у теста надёжный лидер, пора выбрать победителя;
• «Идут»: тесты собирают данные;
• «Черновики и пауза»: тест ждёт запуска или продолжения;
• «Завершены»: победитель и итог каждого теста.

У каждого теста видны цель и значение цели у каждого варианта.

1. На странице теста нажмите «Завершить».
2. Выберите победителя. Окно сразу отмечает лидера, но выбрать можно любой вариант.
3. Нажмите «Завершить тест».

Победитель продолжит показываться на сайте, остальные варианты уйдут в архив. Цифры теста сохранятся. Если тест стоял на паузе, победитель останется черновиком: включите его, когда будете готовы.

Пока лидер не надёжный, окно предупреждает «Решать рано» и объясняет почему. Завершить тест всё равно можно.

Черновик, тест на паузе и завершённый тест можно удалить внизу страницы теста. Попапы теста, их статистика и заявки останутся.