Зовите аналитика: как проверять достоверность АБ-тестов

Рассказывает ,

В емейл-маркетинге всё построено на АБ-тестах. Длинный заголовок или короткий, анимированная картинка или простая, красная кнопка или зелёная — мы пробуем всё и выбираем то, что дало лучшие результаты. Но статистика показывает как закономерности, так и случайности. Скажем, в вашем кабинете три человека и один не ест мясо. Это ведь ещё не значит, что треть сотрудников компании — вегетарианцы. Чтобы понимать, можно ли доверять собранным данным и связям между числами, наши специалисты пользуются специальным калькулятором.

Он проверяет связи двух переменных: размера выборки и размера эффекта.

Размер выборки — количество событий, которые маркетолог анализирует. Чем больше размер выборки, тем больше доверия к статистике, которую получает маркетолог в эксперименте. Если вы смотрите Open Rate (конверсию отправок в открытия), то выборкой будут отправки.

Например, вы отправили половине базы письма с динамическим таймером времени до конца распродажи, а другой — без. Половина базы — это и есть выборка в каждой ветке теста.

Размер эффекта показывает, как изменилась метрика — например, вырос Click Rate. Маркетолог обязан убедиться, что конверсия изменилась именно из-за эксперимента и что это не случайное совпадение. Чем меньше размер эффекта, тем большую выборку ему придётся собрать.

Минимальная выборка

Проверьте, на каких данных вы принимаете решения. Частая ошибка — нехватка выборки.

Предположим, конверсия в переходы с обычных писем получилась 9%, а с писем с таймером — 11%. Кажется, что конверсия очевидно выросла. На самом деле не факт. Берём калькулятор и считаем, какой должна быть минимальная выборка, чтобы результат точно не был случайным совпадением.

При таких показателях выборка должна быть не меньше 5556 подписчиков для каждого варианта. Если в базе меньше 11 112 подписчиков, нельзя статистически достоверно утверждать, что таймер повлиял на рост конверсии.

Нехватка выборки не означает, что счётчик не сработал. Вам просто не хватает данных, чтобы проверить взаимосвязи между изменением в письме и увеличением конверсии. Может, и правда счётчик увеличил конверсию, а может, это только совпадение. Соберите больше статистики.

Различия между вариантами

Бывает, приходится проводить тесты между группами неравного объёма.

Допустим, минимальная база в 11 тысяч подписчиков есть. И вы хотите проверить, повлияет ли тот же динамический счётчик на конверсию. Но в рамках бесплатного тарифа вы можете прикрутить его только к 2000 писем, остальные придётся отправлять как обычно.

В таких условиях тоже можно провести достоверный тест, если проверить результаты на втором калькуляторе.

Получили те же результаты: 11% против 9%. И мы уверены в статистической значимости результатов даже не обеспечив 5,5 тысяч подписчиков в каждой ветке, потому что общая выборка достаточно велика.

Не принимайте решения на малых числах. Это как считать, что у всех в стране айфоны, только потому что большинство ваших знакомых с ними ходит.

Что ещё интересно посчитать:
Связь роста базы подписчиков с выручкой

Примерную эффективность писем по триггерам «Забытая корзина», «Повторная покупка» и «Конец пробного периода»