Более 2000 бизнесменов, маркетологов, дизайнеров и разработчиков следят за новостями нашего блога.
Присоединяйтесь:
Подтвердите подписку: письмо в почте, там жмите на ссылку
Он проверяет связи двух переменных: размера выборки и размера эффекта.
Размер выборки — количество событий, которые маркетолог анализирует. Чем больше размер выборки, тем больше доверия к статистике, которую получает маркетолог в эксперименте. Если вы смотрите Open Rate (конверсию отправок в открытия), то выборкой будут отправки.
Например, вы отправили половине базы письма с динамическим таймером времени до конца распродажи, а другой — без. Половина базы — это и есть выборка в каждой ветке теста.
Размер эффекта показывает, как изменилась метрика — например, вырос Click Rate. Маркетолог обязан убедиться, что конверсия изменилась именно из-за эксперимента и что это не случайное совпадение. Чем меньше размер эффекта, тем большую выборку ему придётся собрать.
Минимальная выборка
Проверьте, на каких данных вы принимаете решения. Частая ошибка — нехватка выборки.
Предположим, конверсия в переходы с обычных писем получилась 9%, а с писем с таймером — 11%. Кажется, что конверсия очевидно выросла. На самом деле не факт. Берём калькулятор и считаем, какой должна быть минимальная выборка, чтобы результат точно не был случайным совпадением.
Нехватка выборки не означает, что счётчик не сработал. Вам просто не хватает данных, чтобы проверить взаимосвязи между изменением в письме и увеличением конверсии. Может, и правда счётчик увеличил конверсию, а может, это только совпадение. Соберите больше статистики.
Различия между вариантами
Бывает, приходится проводить тесты между группами неравного объёма.
Допустим, минимальная база в 11 тысяч подписчиков есть. И вы хотите проверить, повлияет ли тот же динамический счётчик на конверсию. Но в рамках бесплатного тарифа вы можете прикрутить его только к 2000 писем, остальные придётся отправлять как обычно.
В таких условиях тоже можно провести достоверный тест, если проверить результаты на втором калькуляторе.
Не принимайте решения на малых числах. Это как считать, что у всех в стране айфоны, только потому что большинство ваших знакомых с ними ходит.
Что ещё интересно посчитать:
Связь роста базы подписчиков с выручкой