8 800 777 34 05

Калькулятор сплит-тестов email-рассылок

Вопрос: сколько получателей должно быть в каждой тестовой рассылке?

Вопрос: есть ли на самом деле разница между тестируемыми вариантами?

Тестируемый показатель

Как выбираем победителя?

Открытия
  • Открытия
  • Клики
  • Покупки
  • Другое
Количество тестовых рассылок
2

Статистика

Средняя доля открытий по истории

Ожидаемый прирост открытий (абсолютный)

Минимум получателей

Вариант А
2 791
Вариант B
2 791

Достоверность

Мощность

Количество вариантов тестирования
2
# число событий # число получателей Значение, % Доверительный интервал, %
Вариант А
Вариант В
Вывод

Достоверность

Калькулятор “Количества получателей” помогает рассчитать минимальное количество подписчиков, которым следует отправить тестовые рассылки, чтобы результаты сплит-теста можно было считать статистически достоверными.

Как использовать калькулятор?

В столбце “Тестируемый показатель”:
  1. Укажите показатель статистики, на основании которого будет определяться победитель сплит-теста: открытия, клики, покупки или другое.
  2. Укажите количество тестируемых вариантов рассылки.
В столбце “Статистика”:
  1. Укажите среднее значение показателя статистики, на основании которого будет определяться победитель сплит-теста. Корректнее всего опираться на ваши исторические данные и среднее значение данного показателя по базе подписчиков, с которой вы работаете.
  2. Укажите минимальный процент (абсолютное значение), на который вы рассчитываете улучшить показатель статистики в результате сплит-теста.

Будьте объективны. Если вы укажете слишком маленькое значение в этом поле, понадобиться больше подписчиков в каждом тестовом сегменте для получения статистически достоверного результата теста. Если укажите завышенное значение, будет высокая вероятность того, что вы не достигните поставленной цели, и результаты теста будут некорректны.

В нижней строке
  1. Достоверность — то, на сколько можно быть уверенным в истинности полученных результатов теста, если он показал различия между тестируемыми вариантами.
  2. Мощность — то, на сколько можно быть уверенным в истинности полученных результатов теста, если он НЕ показал различия между тестируемыми вариантами

Если вы не знаете, какой процент показателя стоит указать, оставьте значения по умолчанию.

Как интерпретировать результат?

В правой колонке калькулятора, которая называется “Минимальный объем тестовых рассылок” будет отображаться полученный результат. В нем будет указано от 2 до N значений в зависимости от количества тестируемых вариантов рассылки. Они показывают, сколько людей должны получить каждый вариант рассылки, чтобы можно было доверять полученными результату теста.

Оцените все возможности DashaMail
в течение 14-дневного триального периода