A/B- или сплит-тестирование – это маркетинговая методика выбора лучшего варианта из нескольких гипотез. В отношении email-рассылок она помогает понять, письма с какими темами клиенты чаще открывают, определить, где лучше разместить кнопку с призывом к действию, какое оптимальное время отправки и т. д.

Тестирование проводится по следующей схеме: проверяемые варианты писем отправляются определенной выборке клиентской базы. Спустя некоторое время анализируется статистика по каждому варианту, и письмо, показатели которого выше, рассылается остальным клиентам. И здесь важно правильно определиться с тремя моментами:

Кадр из мультфильма «Гравити Фолз»
Когда выбираешь победителя “сплит-теста” слишком рано и не по тому показателю

Как и при анализе эффективности email-кампании, при выборе победителя в сплит-тесте, следует отталкиваться от KPI, но нельзя забывать и от том, что же именно тестируется в рассылке. Так на показатель Open Rate – открываемость писем – влияют такие параметры рассылки как: имя отправителя, время отправки письма, строчка “от кого”, прехедер. А на количество кликов (СR и CTOR) – макет письма. Поэтому, если вы тестируете, например, цвет кнопки в шаблоне, бессмысленно определять победителя по максимуму открытий.

Однако и ориентироваться только на OR и CR при анализе эффективности email-рассылки ошибочно. Ведь гораздо важнее Conversion Rate – коэффициент конверсии – и внутренняя аналитика по прибыли от email-кампании, особенно если это и есть главный KPI. В таком случае лучше выбирать победителя сплит-теста вручную на основании статистики продаж с каждой тестовой рассылки. И сервис DashaMail позволяет это делать.

Но кроме корректного выбора показателя для определения победителя, нужно еще помнить и о том, что не всякому результату сплит-теста можно доверять. Для того, чтобы понять достаточно ли подписчиков вы выделили под тест и достаточно ли статистики уже собрали для определения победителя, мы разработали калькулятор сплит-тестов email-рассылок . Разберемся в его работе на конкретном примере. Провидим A/B-тест email-рассылки интернет-магазина одежды с сообщением о новых акциях.

Тестируемые темы:

Сколько писем отправить?

Первое, с чем нужно определиться, – объем выборки для тестирования, то есть скольким клиентам мы отправим письма. Для проверки гипотез с темами объем тестовых сегментов может быть небольшим: от 10 до 30 % клиентской базы.

Калькулятор сплит-тестов
Расчет делается в калькуляторе, исходя из статистики открытий, сложившейся у вас исторически

Итак, мы задаем параметр проверки – открытия (open rate) и число тестовых рассылок, в нашем случае 2. Затем вводим свои показатели открытий, основываясь на данных статистики, и ожидаемый прирост, на который рассчитываем.

Указывать ожидаемый прирост нужно объективно. Маленькое значение потребует сильно расширить выборку для получения статистически достоверных результатов, большое – это высокий риск не достигнуть поставленной цели и, соответственно, получить некорректные данные.

Теперь ползунки. «Достоверность» указывает, насколько можно быть уверенным в результате, если он показал различия между тестируемыми образцами. Этот показатель по умолчанию установлен на 95 %. «Мощность» – обратный показатель, то есть на сколько можно быть уверенным в результате, если он не показал различия между тестируемыми образцами. По умолчанию – 80 %.

После введения данных калькулятор тут же просчитает минимальный объем выборки. В нашем примере вышло – 2224 получателя. Это значит, что письмо с темой А должно улететь такому или большему количеству клиентов и письмо с темой В точно так же. Меньший объем тестового сегмента не позволит получить достоверные данные.

Как оценить достоверность результатов?

Предположим, мы разослали по 2300 писем А и В и через 4 часа (желательное минимальное время ожидания) результат выглядит так:

Калькулятор достоверности сплит-тестов
Письмо А открыло на 40 человек больше, чем письмо В

После введения данных калькулятор показывает, что различия между вариантами А и В несущественны. Это значит, что темы воспринимаются пользователями примерно одинаково, а разница в количестве открытий может быть статистической погрешностью.

В обоих случаях процент open rate входит в доверительный интервал. Значение этого показателя рассчитывается как отношение абсолютного количества совершенных открытий к количеству получателей письма. В нашем случае: 440 / 2300 * 100 % и 400 / 2300 * 100 %.

Число получателей может быть не таким красивым, как в примере, какие-то письма могли не дойти до адресатов по разным причинам. Здесь важно указать реальное количество успешно доставленных писем.

О чем говорят полученные результаты? Оба варианта темы имеют право на существование, какую выбрать для отправки остальным клиентам – дело вкуса.

Но можно получить и другой результат, например:

Калькулятор выбрал достоверно лучший вариант сплит-теста
Калькулятор выбрал наилучший вариант

Здесь калькулятор четко указывает, что вариант А лучше варианта В, и выбор очевиден – остальным клиентам следует отправить письма с темой: «Скидки просятся в корзину: новые акции на любимые товары».

Рассчитывать достоверность сплит-тестов с помощью калькулятора можно не только по двум гипотезам, но и больше, общим числом до 5

Что еще можно протестировать?

Если говорить о теме письма, то можно не только поиграть с формулировками, но и сравнить успешность вариантов: с указанием размера скидки, даты окончания акции, с обращением к клиенту по имени, смайликами и без этих приемов. Тестируют также длинные и короткие заголовки, варианты с вопросами и «болями» клиентов.

Кроме темы письма с помощью А/В-тестирования можно проанализировать:

Для удобства использования сплит-тестирования в сервисе DashaMail можно автоматически добавить в тестируемые письма уникальные utm-метки. Это позволит дополнительно проанализировать гипотезы по внутренней аналитике.

Калькулятор А/В-тестов для email-рассылок минимизирует вероятность совершения неправильных выводов при выборе лучшей гипотезы. Но чтобы получить достоверный статистический результат, важно иметь достаточный объем тестовых сегментов и тестировать один элемент: тема/имя/время/макет. Иначе сплит-тестирование может увести по ложному пути или вовсе запутать.

a/b-рассылка KPI сплит-тест
Поделитесь статьёй со своими друзьями:
Даша Савицкая
2020-09-28
Поставьте оценку
Загрузка...
Подпишись на рассылку новостей
Только полезная и актуальная информация без спама