A/B- или сплит-тестирование – это маркетинговая методика выбора лучшего варианта из нескольких гипотез. В отношении email-рассылок она помогает понять, письма с какими темами клиенты чаще открывают, определить, где лучше разместить кнопку с призывом к действию, какое оптимальное время отправки и т. д.
Тестирование проводится по следующей схеме: проверяемые варианты писем отправляются определенной выборке клиентской базы. Спустя некоторое время анализируется статистика по каждому варианту, и письмо, показатели которого выше, рассылается остальным клиентам. И здесь важно правильно определиться с тремя моментами:
- По какому показателю в статистике выбирать победителя?
- На какой объеме базы проводить тест?
- Через какое время после запуска теста отправлять основную рассылку?
Как и при анализе эффективности email-кампании, при выборе победителя в сплит-тесте, следует отталкиваться от KPI, но нельзя забывать и от том, что же именно тестируется в рассылке. Так на показатель Open Rate – открываемость писем – влияют такие параметры рассылки как: имя отправителя, время отправки письма, строчка “от кого”, прехедер. А на количество кликов (СR и CTOR) – макет письма. Поэтому, если вы тестируете, например, цвет кнопки в шаблоне, бессмысленно определять победителя по максимуму открытий.
Однако и ориентироваться только на OR и CR при анализе эффективности email-рассылки ошибочно. Ведь гораздо важнее Conversion Rate – коэффициент конверсии – и внутренняя аналитика по прибыли от email-кампании, особенно если это и есть главный KPI. В таком случае лучше выбирать победителя сплит-теста вручную на основании статистики продаж с каждой тестовой рассылки. И сервис DashaMail позволяет это делать.
Но кроме корректного выбора показателя для определения победителя, нужно еще помнить и о том, что не всякому результату сплит-теста можно доверять. Для того, чтобы понять достаточно ли подписчиков вы выделили под тест и достаточно ли статистики уже собрали для определения победителя, мы разработали калькулятор сплит-тестов email-рассылок . Разберемся в его работе на конкретном примере. Провидим A/B-тест email-рассылки интернет-магазина одежды с сообщением о новых акциях.
Тестируемые темы:
- А: Скидки просятся в корзину: новые акции на любимые товары.
- В: Привет! Какие планы на сегодня? Новые акции манят на шопинг.
Сколько писем отправить?
Первое, с чем нужно определиться, – объем выборки для тестирования, то есть скольким клиентам мы отправим письма. Для проверки гипотез с темами объем тестовых сегментов может быть небольшим: от 10 до 30 % клиентской базы.
Итак, мы задаем параметр проверки – открытия (open rate) и число тестовых рассылок, в нашем случае 2. Затем вводим свои показатели открытий, основываясь на данных статистики, и ожидаемый прирост, на который рассчитываем.
Указывать ожидаемый прирост нужно объективно. Маленькое значение потребует сильно расширить выборку для получения статистически достоверных результатов, большое – это высокий риск не достигнуть поставленной цели и, соответственно, получить некорректные данные.
Теперь ползунки. «Достоверность» указывает, насколько можно быть уверенным в результате, если он показал различия между тестируемыми образцами. Этот показатель по умолчанию установлен на 95 %. «Мощность» – обратный показатель, то есть на сколько можно быть уверенным в результате, если он не показал различия между тестируемыми образцами. По умолчанию – 80 %.
После введения данных калькулятор тут же просчитает минимальный объем выборки. В нашем примере вышло – 2224 получателя. Это значит, что письмо с темой А должно улететь такому или большему количеству клиентов и письмо с темой В точно так же. Меньший объем тестового сегмента не позволит получить достоверные данные.
Как оценить достоверность результатов?
Предположим, мы разослали по 2300 писем А и В и через 4 часа (желательное минимальное время ожидания) результат выглядит так:
После введения данных калькулятор показывает, что различия между вариантами А и В несущественны. Это значит, что темы воспринимаются пользователями примерно одинаково, а разница в количестве открытий может быть статистической погрешностью.
В обоих случаях процент open rate входит в доверительный интервал. Значение этого показателя рассчитывается как отношение абсолютного количества совершенных открытий к количеству получателей письма. В нашем случае: 440 / 2300 * 100 % и 400 / 2300 * 100 %.
Число получателей может быть не таким красивым, как в примере, какие-то письма могли не дойти до адресатов по разным причинам. Здесь важно указать реальное количество успешно доставленных писем.
О чем говорят полученные результаты? Оба варианта темы имеют право на существование, какую выбрать для отправки остальным клиентам – дело вкуса.
Но можно получить и другой результат, например:
Здесь калькулятор четко указывает, что вариант А лучше варианта В, и выбор очевиден – остальным клиентам следует отправить письма с темой: «Скидки просятся в корзину: новые акции на любимые товары».
Что еще можно протестировать?
Если говорить о теме письма, то можно не только поиграть с формулировками, но и сравнить успешность вариантов: с указанием размера скидки, даты окончания акции, с обращением к клиенту по имени, смайликами и без этих приемов. Тестируют также длинные и короткие заголовки, варианты с вопросами и «болями» клиентов.
Кроме темы письма с помощью А/В-тестирования можно проанализировать:
- Имя отправителя – большое влияние на open rate оказывает содержимое поля «От кого». Можно проверить, как работают письма с названием фирмы, конкретного бренда или должности отправителя. Делать такую проверку лучше всего на старте кампании (или на новых клиентах), потому что при смене привычного отправителя возможно как увеличение открытий, так и рост числа отписок.
- Время отправления – в идеале нужно проанализировать отправку не только в разное время, но и в разные дни недели, но обязательно на одном и том же письме и на 100 % клиентской базы.
- Макет письма – по этому параметру можно выдвинуть больше всего гипотез. Они могут быть связаны с версткой и дизайном, цветовым исполнением, длиной текста, размещением фото товаров, оформлением призыва к действию и т. п.
Для удобства использования сплит-тестирования в сервисе DashaMail можно автоматически добавить в тестируемые письма уникальные utm-метки. Это позволит дополнительно проанализировать гипотезы по внутренней аналитике.
Калькулятор А/В-тестов для email-рассылок минимизирует вероятность совершения неправильных выводов при выборе лучшей гипотезы. Но чтобы получить достоверный статистический результат, важно иметь достаточный объем тестовых сегментов и тестировать один элемент: тема/имя/время/макет. Иначе сплит-тестирование может увести по ложному пути или вовсе запутать.
Загрузка...