A/B- или сплит-тестирование – это маркетинговая методика выбора лучшего варианта из нескольких гипотез. В отношении email-рассылок она помогает понять, письма с какими темами клиенты чаще открывают, определить, где лучше разместить кнопку с призывом к действию, какое оптимальное время отправки и т. д.
Тестирование проводится по следующей схеме: проверяемые варианты писем отправляются определенной выборке клиентской базы. Спустя некоторое время анализируется статистика по каждому варианту, и письмо, показатели которого выше, рассылается остальным клиентам. И здесь важно правильно определиться с тремя моментами:
- По какому показателю в статистике выбирать победителя?
- На какой объеме базы проводить тест?
- Через какое время после запуска теста отправлять основную рассылку?

Как и при анализе эффективности email-кампании, при выборе победителя в сплит-тесте, следует отталкиваться от KPI, но нельзя забывать и от том, что же именно тестируется в рассылке. Так на показатель Open Rate – открываемость писем – влияют такие параметры рассылки как: имя отправителя, время отправки письма, строчка “от кого”, прехедер. А на количество кликов (СR и CTOR) – макет письма. Поэтому, если вы тестируете, например, цвет кнопки в шаблоне, бессмысленно определять победителя по максимуму открытий.
Однако и ориентироваться только на OR и CR при анализе эффективности email-рассылки ошибочно. Ведь гораздо важнее Conversion Rate – коэффициент конверсии – и внутренняя аналитика по прибыли от email-кампании, особенно если это и есть главный KPI. В таком случае лучше выбирать победителя сплит-теста вручную на основании статистики продаж с каждой тестовой рассылки. И сервис DashaMail позволяет это делать.
Но кроме корректного выбора показателя для определения победителя, нужно еще помнить и о том, что не всякому результату сплит-теста можно доверять. Для того, чтобы получить статистически достоверный результат, старайтесь делать тестовые сегменты как можно больше. При этой если вы выбираете победителя теста на основании статистики открытий и у вас средний OR около 15-20%, в тестовых сегментах, как правило достаточно иметь не менее 5 000 подписчиков. Если же вы тестируете макет письма и выбираете победителя по кликам, нужно выделить под тест не менее 20 000 подписчиков на каждый тестовый сегмент. Размер тестового сегмента вы можете контролировать на этапе настройки A/В-рассылки:

Что можно протестировать?
Если говорить о теме письма, то можно не только поиграть с формулировками, но и сравнить успешность вариантов: с указанием размера скидки, даты окончания акции, с обращением к клиенту по имени, смайликами и без этих приемов. Тестируют также длинные и короткие заголовки, варианты с вопросами и «болями» клиентов.
Кроме темы письма с помощью А/В-тестирования можно проанализировать:
- Имя отправителя – большое влияние на open rate оказывает содержимое поля «От кого». Можно проверить, как работают письма с названием фирмы, конкретного бренда или должности отправителя. Делать такую проверку лучше всего на старте кампании (или на новых клиентах), потому что при смене привычного отправителя возможно как увеличение открытий, так и рост числа отписок.
- Время отправления – в идеале нужно проанализировать отправку не только в разное время, но и в разные дни недели, но обязательно на одном и том же письме и на 100 % клиентской базы.
- Макет письма – по этому параметру можно выдвинуть больше всего гипотез. Они могут быть связаны с версткой и дизайном, цветовым исполнением, длиной текста, размещением фото товаров, оформлением призыва к действию и т. п.
Для удобства использования сплит-тестирования в сервисе DashaMail можно автоматически добавить в тестируемые письма уникальные utm-метки. Это позволит дополнительно проанализировать гипотезы по внутренней аналитике.