«Нерабочий апрель» выдался чрезвычайно продуктивным для нашей команды разработки в направлении развития такого важного инструмента, как A/B-тестирование. Его использование в email-рассылках уже давно зарекомендовало себя эффективным способом для увеличения доли открытий, кликов и, как следствие, ROI email-маркетинга. Давайте рассмотрим те улучшения и функции, которые мы добавили за последний месяц на гипотетических уморассуждениях вымышленного email-маркетолога.
Исключение сегментов из тестирования
«Хочу протестировать как мои подписчики реагируют на разный контент. Где они большое проявляют активности – в контентных рассылках о путешествиях или подборках туров?»
Идея отличная, но как ее реализовать с помощью нашего мультивариантного тестирования? Ведь для этих двух писем нужны 2 разных темы и 2 разных макета. Сегменты с пересечением макетов и тем письма недопустимы. А если выбрать их при создании макета на 2-м шаге, то получится 4 сегмента. Как исключить эти пересечения? А вот так:
Столкнувшись с реальными потребностями в подобном сценарии тестирования мы реализовали исключение отдельных сегментов для тестирования из общего числа комбинаций. Это делается на 5-м шаге создания A/B-рассылки. В примере выше мы просто исключили перекрестные сегменты и получили тест на 2 комбинации с разными темами и разными макетами.
UTM-метки для тестовых сегментов
«Не хочу определять победителя по простейшим метрикам. В моем бизнесе все гораздо сложнее и доля открытий или кликов моему директору, как козе баян. Ему нужны заказы, продажи.»
Все верно, работа email-маркетолога не ограничивается письмами. Это лишь мостик и результат работы зачастую может быть выражен в KPI, связанных с действиями на сайте. Для анализа эффективности работы важно использовать UTM-метки, которые позволяют «пробрасывать» данные о подписчиках и email, как источнике трафика, в Google.Analytics или Яндекс.Метрику.
Мы реализовали возможность персонализации utm-меток для каждого из сегментов. Это позволит отслеживать эффективность каждого варианта A/B-рассылки в ваших системах аналитики по-отдельности.
Ручной выбор победителя
«Ну, супер. Победитель по моим данным из Яндекс.Метрики совсем не такой, как в автоматическом выборе по максимуму открытий. Они открывают, но не покупают. Что делать?»
Одно нововведение порождает другое. Возможность отслеживания эффективности отдельных кампаний по utm-меткам вызывает необходимость ручного выбора победившего сегмента для отправки основной части A/B-рассылки. Напомню, что мы обычно рекомендуем минимум 4 часа на сбор результатов для определения победителя.
Поэтому, если ваша гипотеза потребовала ручного режима, то советую вам не просто «откинуться на спинку кресла», а, запустить тестирование и заняться спортом, почитать художественную литературу или просто крепко выспаться. Но забудьте вернуться и выбрать победителя!
Тестирование на 100%
«Я не хочу выбирать победителя. Мне надо проверить гипотезу и не более того. База у меня не очень большая и я бы хотел наполнить тестовые сегменты по максимуму».
Раньше мы не позволяли выбирать 100% подписчиков для A/B-тестирования, ведь этого нет в классическом представлении об этом инструменте. Но реальные кейсы от наших клиентов показали ограниченность данного подхода. Зачастую работа аналитика идет в «долгую». Выдвигаются гипотезы о структуре базы своих подписчиков, их предпочтениях, их поведении. Они не требуют отправки по победителю и мгновенного повышения эффективности, они скорее связаны с исследованием и глубоким пониманием своей аудитории.
Мы приветствуем аналитику и данный подход в частности, поэтому без зазрения совести открыли такую возможность нашим клиентам.
Время, как объект тестирования
«Как все-таки определять оптимальное время для рассылок? Как работают ваши рекомендации? Сейчас, в условиях карантина, все мои представления о поведении подписчиков летят «к чертям». У вас есть какие-нибудь данные для этого?»
Вы как никогда правы! Поведение ваших подписчиков стало непредсказуемым, их образ жизни кардинально изменился. Например, тот момент, когда они читают ваши письма, мог сместиться с времени пути на работу на тот счастливый миг, когда их спиногрызы прилегли на дневной сон.
Вычисление оптимального времени отправки рассылки требует большого числа новых данных. Но получать эти данные сложно – ведь обычно отправка рассылок имеет «рваный характер» и никогда не распределена равномерно в течение суток и дней недели.
Год назад мы предложили нашим клиентам функцию тестирования Gestalt – она позволяет существенно повышать показатель открытий с помощью байессовских бандитов. Подобное тестирование длится 10 часов, что позволяет дополнительно набирать данные о поведении ваших подписчиков и пытаться построить модель для оптимального времени отправки рассылки. Мы понимаем, что подобная функция не всегда удобна в использовании в условиях постоянного маркетингового цейтнота, а данные собирать надо. Поэтому предлагаем использовать в качестве дополнительного фактора тестирования в a/b – «время отправки». Это позволит в ускоренном режиме собирать данные о поведенческих паттернах ваших подписчиков и давать в автоматическом режиме рекомендации по увеличению эффективности рассылок.
Уверена, что данные обновления будут вам чрезвычайно полезны и принесут немало продаж, выручки или любых других KPI, которые вам нужны.
С любовью ❤️, ваша Даша.
Загрузка...