А/Б тест емейл-рассылки: как повысить основные метрики

У нас была рассылка с акцией, Carrot quest с А/Б тестами и жгучее желание улучшить основные метрики рассылки.

Задача — улучшить метрики емейл-рассылки

• Снизить Bounce rate (процент отказов);
• Повысить Open rate (открываемость писем);
• Повысить CTR (переходы по ссылкам).

Как этого добились:

• валидировали базу емейлов;
• провели тест имени отправителя;
• тест темы письма;
• тест времени отправки;
• тест вёрстки письма.

Если вы не знаете, что такое А/Б тест

А/Б тест — это способ проверить, какой из вариантов сообщения более эффективный и, соответственно, какой лучше выбрать. Эффективный — значит улучшающий метрики. В Carrot quest можно тестировать разные автосообщения и даже сравнивать форматы между собой, но сегодня мы посмотрим, как провести А/Б тест рассылки.

Для А/Б теста берётся база, делится в случайном порядке пополам и разным половинам отправляется одно и то же письмо, но с разными элементами. Тестировать можно всё, что влияет на действия пользователей: тему письма, имя отправителя, вёрстку, картинки в письме, цвет кнопок, призывы к действию и т. п. Далее вы смотрите по статистике, какое из писем сработало лучше, и отключаете менее эффективный вариант письма.

Вот пара статей по теме:

• Статья с основами: что такое А/Б тест, что можно тестировать и как его проводить.
• Статья для продвинутых: на какие метрики надо смотреть при проведении А/Б теста.
• Мини-кейс с А/Б тестом поп-апа (чтобы посмотреть, как еще это бывает).

1. Снизить Bounce rate рассылки

Если в вашей базе есть некорректные емейлы, логично, что письма до них никогда не дойдут. Такие емейлы могут появляться по ошибке (если при вводе адреса пользователь опечатался) или специально, когда человек не хочет оставлять свой емейл, но это зачем-то требуется.

Пара примеров невалидных адресов, которые мы нашли (найдите подвох):

• ggggggggggggggg [когда поле заполнить надо, а не хочется]
• #ERROR! [скорее всего, это ошибка экспорта/импорта]
• username@gmail.ru [подсказка: должно быть .com]
• username@yandex.r [кто-то не дописал емейл]

Письма, отправленные в небытие, увеличивают Bounce rate (процент отказов), который, достигая показателя в 5%, может привести к блокировке вашего аккаунта.

Снизить Bounce rate можно, проверив корректность емейлов. Это называется валидация. Есть разные сервисы для валидации — их несложно найти в поиске. Они не дают 100% гарантии, и у вас может быть какой-то незначительный bounce, но уже не такой критичный.

Результат: У аналогичной рассылки без чистки базы Bounce rate был 0,6%. После валидации он уменьшился в 3 раза до 0,2%.

2. Увеличить Open rate письма

Каждый человек ежедневно получает десяток или пару десятков емейлов ежедневно. Как привлечь внимание к себе? Что получатель видит в почте сразу? Имя отправителя и тему письма. Это то, что вызывает у него интерес и помогает понять: стоит ли читать дальше.

Тема письма

Вот две темы одного и того же письма:

Вариант А1: [Название_компании] зовёт в поход! Вы с нами? Ура, весна! Гуляем на свежем воздухе вместе с [Название_компании].

Вариант Б1: ? ‍♀️ Все бегут! А вы? Ваша спортивная форма уже здесь

Какая тема вам нравится больше: какое письмо бы вы открыли? Читали ли вы о том, что эмодзи повышают конверсию? А может, вас напрягает, что название компании упоминается аж два раза и это отчётливо отдаёт рекламой?

Если вы уверенно кивали на предыдущие вопросы, то вы… ошибаетесь:) Извините, это была уловка. Мы сами на неё попали и сами думали точно также. Оба письма показали приблизительно одинаковый результат: Open rate был в районе 22%. Если быть совсем честными, то вариант Б1 оказался на полпроцента эффективнее:

Вариант А: 22,1%;

Вариант Б: 22,6%.

С другой стороны, так как база рассылки была большая, эти 0,5% превратились в пару сотен человек, что уже неплохо.

Какие на основе этого можно сделать выводы:

1. Не следуйте рекомендациям из кейсов слепо. Идеально, если все из них вы проверяете на практике. Но кейсы могут быть отличным ориентиром и давать идеи.
2. Даже незначительное изменение конверсии может приводить к большим результатам. Особенно на больших выборках. Не пренебрегайте этим.

Имя отправителя

Множество кейсов говорит о том, что письма, где в имени отправителя указано реальное имя человека, открываются чаще, чем те, где просто указано название компании. Они воспринимаются как более личные и менее рекламные. Мы провели тест.

Вариант А: Имя менеджера+название сайта

Вариант Б: Только название сайта

Вот результаты, которые мы получили:

Имя отправителя	Open rate	Пожаловались на спам
Имя менеджера+название сайта	18%	4%
Только название сайта	15%	1%

Конверсия в открытие письма с именем менеджера выше, чем без него. Но обратите внимание, что в этом случае также чаще жалуются на спам. Скорее всего, это связано с обманутыми ожиданиями людей: они ждут личного сообщения, а получают рекламное и расстраиваются. Можно попробовать добавить в письмо какой-то персонализации и посмотреть, как изменится ситуация.

Время отправки

Время отправки письма — это частая тема для споров емейл-маркетологов. Самый популярный совет — вечер четверга. Но ирония в том, что из-за популярности этого совета количество писем, отправляемых вечером в четверг, значительно увеличилось. К тому же мы всегда агитируем за тестирование, а не слепое следование советам других бизнесов.

Поэтому мы провели А/Б тест. Мы разделили базу емейлов пополам случайным образом и отправили одинаковое письмо в разное время.

Вариант А: пятница вечер;

Вариант Б: понедельник утро.

Вот, какие цифры open rate мы увидели:

Вариант А: 17%;

Вариант Б: 22,5%

Результат очевиден: пользователи лучше открывают письма утром в рабочий день, а не вечером перед выходными. Теперь мы точно знаем, что не стоит отправлять письма в пятницу вечером (вероятно, лучше это делать утром) и можно поэкспериментировать с днём недели: может оказаться, что понедельник — не максимально эффективный вариант.

Но не принимайте это как универсальный совет: лучше проведите аналогичный тест на своей аудитории. Разделите её на две части и отправьте одно и то же письмо в разное время.

3. Увеличить Click Rate в письме

Увеличение открываемости писем бессмысленно, если потом по ним не переходят на сайт, не покупают или не совершают любое другое действие, которого вы ждёте. Тут уже необходимо работать с содержанием письма.

Мы изменили текст и оставили оформление письма без изменений. В итоге конверсия изменилась на 1%, что, в принципе, не очень много.

Чем более существенные различия, тем лучше видна разница в конверсии, но если переусердствовать и сделать радикально разные сообщения, то не будет возможности определить, что именно сработало. В А/Б тестах, как и во всём, нужен баланс. 

Наши выводы

Мы провели сразу несколько А/Б тестов ручных рассылок (это мы еще не рассказывали вам про триггерные сообщения!), чтобы найти идеальную формулу письма. Какие-то тесты дали нам чёткое представление как надо делать, а как не надо. Другие не показали никакой разницы. В любом случае, поставленные задачи мы выполнили: уменьшили процент отказов (bounce rate), увеличили открываемость (open rate) и количество переходов по ссылкам (click rate) для некоторых вариантов. Дальше только лучше.