Тестирование маркетинговых гипотез: как найти, отобрать и правильно запустить

Постоянная генерация идей и их проверка помогает бизнесу развиваться, но не каждая идея обеспечивает рост. Чтобы находить те идеи, которые помогут бизнесу расти, создают и тестируют гипотезы. Это помогает понять, какой результат может принести идея, если ее реализовать. 

Проверка гипотез работает для любых идей — от запуска нового направления в компании до смены шрифта на главной сайта. В статье мы поделимся своим опытом тестирования гипотез с примерами клиентских тестов и результатов.

Что такое гипотеза и почему с ними важно уметь работать

Гипотеза — это предположение о возможном решении, которое может привести к нужному результату. Например, чтобы увеличить конверсию сайта в заявку, можно запустить проактивного чат-бота. Но какая из механик бота окажется эффективнее — автоматическая квалификация или, возможно, лид-магнит, — пока не ясно. Это и есть гипотезы.

В маркетинге гипотезы формируют и проверяют на всех этапах развития компании. Они помогают: 

• найти работающую бизнес-модель и масштабировать бизнес, 
• освоить новые площадки и аудиторию, 
• растить активацию в продукт, 
• работать с удержанием клиентов и повышать лояльность,
• анализировать эффективность каналов маркетинга.

Перед реализацией все гипотезы тестируют. Это помогает экономить время и бюджет, а также снижает риски неудач.

Например, онлайн-школа запускает гипотезу: «Игровая механика с поп-апом на главной странице поможет собирать в 10 раз больше лидов, чем другие механики на сайте». Маркетинг тестирует эту гипотезу на группе учеников и отслеживает изменения в продажах. Если эксперимент покажет положительный результат, предложение масштабируют.

Гипотезу из примера выше мы не придумали. Ее и правда запустили в онлайн-школе Moscow Digital School и собрали 108 оплат за 3 месяца.

Как сформулировать гипотезу и проверить, будет ли она работать

Гипотезы возникают из идей, но в отличие от них, они конкретны и измеримы. Гипотезы всегда связаны с бизнес-целями и опираются на конкретные метрики. Например:

• «Если сократить количество шагов в форме, конверсия в регистрацию увеличится» — это идея. 
• «Уменьшение формы регистрации на один шаг повысит конверсию с 5% до 10%»  — это гипотеза. 

Чтобы превратить идею в гипотезу, нужно пройти четыре этапа:

1. Определить цель: конкретизировать, к какому результату стремимся. Например, цель «собирать больше лидов на сайте» задает направление, но сама по себе не является гипотезой. Ей не хватает конкретного участка, на который мы влияем и метрики, по которой поймем, что результат хороший. 
   
2. Выбрать метрику в рамках цели: изучить клиентский путь и определить, на какую метрику влиять. Пример стратегии: мы рассматриваем воронку продаж, а именно показатели конверсии при переходе сделки из одного этапа в другой и замечаем участки, где конверсия падает сильнее всего. Такие места воронки называют «узкими» и именно для них предлагают улучшения. Тут все просто — работа над «проблемным» местом скорее даст лучший результат, чем над тем, где конверсия снижается почти незаметно. Решение о том, с каким этапом воронки работать, можно принимать, исходя из стратегических целей команды на год.
   
   Например, в онлайн-школе резкое падение конверсии может случиться после проведенной демонстрации или пробного урока — пользователи не уверены, что хотят проходить именно этот курс или сомневаются в цене. Работа с аудиторией и ее прогрев до покупки на этом участке, скорее всего, принесет результат в оставленных контактах и заявках. 
   
3. Оценить потенциал улучшения метрики: на основе данных и аналитики предположить, как можно улучшить метрику. Например, у нас конверсия из проведенного демо в заявку — 15%. Исследования, которые мы изучим, могут показать, что в нашей отрасли эта конверсия в два раза выше, следовательно, есть потенциал для роста на 15%.
   
4. Найти методы воздействия на метрику: исследовать, какие изменения могут улучшить ситуацию. Предположим, опрос клиентов выявил проблему с заполнением анкеты на курс. В ней много вопросов, которые никто не заполняет до конца. Улучшение этого участка может стать ключом к росту конверсии в покупку.
   
5. Сформулировать гипотезу: на основе собранных данных предложить конкретное изменение. Например, «Добавление автозаполнения адреса в форму заказа после выбора на интерактивной карте увеличит конверсию в заказ с 5% до 10%».

Как научиться находить жизнеспособные гипотезы и приоритезировать их

Тестирование гипотез требует времени и ресурсов, поэтому до самой проверки важно допускать только перспективные предположения. Вот признаки рабочей гипотезы:

• Результат измерим. Например, сложно оценить эффективность лид–магнита по сравнению со скидкой на курс.  Но для первичной оценки можно сравнить конверсию в контакт из поп-апов с промокодом на скидку и лид-магнитом.
• Цель достижима с учетом бюджета и времени. Если предыдущие кампании показали, что поп-апы со скидкой успешнее, стоит протестировать их, рассчитав бюджет на рекламу и заложив время на дизайн и аналитику.
• В формулировке есть элемент для теста и целевая метрика. Например, «поп-ап на главной странице увеличит клики на кнопку с 1000 до 2000».
• Гипотеза влияет на главную метрику. По итогам проверки гипотезы вы можете понять, как изменился целевой показатель.

Гипотезы важно формулировать для конкретного сегмента рынка. Потому что в каждой отрасли клиентский путь, конкуренты, инструменты, каналы продаж и метрики будут свои. Проанализируйте клиентский путь с помощью CJM (Customer Journey Map), а по результатам сформулируйте гипотезы для следующих проверок.

Команды роста начинают работу над гипотезами с исследования. Собирают данные из маркетинговой воронки, оценивая, на каких этапах снижается конверсия. Например, пользователи сайта приходят в блог читать статьи, но не оставляют заявку в форме после текста. Дальше ребята генерируют гипотезы, которые могли бы эту конверсию повысить. Такие брейнштормы проходят раз в неделю. После идет встреча с руководителем, на которой защищают сами гипотезы, ключевые метрики по ним и то, что будет считаться хорошим результатом. А дальше команды уходят в спринт на реализацию.

Методы приоритезации гипотез 

ICE

Метод лучше всего работает, если у вас есть список гипотез и вы хотите быстро оценить, какие из них могут принести наибольшую пользу при ограниченных ресурсах.

Как использовать:

1. Оцените каждую гипотезу по трем параметрам: Impact (влияние на цель), Confidence (уверенность в эффективности), Ease (простота реализации).
2. Присвойте каждому параметру оценку от 1 до 10.
3. Вычислите ICE score, умножив оценки: Impact * Confidence * Ease.
4. Сравните гипотезы по их ICE score и выберите те, у которых он выше.

	Impact	Confidence	Ease	ICE Score
Поп-ап с промокодом на скидку покажет большую конверсию в контакт, чем поп-ап с лидмагнитом	8	5	4	160
Рассылка с именем клиента в теме письма даст более высокий open rate, чем рассылка без персонализации	5	4	9	180

RICE

Этот метод используют, когда при оценке важно учитывать и охват аудитории, на которую может повлиять изменение. Например, новой функцией будет пользоваться 30%, от вашей аудитории, за месяц (1000 человек). Reach = 300. А другой функцией будут пользоваться 5% клиентов. Reach = 50.

Как использовать:

1. Добавьте параметр Reach (охват) к параметрам ICE.
2. Оцените Reach: насколько много пользователей затронет изменение.
3. Вычислите RICE score: Reach * Impact * Confidence * Ease.
4. Выберите гипотезы с наивысшим RICE score.

Модель Кано

Можно использовать, когда вы хотите понять, какие функции или улучшения будут наиболее ценны для клиентов, улучшат клиентский опыт. Для ее применения будет полезно синхронизировать маркетинг с командой продукта.

Как использовать:

1. Сгруппируйте фичи в категории: 

• Базовые (необходимы, но не вызывают восторга). Например, подсчет данных можно считать базовой функцией калькулятора. Она не вызывает восторга, ведь так и должно быть, но при ее отсутствии продукт теряет ценность. 
• Важные (чем больше, тем лучше). Например, AI-робот в умной колонке говорит на 5 языках. Чем это значение больше, тем выше ценность продукта. 
• Мотивирующие (неожиданные, но могут сильно улучшить восприятие продукта). Например, если калькулятор сможет считывать данные, написанные от руки или продиктованные голосом, это может улучшить восприятие продукта. 

2. Соберите обратную связь от клиентов, чтобы понять, как они относятся к каждой из функций.
   
3. Анализируйте полученные данные, чтобы определить, какие функции приносят наибольшую ценность клиентам.
   
4. Приоритезируйте функции, начиная с Базовых (должны быть выполнены), затем Важные и, напоследок, Мотивирующие.

Lean Prioritization

Этот метод используют, когда вам нужно быстро определить, какие функции или улучшения следует реализовать в первую очередь. Его чаще всего используют компании на этапе стартапа или в ситуациях, где ресурсы ограничены и нужно быстро двигаться.

Как использовать:

• Организуйте гипотезы или фичи в матрицу с двумя осями: одна ось будет отражать «ценности для клиента» (или влияния на бизнес-цели), другая «простоту реализации».
• Поставьте каждую гипотезу или функцию в матрицу в зависимости от ее оценки по этим двум параметрам.
• Выделите четыре квадранта: «Сделать сейчас» (высокая ценность и легкая реализация), «Запланировать» (высокая ценность, но сложная реализация), «Упростить» (низкая ценность, но легкая реализация), «Не делать» (низкая ценность и сложная реализация).
• Сосредоточьтесь на гипотезах из «Сделать сейчас», так как они обещают наибольшую ценность с наименьшими затратами ресурсов.

Lean Prioritization помогает сфокусироваться на том, что действительно важно и что можно сделать быстро, позволяя компаниям быть более гибкими и реагировать на изменения рынка с меньшими затратами.

Чтобы выбрать метод, опирайтесь на свои исходные данные. Если данных на старте немного и оценка скорее субъективная, используйте качественные методы вроде модели Кано и Lean. А если на этапе исследования вы собрали много цифр, которым можно доверять, попробуйте количественные методы. Собрать данные можно с помощью веб-аналитики или инструмента сбора данных, который есть на сайте. 

Вам не обязательно выбирать один из методов выше, вы можете доработать их под ваши задачи и создать собственный принцип приоритизации. Такие кастомные методы часто используют большие компании — в них чаще всего есть опора на внутренние модели оценки рисков и приоритетов для бизнеса. Также методы можно использовать для улучшения бэклога задач, проверки важности конкретных механик. 

Как протестировать гипотезу

После оценки и приоритизации гипотез наступает момент их тестирования. В маркетинге для этого часто используют A/B-тестирование.

A/B-тест — это сравнение двух или более версий какого-либо элемента (формы заявки, рекламного объявления, баннера) с минимальным количеством отличий. Такие тесты проводят, чтобы определить вариант, который лучше привлекает пользователей, увеличивает конверсию и генерирует прибыль. 

Например, перед маркетологом стоит задача — увеличить число клиентов онлайн-сервиса. Он хочет понять, какой текст всплывающего окна на сайте сработает лучше: на весь экран или в правой части. Для этого нужно запустить A/B-тестирование. Как это сделать:

1. Подготовить несколько вариантов дизайна для поп-апа. Добавить в сообщения ссылку, по которой можно узнать подробнее про продукт. 

2. Определить целевую аудиторию. Можно выбрать посетителей сайта, которые заинтересованы в конкретной теме и еще не общались с менеджерами и не тестировали сервис. Не забывайте об ideal customer profile — профиле идеального покупателя. 

3. Запустить тестирование. Показать поп-ап с первым вариантом части посетителей сайта, а другой группе — второй вариант.

4. Проанализировать результаты. Через установленный период сравнить, например, показатель конверсии или CTR (соотношение числа кликов к числу показов) для каждого варианта и выбрать тот, который показал лучший результат.

Результат такой гипотезы в онлайн-сервисе MPSTATS показал, что поп-ап fullscreen привлекает больше внимания, поэтому конверсия в ответ выше. С помощью этой механики компания получила: 

• 13% конверсия в ответ — в 1,5 раза выше, чем у обычного поп-апа;
• 216 заявок на демо-доступ — в 3 раза больше, чем у обычного поп-апа;
• 401 заявка на бесплатный курс — в 4 раза больше, чем у обычного поп-апа. 

AB-тест не всегда подходит, особенно если:

• варианты слишком похожи, разница между ними минимальна,
• целевая аудитория слишком узка для надежных результатов,
• время на тестирование ограничено, и его недостаточно для сбора достоверных данных.

Мы подробно описали, как провести A/B-тестирование в этой статье.

Важно также помнить о двух типах ошибок при тестировании. Первая —  отвергать правильную гипотезу, считая, что она не работает, хотя на самом деле это не так. Вторая более опасна: принимать неверную гипотезу и тратить ресурсы на внедрение неэффективной фичи. Чтобы избежать этих ошибок, важно тщательно подходить к планированию и анализу результатов AB-тестирования.

Оцениваем результат запуска гипотезы

Как и в случае с предварительной оценкой, для итогового подсчета можно использовать калькуляторы. Когда данных недостаточно для их использования, можно оценить результаты A/B-теста вручную, используя Z-тест. Вот как это работает:

1. Сформулируйте нулевую (H0) и альтернативную (H1) гипотезы. Нулевая гипотеза ― это формулировка, в которой говорится, что в тестовой и контрольной группе данные отличаться не будут. А альтернативная утверждает, что разница между ними все-таки есть. После пересчета данных будет сразу видно, можно ли отвергнуть нулевую гипотезу. Например, онлайн-школа тестирует две рассылки: одну с промокодом, а вторую — с лид-магнитом. Нулевая гипотеза утверждает, что «конверсия в заявку у этих рассылок отличаться не будет», а альтернативная «промокод на скидку увеличивает конверсию рассылки».     

2. Соберите данные. Например, если тестируются две рассылки с разными офферами, нужно измерить конверсию в покупку для каждой из них.

3. Проведите Z-тест. Он поможет определить, есть ли статистически значимая разница в конверсиях между двумя группами. Если разница между вариантами меньше установленного уровня значимости (обычно 0.05), то нулевую гипотезу отвергают в пользу альтернативной. 

Например, разница в конверсии в заказ между вариантами оказалась незначительной: в первой группе, с промокодом ― 5,4%, во второй группе, с лид-магнитом, ― 6%. Нулевая гипотеза подтверждается: оффер почти не влияет на конверсию в заказ. Значит, если отправлять клиентам лид-магнит, можно сэкономить бюджет на промокодах, не потеряв лояльность клиентов.

4. Проанализируйте результаты. Если разница между группами не является статистически значимой, то можно сделать вывод, что изменения в оффере не повлияли на конверсию.

5. Дополнительная проверка. Чтобы убедиться в выводах, проведите дополнительный анализ, например, сравните, сколько людей добавляли товары в корзину после открытия писем в обеих группах.

6. Примите решение. Если гипотеза оказалась эффективной, внедрите изменения. Если нет — отложите ее и перейдите к следующей. Позже к отложенным гипотезам можно вернуться и попробовать их улучшить, возможно, после доработки они принесут пользу.

Этот подход позволяет принимать обоснованные решения на основе данных, даже если их количество ограничено.

Почему гипотезы не срабатывают и что делать, когда тестирование идет не по плану. Опыт команды Dashly

Вы потратили несколько месяцев на формулирование, приоритизацию и небольшие шаги в тестировании гипотез. Все говорило о том, что получите результат. А итоговый вывод говорит, что результата нет. В этом разделе мы описали порядок действий на случай, если вы попали в такую ситуацию. 

Составить советы для него нам помогла команда зарубежного сервиса Dashly. Кстати, еще больше советов про запуск проектов и тестирование можно найти в telegram-канале CEO Dashly — Димы Сергеева. 

В самом начале важно выяснить причину. Недостаточно трафика? Баги? Или все работает, но сам сценарий слабый? В зависимости от причины либо удостоверяемся, что нам хватило трафика, чтобы получить статистически значимые данные, либо устраняем баги, либо докапываемся, почему сценарий не работает.

• Если причина в багах, чиним и фиксируем их. Мы завели док, где фиксируем каждый такой случай. Это позволяет не тратить время на поиски уже известных решений, если ситуация повторится.
• Если дело во внешних обстоятельствах, например, недостаточном трафике, определяем, какие усилия нужны, чтобы получить результат. Если это невозможно, корректируем ожидания так, чтобы они отражали реальность.
• Если виноват слабый сценарий важно не утонуть в самокритике, а выжать из ситуации максимум пользы. Почему не сработало? Что упустили в поведении пользователей? Какие изменения нужно внести в следующие гипотезы? Отвечаем на эти вопросы прежде, чем класть гипотезу на полку и двигаться дальше. Они — проводник к более сильным экспериментам.

Всегда нужно вести записи. Создать базу знаний, куда будут вноситься все наработки, ошибки, выводы. Это поможет команде избежать повторения ошибок и работать более слаженно. А еще важно принять, что в экспериментах всегда что-то идет не так. Это нормально.