В этой статье мы расскажем, как превратить хаотичное тестирование в эффективный инструмент оптимизации. Вы узнаете, как использовать данные из вашего текущего пролива для поиска конкретных точек роста и как проверять гипотезы.
Мы взяли за основу data driven подход, поэтому первым делом разберемся, что это такое.
Data-Driven Marketing — это когда маркетинг строится не на догадках или интуиции, а на реальных цифрах. Все решения — от выбора канала до запуска креатива — принимаются на основе данных: что работает, где и почему. Сначала — сбор и анализ информации, потом — действия. Такой подход помогает точнее попадать в цель, быстрее реагировать на изменения и эффективнее тратить бюджет.
Первый шаг в data-driven тестировании – выяснить, что именно нуждается в улучшении, а где скрыт потенциал. Понять это поможет анализ вашего трафика.
Изучите метрики не только в среднем, но и в разрезе:
Отслеживайте, как пользователь движется от клика по объявлению до целевого действия.
Где он отваливается чаще всего?
Выявив самое слабое место в воронке, вы поймете, какой именно элемент нужно тестировать в первую очередь.
Старайтесь собрать как можно больше данных, тогда аналитика, тестирование и последующая оптимизация будут управляемым процессом.
Минимальная база для сбора данных — хороший трекер.
После анализа данных у вас появились конкретные наблюдения о поведении пользователей и метриках. Теперь нужно превратить эти наблюдения в гипотезу. Гипотеза для A/B теста – это четкое утверждение о том, какое изменение и почему приведет к ожидаемому результату. Для гипотезы берем только один элемент.
Попробуйте для своих гипотез структуру: если мы внедрим (конкретное изменение), то мы ожидаем получить рост/снижение метрики на X%, потому что анализ выявил проблему или возможность, которую решает это изменение.
Ключевой элемент здесь – часть "потому что". Она связывает ваше предположение напрямую с данными, которые вы увидели. Это отличает data-driven гипотезу от догадки.
А что насчет цифр в части "то" (например, "CR вырастет на 25%")? Это не случайное число и не предсказание точного будущего.
MDE (Minimum Detectable Effect) — это наименьшее изменение метрики (например, в CR), которое имеет для вас экономический смысл и оправдывает затраты на проведение теста и последующее внедрение изменения.
MDE определяется на основе ваших целей. Например, вы посчитали, что для достижения целевого CPA вам нужно увеличить CR как минимум на 15%. Значит, ваш MDE = 15%.
Таким образом, формулируя гипотезу, вы говорите: "на основе данных я предполагаю, что вот такое изменение приведет к вот такому результату, потому что данные показали вот это. И при этом я считаю, что результат как минимум такой стоит того, чтобы провести тест".
Рассмотрим на простом примере:
Чтобы результат теста был статистически значимым, рассчитайте необходимый объем данных, которые нужно набрать в ходе теста.
Если данных будет мало, любая разница, которую вы увидите, может быть просто случайным стечением обстоятельств.
Воспользуйтесь онлайн-калькулятором для расчета выборки. Калькуляторов очень много все они используют разные подходы — выбирайте тот, который понятен и соответствует вашим задачам.
Для расчета понадобятся три цифры: текущая конверсия, желаемое изменение, необходимый уровень статистической значимости.
Без этого расчета вы рискуете остановить тест слишком рано или продолжать его бесконечно, не достигая достоверных выводов.
Определите длительность теста. Минимальный срок для получения объективных данных — неделя. Это помогает сгладить влияние дня недели или времени суток.
Разделите трафик с помощью трекера или рекламной платформы.
Запустите трафик и ждите. Регулярно проверяйте ход теста в трекере. Смотрите, идет ли трафик, есть ли конверсии, нет ли технических проблем с одной из версий.
Ожидание утомляет, особенно когда видишь, как тает твой бюджет.
Воздержитесь от оценки эффективности и принятия решений до набора достаточного объема данных. Мониторинг в процессе тестирования нужен для контроля процесса, а не для выводов.
Мы заканчиваем тест, когда достигаем параметров, которые запланировали. Но скорее всего цифры получатся не один в один. Поэтому нужно проверить фактические результаты на статистическую значимость.
Для этого возьмите данные, которые удалось собрать в ходе теста, и введите их в любой калькулятор стат значимости. Калькулятор покажет насколько процентов можно быть уверенным в результатах.
На этом этапе у нас обычно разворачивается один из трех сценариев:
Если перед нами первый сценарий, едем дальше. После того, как вы определили победителя, можно посмотреть на другие метрики. Иногда главный показатель растёт, но другие ухудшаются. Например: CTR вырос, но CR упал — вероятно, привлекли нецелевую аудиторию.
Слева — статичный лендинг, а справа — квиз, которые участвовали в A/B тесте. Квиз оказался эффективнее. Стоимость лида снизилась, а конверсия выросла.
Не смотрите на один показатель в отрыве от остальных.
Проверьте что метрика ведет себя стабильно по дням. Вариант А ведёт себя стабильно? Вариант B дает преимущество на всём протяжении теста, а не только в 1 день?
Все выводы теста обязательно нужно зафиксировать, возможно они будут полезны в дальнейшей работе.
На сегодня все!
Идеи креативов для A/B-тестов вы можете найти в наших статьях о нейромаркетинге:
