21 октября 2015 10 4410

Как уменьшить тестовый бюджет на объявления

Несколько часов назад на Russian Interactive Week (RIW 2015) выступил с докладом Михаил Иванков из компании Plarin. Компания разрабатывает передовые решения в области цифрового маркетинга и таргетированной рекламы в социальных сетях. В течение нескольких лет компания проводила эксперименты с настройками рекламных кампаний и Михаил поделился своим опытом. Он подробно рассказал технологию тестирования объявлений, по которой можно многократно снизить тестовый бюджет и время проведения этих тестов. Спешим передать вам. 

Итак, Михаил приводит пример РК, в которой “плохой менеджер” проводит А/В тестирование одновременно нескольких заголовков объявлений:  

4 объявления с разными заголовками, у каждого свои показатели, свой CTR, свой CPA и, в принципе, можно выбирать лидеров и что-то тестировать. Чтобы хоть как-то вменяемо оценивать CPA, нужно получить хотя бы 200 кликов при конверсии 5%. Такой подход не позволяет тестировать множество сочетаний. Это приводит к тому, что протестировав все заголовки и выбрав лучший, менеджер может начать тестировать все тексты с этим заголовком. Но не факт, что лидирующий текст будет работать с этим заголовком. Этот вариант отлично подходит для слива всего бюджета РК и траты времени.

В следующем примере “хороший менеджер” перебирает большое количество вариантов, пытаясь оценить, что же лучше влияет на CTR и CPA.

Категория “Самый лучший менеджер” размещает сотни-тысячи объявлений. Оставляют те, которые “выстрелили”. Но это вообще не показательно и такая ситуация может произойти при неограниченных бюджетах и времени. Такие менеджеры совсем не умеют считать - при увеличении количества заголовков/текстов/картинок увеличивается количество вариантов сочетаний. Пример такой РК с бюджетом 10 000 руб. при СR 5% : 

Видим, что при увеличении количества вариантов, начинает сокращаться бюджет на каждый баннер. следовательно, каждый баннер этой РК не может набрать объективное количество кликов или конверсий.

Здесь показан самый удобный пример – тестирование на 8 вариантах, оно показывает лучший результат - наберётся по 250 кликов на баннер (в среднем) и 12,5 конверсий на баннер (в среднем). Этого достаточно, чтобы оценить - какое из объявлений ведёт себя хорошо, какое из них выбирать, кто из них лидер.

Опять же “Хорошие менеджеры” берут 8 вариантов: 2 заголовка, 2 текста, 2 изображения и 2 таргетинга: 

Разделение на таргетинги не рекомендуется делать большим: на миллионники и не миллионники. Можно разделить по полу, возрасту диапазоном 5-7 лет. Не забывая при этом, что каждая РК должна обладать своим бюджетом. Следовательно, хороший менеджер придёт к таким показателям: 

Всё собрано, каждое сочетание текстов и картинок, проведена РК, получен результат:

  • Вариант 1-1-2- лучший CTR;
  • Вариант 2-2-2 лучший CR.

Далее, итог тестирования самим клиентом: 

  • Затраты - 26 450 руб;
  • Прибыль - 28 549 руб.

Теоретически, теперь, клиент может выбирать - какой из вариантов ему больше подходит: более конвертирующий или более приносящий трафик на сайт.

Но, мог ли этот менеджер знать, что именно эти объявления окажутся победителями? И мог ли что-то раньше изменить в своей кампании?

Фишка

Японский инженер по имени Тагучи и со сложной фамилией разработал статистическую экспериментальную модель. 

Метод Тагучи использует ортогональные матрицы: 

Берётся матрица, на примере этой первой. Она тестирует 4 эксперимента, состоящие из трёх факторов, в которых может быть 2 элемента. В нашем случае это 4 объявления, 3 фактора - заголовок-текст-картинка и либо 1й, либо 2й вариант.

Это же можно применить и в матрице из 81 варианта - нужно перебрать всего лишь 9.

Теперь посмотрим: 

Они предложили клиенту при расходе этой РК около 7 000 руб. и 23 конверсиях довериться методу Тагучи, оценить его объявления и выбрать лидера. По факту оценили, выбрали, но клиент продолжил свой тест. Ранее показывали чем он закончился. На слайде сверху те 4 объявления, которые необходимо протестировать. Их оценивали по CTR. 

У объявления №3, вроде бы, самое лучшее сочетание из всех присутствующих (у него наивысший CTR). Но при расчёте, победило объявление 1-1-2 (первый заголовок-первый текст-первая картинка):

При этом, это объявление даже НЕ тестировалось в исходных! А тестировалось влияние каждого из заголовков текста на тот CTR, который есть. Из этого сочетания получилось, что победитель должен состоять именно таким образом. 

Как так получилось? Вроде как, победителем был 2-1-2 (второй заголовок-первый текст-вторая картинка). А победило то же сочетание, но с 1-м заголовком. Потому, что вторая картинка присутствует в худшей комбинации с худшим CTR. Т.е. она максимально тянет вниз вес этого заголовка.

Далее тестировали по CR:

Победитель среди клиентского тестирования на тот момент- объявление №4.

Но по факту: 

Здесь также победило объявление, которое даже не тестировалось. И происходит это по той же самой причине- объявление №4 (было выше по CTR) обладает не самым лучшим сочетанием элементов, потому что содержит картинку с самым худшим CR, т.е. она тянет её вниз.

Значит, объявление максимально эффективно при сочетании наиболее весомых элементов.

Вцелом, получили картину: 

Слева- тест клиента, который он проводил, потратив 26 500 рублей.

Справа- метод Тагучи, который позволил за 7 000 определить тех же победителей.

Получается, что с помощью этого метода можно заранее рассчитать РК, сэкономить значительную часть бюджета и времени тестов.

В завершение доклада Михаил дал ряд ценных советов:

Получить актуальную подборку кейсов

Прямо сейчас бесплатно отправим подборку обучающих кейсов с прибылью от 14 730 до 536 900 ₽.

ИЗБРАННЫЕ ЗАПИСИ
 
seoonly.ru Ответить
Слишком сложно((
15 августа 2016, 20:15 0
Аноним Ответить
Тоже до конца не понял.
15 августа 2016, 20:15 0
Как такие таблицы самому онлайн генерировать? Гуглил уже и Танучи и Ортогональные матрицы и не нашел похожего.
15 августа 2016, 20:15 0
Happy2noob
В целом метод полезен, но слишком затянутый и трудно воспринимаются.
15 августа 2016, 20:15 0
Как это можно понять????
15 августа 2016, 20:15 0
анон Ответить
Вы шутите? Разжевано все до мелочей, даже картинки нарисованы!

Спасибо за статью ;)

15 августа 2016, 20:15 0
Спасибо за инфу. Попробую так сделать, как раз на балансе подходящая сумма для теста
15 августа 2016, 20:15 0
Дмитрий Ответить
Не совсем врубился про матрицу 3х3х3х3, объясните! Factor 1 - заголовок, Factor 2 -текст, Factor 3 картинка, а Factor 4 это что?!
15 августа 2016, 20:15 0
анон, ты не анон

ты Онан

Учителя мля, сами не понимают, а других уже поучают.

Может ты объяснишь что это за вычисления и как их проводить на матрице 3x3x3

На 2x2x2 я сам разобрался, а на тройной не ясно. Кстати у этих ребят в вычислениях ошибка когда конверсию считают.

На счёт фактора 4, думаю это может быть параметр не кардинально меняющий тест. К примеру цена или время открутки.

Если гео менять, то лучше новую серию тестов делать.

15 августа 2016, 20:15 0
shffhkghdhlkg Ответить
2х2х2 - все понятно, все ок

А если нужно 3х3х3 - как составить матрицу и сколько тестов нужно? Тут уже не ясно.

Даже если тестируем 3х3х3х3 - как выявить победителя? Например, лучший результат (CTR или CR не суть) 1 1 1 1, худший - 3 3 2 1. Какая логика будет при выявлении лучшего варианта. В данном случае первая цифра может быть как 1, так и 2.

20 октября 2016, 17:05 0