Пару месяцев неплохо лился прил Яндекс.Музыка через одну из крупных ПП - реклу нравилось и выполнение KPI (конверт в покупки) и объемы (не адский космос, но стабильненько лилось).
Но вдруг, в один момент, почти весь траф за месяц ушел в реджект по оценке антифрод-сервиса Scalarr.
После изучения того как работает этот самый Scalarr решил опубликовать этот кейс, чтобы больше людей узнало о том, что их трафик по довольно рандомным и косвенным причинам может внезапно улететь в деклайн без достаточных на то оснований, только за счет известности бренда системы антифрода.
Система Scalarr отличается от многих других систем антифрода тем, что оперирует понятиями не вероятности фрода, а дискретными значениями “фрод” / “не фрод”, чем вводит в заблуждение пользователей относительно качества и достоверности своих измерений.
В данном кейсе система Scalarr использовала две причины для отклонения трафика по кампании:
- Classic Click Spam
- Modified Click Spam
Если изучить документацию Scalarr, то основные утверждения, которыми они оперируют по каждой из причин это:
Classic Click Spam
Since there is no ultimate approach to identifying click spam, we recommend paying close attention to the following important points:
1. The historical amount of organic users coming from the app. This helps us understand the general 'health' of an app.
2. TTI distribution modeling for detecting abnormal behavior.
Modified Click Spam
1. The first steps are similar to Classic Click Spam.
2. Fraudsters use techniques in Modified Click Spam to try to limit the TTI distribution of their traffic to no more than 1 day, avoiding Classic Click Spam detection.
3. The fraudsters send a new ad click each day, so the last "click" time will be “fresh” and within one day before the device user actually installs the app/game.
Таким образом для объявления трафика фродовым у системы Scalarr есть несколько причин.
- Сравнение параметров установок по РК со значениями аналогичных параметров для органического трафика.
- Нестандартное распределение значения TTI(time-to-install, т.е. времени между от клика до установки) для исследуемого трафика
- Для типа Modified Click Spam наибольшее число установок происходит в первый день.
- Так же для типа Modified Click Spam считается показательным наличие повторных кликов от одного и того же пользователя.
Рассмотрим имеющиеся вводные по данному кейсу.
Окно атрибуции.
Если проверить редиректы по трекинговой ссылке(например, через сервис redirectdetective.com), то видно:
- Трекинговая система клиента - Appsflyer
- В системе Appsflyer окно атрибуции для партнера задается в ссылке в явном виде(параметр af_click_lookback), в данном случае для всех партнеров установлено окно атрибуции 1 день.
- Распределение TTI
По данным из статистики в ПП можно построить графики распределения TTI для трафика по часам и по минутам.
По данным из графиков можно выделить следующие закономерности:
- Основной объем первых запусков приложения(установок) происходит в первые часы после клика - это обусловлено наличием интереса пользователей после просмотра рекламы, однако “хвост” установок в последующие часы говорит о том, что не всегда окружение позволяет пользователям непосредственно сразу воспользоваться приложением, учитывая контекст его использования.
- Значительный объем установок происходит в первые 5 минут после клика - это логично, т.к. при размере приложения в 66.5 Mb его закачка не должна занимать много времени, с другой стороны, сильный спад установок в первую минуту обусловлен как раз размером приложения и скоростью интернета пользователя, т.к. для запуска в первую минуту пользователю требуется иметь скорость интернета более 1 Mb/s, плюс требуется время на установку и запуск приложения после скачивания.
Учитывая имеющиеся вводные, можно аргументировать нерелевантность результатов проверки сервиса Scalarr следующим образом.
- Мы не имеем полных данных о стандартном поведении органических пользователей, но по имеющимся данным можно отметить логику и закономерность поведения пользователей, привлеченных по нашей рекламе.
- TTI распределяется закономерно, без излишних пиков или провалов, в рамках установленного окна атрибуции.
- В данном случае ограничение окна атрибуции в 1 день установлено на стороне рекламодателя, поэтому у нас(и у системы Scalarr) нет возможности оценить масштабы докатов установок в последующие дни.
- У нас нет достаточных данных для оценки количества кликов от уникальных пользователей, но если в системе отмечены повторные клики от одних и тех же пользователей это допустимо и не является злономеренным действием, учитывая что для привлечения пользователей использовался канал in-app трафика, работающий по законам RTB-биржи, в которых:
- изменение частоты показа объявления пользователю является одним из механизмов оптимизации трафика, которым мы также пользовались
- не всегда удается точно выделить уникальных пользователей - например в случае площадок, не передающих значения IDFA, или пользователей запрещающих его отслеживание.
Вывод
Дискретное деление трафика на “фрод” и “не фрод” в отчетах Scalarr является не истиной в последней инстанции, а всего лишь результатом оценки нескольких косвенных параметров. Ориентироваться на результаты такой оценки рекламодателям стоит, лишь принимая в учет многие другие факторы для каждой отдельной кампании.
В рассматриваемом кейсе часть аргументов Scalarr являются лишь косвенными, а часть вообще не релевантны для описанной кампании.
Для каждой конкретной кампании должны быть определены индивидуальные настройки антифрода, учитывающие условия и ограничения от рекламодателя. Решение Scalarr не позволяет менять эти настройки и, таким образом, вводит в заблуждение клиента (о качестве и прибыльности источников) и забирает прибыль у конечных исполнителей.
Вот после таких закупок Uber и судится с огромным кол-вом агентств, потому что они продавали им их же органику под видом платного трафика.
В данном же кейсе видно что трафик лился именно на iOS апку(возможно и на андроид тоже, но автор этого не упоминает).
соответственно, когда через два месяца возникает непонятный отчет от какого-то скалара с горы остается только доступные данные крутить и изучать)))