Продолжаем транскрибацию роликов с Youtube-канала гейм-девелопера Алексея Гришакова, в которых он рассказывает про важность А/В-тестирования в играх. Если в прошлом транскрибе он рассказывал про то, зачем нужно заниматься внутриигровыми тестами, сегодня речь пойдет о том, как правильно анализировать результаты таких тестов, в каком инструменте и какие фильтры для этого применять.
Как и чем анализировать статистику в играх
В качестве примера для разбора статистики Евгений взял игру Robot Ring Fighting: Wrestling, на которую его студия сейчас закупает трафик в США. Нынешние показатели количества активных юзеров, удержания и прибыли доступны ниже:
В топ-5 стран, откуда качают игру первое место с огромным отрывом занимает Узбекистан, далее США, Индия, Бангладеш и Филиппины:
Итак, месяц назад команда Евгения запустила А/В-тест на две версии игры 2.2.2 и 2.2.4, как и в прошлом примере с игрой Assasin Ghost Walker.
Самые высокие ставки по RU, BY, KZ от прямого рекламодателя FONBET PARTNERS!
К заливам!
Первые результаты по этим двум версиям можно увидеть на скриншоте:
Как видите, в статистике версия 2.2.2 прочно занимает первое место не только по количеству установок, но и по среднему количеству сессий на игрока и продолжительности времени игры, опережая таким образом версию 2.2.4. Казалось бы, очевидным решением будет отменить апдейт, но Евгений утверждает, что это будет неправильно.
К слову, в описываемом примере все скриншоты сделаны из кабинета в сервисе внутриигровой аналитики firebase.google.com, которым пользуется сам спикер.
Анализ последнего апдейта игры Robot Ring Fighting: Wrestling
Чтобы правильно анализировать результаты А/В-тестов, вам в начале надо разобраться, на какой стране проводится тест. Выше мы показали, что аудитория Robot Ring Fighting: Wrestling в большинстве своем — это неплатежеспособные страны, за исключением США. Вот на США Евгений и предлагает равняться.
Чтобы увидеть статистику по американским юзерам, в Firebase надо применить фильтр по стране. И вот что получилось:
Как видно, удержание внутри игры у американской аудитории куда ниже, чем у азиатской, но это пока не главное. Для получения полной статистики в фильтр надо добавить еще одно условие First session date. Уже в нем необходимо выбрать те даты, начиная с первого дня релиза новой версии до текущего, в которые проводился тест, чтобы увидеть результаты по когортам игроков:
«Наша задача — выбрать когорту игроков, которые установили игру во время теста. То есть это новые игроки, которые только-только установили игру, и они только начинают приобретать опыт игры в Robot Ring Fighting», — говорит спикер.
Таким образом получится отсеять тех игроков из США, которые установили игру раньше, чтобы понять, насколько в игре заинтересована именно новая аудитория из этой страны.
Посмотрите, какие результаты А/В-теста удалось получить после более тонкой настройки фильтров в Firebase:
Как видите, среднее время игровой сессии в версии 2.2.4 существенно выросло.
Если бы разработчики не знали про эти цифры, они, вероятнее всего, сделали бы откат к старой версии, что негативно повлияло бы на платежеспособную американскую аудиторию.
Как видно, удержание внутри игры у американской аудитории куда ниже, чем у азиатской, но это пока не главное. Для получения полной статистики в фильтр надо добавить еще одно условие First session date. Уже в нем необходимо выбрать те даты, начиная с первого дня релиза новой версии до текущего, в которые проводился тест, чтобы увидеть результаты по когортам игроков:
