Войти
Игровая индустрияФорумМаркетинг

Как вы тестируете метрики разных версий одной игры?

#0
20:21, 10 июля 2018

Всем привет.

Хочу протестировать 2 версии одной игры под iOS на предмет метрик (ретеншн в первую очередь) и сравнить их. Внешне версии идентичны, но есть какие-либо core-изменения. Управление, геймплей или что-то другое - не важно.

Как лучше провести тестирование?
1) Опубликовать разные версии в Аппстор в отдельных странах и налить трафика? Боюсь, не очень чистое сравнение будет, т.к. контингент различен.
2) Опубликовать сначала одну версию в определённую страну, налить трафика, протестировать версию, затем заменить её новой версией туда-же и снова налить трафика? Есть риск, что пользователи, налитые при первом тестировании обидятся глубоким изменениям после обновления.
3) Временно опубликовать игры под разными названиями? Аппстор не будет против, если всё оформление, описание и пр. у игр будут идентичны? И названия, соответственно, будут почти одинаковы...

Что-то ни один из вариантов мне не нравится...


#1
(Правка: 10:20) 10:20, 11 июля 2018

Платформы вроде умеют выпускать обновление игры на X% игроков. Например, у нас сначала выкладывают обновление на 10%, после чего ждут пару дней. Если проблем не всплыло, выкладывают на 100%.

Соответственно. Выпускается обнова игры на нужную долю игроков. По результатам либо доля расширяется на 100% либо выпускается ещё одно обновление (до старой версии), которое откатывает изменения.

#2
15:17, 11 июля 2018

Tiendil
Не вижу такого функционала в itunes connect, да и чем оно мне поможет? У меня количество пользователей в тестировании и так ограничено количеством денег на закупку трафика.
Вопрос был в том - какой путь лучше использовать для тестирования?

#3
22:19, 11 июля 2018

netSkinner
Это называется A/B тесты. Сервисов много, я использовал mixpanel.

#4
22:51, 11 июля 2018

Smrdis
А/B тесты - тоже о другом. Вопрос не в самом сравнении, а в том как лучше технически выкатить 2 билда для получения ретеншена с реальных рандомных пользователей.

Т.е. обычный софт-ланч, но для 2-х билдов сразу.
Самое простое - сначала один билд залить на ту же Австралию, например.  Снять метрики, потом новый билд залить и снять метрики. Тут только проблема в том, что первая часть пользователей тоже обновится до нового билда и может повлиять на метрики, ну или просто негативные отзывы оставить.

Прихожу к мысли, что есть смысл первую партию запустить на Австралию, вторую на Новую Зеландию из расчёта на то, что у них схожие группы пользователей.

Или я зря заморачиваюсь? Просто на одну страну по очереди билды выкатывать и смотреть?

#5
1:01, 12 июля 2018

netSkinner
> А/B тесты - тоже о другом.
То, что ты описал в первом посте называется A/B тестом.

> Вопрос не в самом сравнении, а в том как лучше технически выкатить 2 билда для
> получения ретеншена с реальных рандомных пользователей.
Технически возможность сравнивать именно билды есть в google play. Но это не очень-то удобно. Есть специальный инструментарий заточенный на A/B тестирование. Его и стоит использовать.

#6
22:16, 13 июля 2018

netSkinner
> Как лучше провести тестирование?
> 1) Опубликовать разные версии в Аппстор в отдельных странах и налить трафика? Боюсь, не очень чистое сравнение будет, т.к. контингент различен.
Надо брать похожие страны. Например, как вы сказали Австралия и Новая Зеландия. По своему опыту скажу, что Канада, Великобритания, США и Австралия это разные страны с разным менталитетом, хотя кажется вроде, что сильной разницы не будет.

> 2) Опубликовать сначала одну версию в определённую страну, налить трафика, протестировать версию, затем заменить её новой версией туда-же и снова налить трафика? Есть риск, что пользователи, налитые при первом тестировании обидятся глубоким изменениям после обновления.
Вообще, можно сделать так, чтобы в аналитике пометить билд "версия 1.0.1" и налить трафика в США. Затем выпустить обновление с "билд 1.0.2", ещё раз налить трафика. Главное здесь отметить, чтобы пользователи, которые обновили приложение не учитывались, то есть фиксировать показатели только для новых пользователей и с версией 1.0.2. И затем сравнить новых пользователей с версией 1.0.1 и новых с версией 1.0.2.

Ну а риск, конечно, есть, что они обидятся, ну а что поделать. Можно в поле для обновлений написать что-то типа "мы пытаемся сделать игру настолько приятной насколько возможно. Мы немного изменили геймплэи. Если вы считаете, что надо что-то улучшить или изменить, то, пожалуйста, напишите нам на почту блаблабла@почта.ру. Мы обязательно прислушаемся к комментариям".

> 3) Временно опубликовать игры под разными названиями? Аппстор не будет против, если всё оформление, описание и пр. у игр будут идентичны?
Ещё как будет. Забанят обе версии игры и ещё могут удалить акк разработчика, даже заработанные деньги не факт, что вернут (скорее всего, нет).

#7
9:45, 14 июля 2018

Понял. Спасибо за ответы!

Игровая индустрияФорумМаркетинг