Игровая индустрия
GameDev.ru / Игровая индустрия / Форум / Как вы тестируете метрики разных версий одной игры?

Как вы тестируете метрики разных версий одной игры?

netSkinnerПостоялецwww10 июля 201820:21#0
Всем привет.

Хочу протестировать 2 версии одной игры под iOS на предмет метрик (ретеншн в первую очередь) и сравнить их. Внешне версии идентичны, но есть какие-либо core-изменения. Управление, геймплей или что-то другое - не важно.

Как лучше провести тестирование?
1) Опубликовать разные версии в Аппстор в отдельных странах и налить трафика? Боюсь, не очень чистое сравнение будет, т.к. контингент различен.
2) Опубликовать сначала одну версию в определённую страну, налить трафика, протестировать версию, затем заменить её новой версией туда-же и снова налить трафика? Есть риск, что пользователи, налитые при первом тестировании обидятся глубоким изменениям после обновления.
3) Временно опубликовать игры под разными названиями? Аппстор не будет против, если всё оформление, описание и пр. у игр будут идентичны? И названия, соответственно, будут почти одинаковы...

Что-то ни один из вариантов мне не нравится...

TiendilУчастникwww11 июля 201810:20#1
Платформы вроде умеют выпускать обновление игры на X% игроков. Например, у нас сначала выкладывают обновление на 10%, после чего ждут пару дней. Если проблем не всплыло, выкладывают на 100%.

Соответственно. Выпускается обнова игры на нужную долю игроков. По результатам либо доля расширяется на 100% либо выпускается ещё одно обновление (до старой версии), которое откатывает изменения.

Правка: 11 июля 2018 10:20

netSkinnerПостоялецwww11 июля 201815:17#2
Tiendil
Не вижу такого функционала в itunes connect, да и чем оно мне поможет? У меня количество пользователей в тестировании и так ограничено количеством денег на закупку трафика.
Вопрос был в том - какой путь лучше использовать для тестирования?
SmrdisУчастникwww11 июля 201822:19#3
netSkinner
Это называется A/B тесты. Сервисов много, я использовал mixpanel.
netSkinnerПостоялецwww11 июля 201822:51#4
Smrdis
А/B тесты - тоже о другом. Вопрос не в самом сравнении, а в том как лучше технически выкатить 2 билда для получения ретеншена с реальных рандомных пользователей.

Т.е. обычный софт-ланч, но для 2-х билдов сразу.
Самое простое - сначала один билд залить на ту же Австралию, например.  Снять метрики, потом новый билд залить и снять метрики. Тут только проблема в том, что первая часть пользователей тоже обновится до нового билда и может повлиять на метрики, ну или просто негативные отзывы оставить.

Прихожу к мысли, что есть смысл первую партию запустить на Австралию, вторую на Новую Зеландию из расчёта на то, что у них схожие группы пользователей.

Или я зря заморачиваюсь? Просто на одну страну по очереди билды выкатывать и смотреть?

SmrdisУчастникwww12 июля 20181:01#5
netSkinner
> А/B тесты - тоже о другом.
То, что ты описал в первом посте называется A/B тестом.

> Вопрос не в самом сравнении, а в том как лучше технически выкатить 2 билда для
> получения ретеншена с реальных рандомных пользователей.
Технически возможность сравнивать именно билды есть в google play. Но это не очень-то удобно. Есть специальный инструментарий заточенный на A/B тестирование. Его и стоит использовать.

AltaiПостоялецwww13 июля 201822:16#6
netSkinner
> Как лучше провести тестирование?
> 1) Опубликовать разные версии в Аппстор в отдельных странах и налить трафика? Боюсь, не очень чистое сравнение будет, т.к. контингент различен.
Надо брать похожие страны. Например, как вы сказали Австралия и Новая Зеландия. По своему опыту скажу, что Канада, Великобритания, США и Австралия это разные страны с разным менталитетом, хотя кажется вроде, что сильной разницы не будет.

> 2) Опубликовать сначала одну версию в определённую страну, налить трафика, протестировать версию, затем заменить её новой версией туда-же и снова налить трафика? Есть риск, что пользователи, налитые при первом тестировании обидятся глубоким изменениям после обновления.
Вообще, можно сделать так, чтобы в аналитике пометить билд "версия 1.0.1" и налить трафика в США. Затем выпустить обновление с "билд 1.0.2", ещё раз налить трафика. Главное здесь отметить, чтобы пользователи, которые обновили приложение не учитывались, то есть фиксировать показатели только для новых пользователей и с версией 1.0.2. И затем сравнить новых пользователей с версией 1.0.1 и новых с версией 1.0.2.

Ну а риск, конечно, есть, что они обидятся, ну а что поделать. Можно в поле для обновлений написать что-то типа "мы пытаемся сделать игру настолько приятной насколько возможно. Мы немного изменили геймплэи. Если вы считаете, что надо что-то улучшить или изменить, то, пожалуйста, напишите нам на почту блаблабла@почта.ру. Мы обязательно прислушаемся к комментариям".

> 3) Временно опубликовать игры под разными названиями? Аппстор не будет против, если всё оформление, описание и пр. у игр будут идентичны?
Ещё как будет. Забанят обе версии игры и ещё могут удалить акк разработчика, даже заработанные деньги не факт, что вернут (скорее всего, нет).

netSkinnerПостоялецwww14 июля 20189:45#7
Понял. Спасибо за ответы!

/ Форум / Игровая индустрия / Маркетинг

2001—2018 © GameDev.ru — Разработка игр