04 февраля 2020

«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Wargaming — один из лидеров на рынке free-to-play MMO. За 18 лет в индустрии мы выпустили более 15 игр для абсолютно разных платформ.
Разбираем ошибки в анализе дисбаланса в играх вместе с Game-Data аналитиком Wargaming и выпускником бесплатных курсов Wargaming Forge Сергеем Силюком.
2
«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Что такое имба и почему это плохо?

Давайте сначала разберемся: что же такое имба? Это несбалансированный элемент игры, при обладании которым игрок получает явные преимущества перед другими игроками. Это может быть герой, имеющий ряд навыков, с которыми можно победить любого персонажа. Или же это может быть танк, который всех нагибает и ломает рандом, то есть танк, который сложно убить, но который способен или отлично передавать разведданные, или прекрасно отбивать выстрелы противника, или хорошо наносить урон и выживать в критических ситуациях.

Чем это плохо? Несбалансированный элемент может поломать весь дизайн игры, например:

  1. Ломается дизайн прогрессии. Увеличивается скорость прокачки, что позволяет игроку быстрее «пройти игру».
  2. Ломается дизайн экономики игры. Увеличивается скорость накопления ресурсов. Небольшое кол-во усилий приносит ему огромные ресурсы, когда другие игроки днями-ночами потеют, чтобы накопить ресурсы.
  3. Ломается геймплей игры. Игрок «нагибает» остальных и большинство остается недовольным. При столкновении с противником имба способна быстрее уничтожить противника, при этом не получив никакого отпора.
  4. Уменьшается время жизни игрока в продукте, то есть игроку быстро надоедает игра.
«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Что с этим можно сделать? Есть несколько вариантов. Первое, что приходит в голову – вывести данный элемент из игры. Все хейтеры будут счастливы, все обладатели имбы станут хейтерами. И второе, понерфить (сбалансировать) показатели элемента. В данном случае запросы хейтеров будут удовлетворены, и обладатели бывшей имбы не будут обижены. На примере танков продолжим разговор по теме.

Как провести анализ и не облажаться

Но как же понять: имба ли это на самом деле?

Шаг №1. Давайте возьмем всех обладателей имбы и сравним их с остальной аудиторией. Посмотрим, насколько они эффективны, сколько они получают ресурсов и как они играют вообще. Сравнили по такому принципу и получили, что обладатели имбы просто во всем превосходят остальных игроков. И кажется, вот она – имба, ломающая всю игру. Факты совпадают с реальностью.

В чем ошибка? В данном подходе мы не учли, что мы сравниваем аудиторию, которая играет абсолютно на разных уровнях. Логично же, что если сравнивать 1 и 10 уровень, то результаты боя у 10 уровня будут явно выше. На рисунке явно заметно ситуация, что обладатели имбы преимущественно играет на высоких уровнях.

«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Шаг №2. Усвоили урок и двигаемся дальше. Берем обладателей имбы и сравниваем с остальными игроками, но только с теми, которые играют на том же уровне. Сравниваем и получаем тот же результат.

В чем ошибка? Потом мы подумали и поняли, что даже если мы возьмем игроков, которые играют на одном уровне, то они могут играть на абсолютно разных типах техники. Логично же, что нельзя сравнивать арту и легкие танки. На рисунке видно, что обладатели имбы предпочитают легкие и средние танки, тогда как остальная аудитория чаще играет на тяжелых танках.

«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Шаг №3. Окей, теперь-то мы точно не сделаем ошибки. Берем игроков, которые играют на одном и том же уровне, играют на одном и том же типе техники. Проводим анализ и «О, чудо!», мы снова получаем, что у нас обладатели имбы фармят намного больше и намного быстрее. Ну все, имба она и в Африке имба. Идем к заказчику, чтобы ответить на все вопросы.

В чем ошибка? Но тут опять же есть сомнения: «Уровень техники учли, тип техники учли… Аудиторию не учли!» У нас же могут быть игроки с абсолютно разными скиллами и разным опытом в игре.

«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

Шаг №4. Начинаем все заново, выбираем игроков, которые выезжают на одном уровне техники, выбираем одинаковый тип техники. Дальше разбиваем аудиторию по скиллам. В качестве скилла можно взять разные метрики: его рейтинг, процент побед или же придумать свою метрику. Разбиваем игроков на бины и сравниваем эффективность в рамках каждого бина.

«Пациент, у вас имба!»: что делать Game Data-аналитику, если игроки жалуются на баланс?

При таком подходе мы можем увидеть, как игроки реализуют технику в зависимости от своего скилла. И именно при таком подходе мы видим реальную картину без искаженности типом техники, уровнем или аудиторией.

Вывод

Итак, учитывая все ошибки, сделаем вывод: сравнивая две категории, важно смотреть распределения в разрезе каждой категории и выделять максимально похожие группы. Нужно учитывать уровни и типы техники, на которых играют пользователи, а также при этом учитывать скиллы игрока. Данный подход можно также использовать при анализе эффекта какого-либо ивента. Это позволит увидеть эффективность имбы и аналогичной техники, эффект ивентов или каких-либо событий, в разрезе аудитории по разным группам, потому что каждая группа реагирует и откликается по-разному.

Если вы из Минска и хотите попробовать себя в гейм-дата аналитике – до 15 февраля бесплатные курсы Wargaming Forge проводят набор на эту специальность. Лучшие студенты получат оффер от разработчиков World of Tanks.

МЕРОПРИЯТИЯ

Комментарии

 
 
04 февраля 2020

Такая себе статья. "Смотрите - это танки" Делает выборку. Рассказывает о новых переменных (которые никак не вытекают из предыдущих действий) 3 итерации и все, типа научили.

На самом деле придумали себе три проблемы и рассказали как решить придуманные проблемы в конкретном придуманном кейсе.

Никак не раскрыли тему "а почему это имба?" Какая стата повлияла? Как это вычислить? Почему самый обыкновенный на первый взгляд танк оказался имбой? Почему наиболее скилловые и долгоживущие игроки переходят на имбу?

В обещем тема не раскрыта никак.

05 февраля 2020

Привет!

Спасибо за комментарий. Постараюсь рассказать, что имел в виду, когда писал этот материал:

Эта статья – не туториал по расчету метрик, а обычный кейс, через который можно увидеть необходимость в балансировке групп. История вылилась из реального проекта, связанного с анализом имбы, но опыт можно применять и в других проектах. Например, в анализе ивентов. Типичный анализ происходит как сравнение участников и не участников ивента.

Я хотел показать, что, если делать вот так «в лоб», может получиться, что аудитория внутри сравниваемых групп будет качественно разной, вследствие чего и отклик у нее будет отличаться. Но на самом деле эти отличия будут обусловлены различием игроков внутри групп, а не тем, что одна группа поучаствовала в ивенте, а вторая – нет.

Скилловые и долгоживущие игроки, которые отлично разбираются в технике, точно лучше будут использовать преимущества потенциальной имбы. Остальные, менее скилловые игроки, - не будут или будут делать это не так эффективно. В итоге, когда мы делим аудиторию на тех, кто катает на имбе и на тех, кто нет, получаем значительную разницу в боевой эффективности (так как она определяется скиллом игрока + характеристиками танка), и можем сделать неверный вывод – во всем «виновата» имба. Для этого и следует балансировать аудиторию по скиллу (при необходимости и по ряду других факторов), чтобы по результатам можно было увидеть влияние только техники.

«Почему имба?» - цели раскрыть это в статье не стояло, так как (как сказано выше), данная проблема может присутствовать при анализе чего угодно, а не только имбового танка. Но в целом, о появлении потенциальной имбы всегда сразу можно узнать из отзывов на форуме и из комментариев игроков. Но не всегда жалобы на форумах показывают реальную ситуацию – для этого и проводится такой рода анализ.

ВАКАНСИИ

Добавить вакансию
Senior DevOps Developer
Лимасол, по итогам собеседования
Senior MLE (SE)
от 5000 USD до 9000 USD
Senior DevOps Engineer
по итогам собеседования

ЛУЧШИЕ СТАТЬИ ПО ТЕМЕ

LIVE >

Подпишись

на push-уведомления