Разработчики улучшат новую систему рейтинга по итогам первого тестирования

PUBG Corporation опубликовали новый блог, в котором отчитались о результатах тестирования в PUBG Labs рейтинга, основанного на мастерстве (Skill Based Rating). Разработчики рассказали, зачем они проводили эти тесты, а также поделились некоторыми любопытными фактами и данными.

Благодаря вашей помощи, мы завершили первое тестирование системы рейтинга, основанного на опыте (РОО). Большое спасибо всем игрокам, которые посетили PUBG Labs и приняли участие в тесте! Мы обрабатываем все ваши отзывы и полученные в ходе теста данные. Они помогут улучшить следующую версию РОО, которая поступит в Labs.

Некоторые игроки интересовались, почему мы проводили тестирование рейтинга, основанного на опыте в PUBG Labs.

Причин несколько.

Нам требовался внушительный объем данных живого тестирования.

Невозможно вести серьезную работу над рейтинговой системой в отрыве от использующих ее игроков. Действуя по аналогии с процессом разработки системы мастерства, мы сделали систему рейтинга, основанного на опыте, доступной для ограниченного числа игроков. Это помогло нам собрать исходный набор данных. Затем эти данные были использованы для отладки алгоритма рейтинга и создания надежной отправной точки для работы.

Исходных данных оказалось недостаточно, ведь, помимо прочих проблем, игроки по-разному ведут себя при тайном и при открытом наблюдении. Чтобы получить необходимые данные и продолжить отладку системы, нам нужны были реальные матчи PUBG с реальными игроками за определенный, достаточно длительный период времени.

Мы хотели узнать ваши впечатления о системе.

Цифры и дизайнерские идеи это замечательно, но в конечном итоге система должна быть удобной для игроков. Работая над рейтингом, основанным на опыте, нам хотелось стать более открытыми для обратной связи и взаимодействовать с сообществом теснее, чем это было возможно в прошлом. Для этого мы расширили функционал Labs так, чтобы игроки могли напрямую делиться с нами впечатлениями о работе системы.

Благодаря Labs, мы смогли продемонстрировать игроками новую систему на раннем этапе ее создания. Это поможет нам направить ее дальнейшее развитие по курсу, соответствующему ожиданиям игроков.

Мы хотели привлечь сообщество к диалогу.

Мы знаем, что сообщество очень серьезно относится к рейтингу, основанному на опыте. Мы понимали, что было бы неправильно создавать новую систему в отрыве от сообщества, не имея четкого и актуального представления о том, какой хотят видеть эту систему игроки.

Появление в Labs системы рейтинга, основанного на опыте, вовлекло сообщество в обсуждение. Несомненно, это положительно скажется на развитии новинки. В ходе теста многие игроки поделились интересными идеями. Несколько активных пользователей даже предложили собственные концепции рейтинговых систем! Будьте уверены, мы внимательно читаем все комментарии и рассматриваем ваши идеи и сделаем все возможное, чтобы создать такую рейтинговую систему, которая устроит всех.

Обзор цикла тестирования

Система рейтинга, основанного на опыте, появилась в PUBG Labs в конце ноября и работала в течение 6 недель. Основываясь на наблюдениях в ходе тестирования, мы внесли некоторые коррективы в ее алгоритм.

Благодаря особенностям строения новой системы, мы смогли оперативно вносить изменения на основные сервера, не дожидаясь технического обслуживания. Это значительно увеличило темпы устранения неполадок и улучшения системы.

Получив результаты опроса, проанализировав данные с основных серверов и собрав отзывы из различных источников, мы приняли решение провести второе тестирование в феврале. Оно поможет решить некоторые из проблем, обнаруженных при отладке алгоритма во время первого теста.

Наблюдения

Далее мы хотели бы поделиться некоторыми любопытными фактами и данными, которые стали нам известны во время работы с системой рейтинга, основанного на опыте. А еще мы немного поговорим о планах по переходу ко второму тестированию.

18,8% игроков на ПК предпочитают соревновательную игру.

22,3% игроков на консолях попали в рейтинг состязательного режима PUBG (и это здорово!).

Процент участия по регионам

Тестирование системы рейтинга, основанного на опыте, проводилось с целью оценки показателей игроков в существующих режимах. По этой причине мы решили дать игрокам выбор: помочь в этом тестировании, выбрав соответствующий пункт на странице Labs, или же отказаться от участия. В приведенной выше таблице указан процент активных пользователей из разных регионов и платформ, решивших участвовать в тестировании системы рейтинга, основанного на опыте.

Следует отметить, что мы, принимая во внимание опыт исследований в других играх, не удивились бы участию в тестировании менее чем 10% игроков. Так что полученные данные нас очень удивили и обрадовали! Они указывают на то, как щепетильно игроки PUBG относятся к системам измерения мастерства. В некоторых случаях в тестировании участвовала аж треть всех активных игроков.

Распределение по рангам

Представленные выше таблица и график содержат ключевые данные, на которые мы ориентируемся при отладке системы распределения игроков по рангам. Распределение по рангу — это деление всей массы игроков на группы по RP и рангам. Существует много способов оценки такого рода данных, но для простоты мы будем использовать приведенную выше таблицу пользователей ПК, игравших в режимах отряда и TPP (от 3-го лица) и завершивших не менее 50 рейтинговых матчей.

Глядя на эти результаты, становится ясно, что есть вещи, над которыми нужно поработать. Одна из проблем заключается в малом количестве игроков ранга «Бронза», тогда как игроков ранга «Мастер» оказалось больше, чем следует. Игроков ранга «Бриллиант» тоже мало. Мы будем вносить изменения, чтобы скорректировать границы между рангами, а также в целом усложнить получение всех рангов.

Отзывы игроков

Далее мы хотели бы рассмотреть несколько наиболее распространенных и популярных отзывов, полученных от игроков во время теста.

«Система должна учитывать урон. Неприятно играть в команде и состязаться с союзниками ради RP».

Это был один из первых отзывов, полученных после начала живого тестирования. И мы сразу поняли, что нужно как можно скорее внести соответствующие корректировки для улучшения системы. Поначалу мы всерьез обдумывали возможность прямого учета урона системой, сочтя это наиболее простым решением. Но после тщательного анализа мы пришли к выводу, что такие изменения скорее навредят системе, чем пойдут ей на пользу. Если система будет учитывать урон, возникнет множество проблемных ситуаций и найдутся способы нечестного ее использования.

Но связанную с командной игрой проблему нужно было решать, пусть даже и другим способом. Так мы пришли к концепции «помощи». С ее вводом любой игрок, нанесший урон цели за определенный промежуток времени до ее гибели, получит очки за помощь. С точки зрения системы, помощь имеет такую же ценность, как и убийство. Поэтому союзникам больше не придется состязаться за право сделать решающий выстрел.

«С точки зрения системы развития, получать RP куда легче, чем терять. Рост игроков уровня «Мастер» практически ничем не ограничен».

Ой-ой. Это худшее, что могло случиться с системой рейтинга, основанного на опыте, которая должна точно отражать мастерство и показатели игрока. Ее начали путать с системой развития и думать, что для получения высокого ранга достаточно сыграть много матчей. Будьте уверены, наша первоочередная задача — сделать игру как можно более приятной для пользователей. И мы убеждены, что для этого нужно создать максимально точную и справедливую рейтинговую систему.

Мы услышали вас и осознали, что система пока не справляется со своей задачей. И полученные данные это подтверждают. Да, мы рады были видеть, что ряд игроков получил ранг в зависимости от навыков, а не числа сыгранных матчей. Однако собранные данные (в частности, приведенная выше таблица распределения по рангам) наглядно говорят о необходимости внесения изменений.

Во втором тестировании будут добавлены более строгие требования для получения каждого из рангов. Благодаря этому, игрокам будет труднее достичь цели. Игроки высоких рангов также заметят, что стали получать за матч меньше RP, чем на низких рангах. Игроки ранга «Мастер» поймут, что больше не могут бесконечно повышать рейтинг. Этому препятствуют система ограничений, нижний порог которой затрудняет получение RP за каждые 100 единиц сверх 3500, а верхний порог не позволяет набрать более 5000 RP.

И напоследок

Система рейтинга, основанного на опыте, находится в разработке. Мы будем продолжать трудиться над ней вместе с сообществом, чтобы итоги этой работы соответствовали ожиданиям игроков.

Подобная система требует постоянного внимания со стороны как разработчиков, так и игроков. Это позволит сделать ее не только качественной, но и приятной для пользователей.

Во время второго и последующих тестирований РОО мы будем изо всех сил стараться сохранять вектор развития системы, чтобы она отвечала требованиям пользователей. Мы будем держать руку на пульсе сообщества, чтобы быть уверенными в правильности всех вносимых изменений.

Еще раз благодарим вас за участие в первом тестировании системы РОО. Удачи на поле боя! После завершения второго тестирования системы мы вновь поделимся с вами информацией о ходе ее разработки.

— Команда разработки системы РОО PUBG