유니티, 슈퍼소닉 플랫폼에 신규 A/B 테스트 기능 추가

유니티는 자사의 하이퍼 캐주얼 게임 퍼블리싱 솔루션 슈퍼소닉 플랫폼에 신규 'A/B 테스트 페이지' 및 ‘전체 게임 페이지’ 등 두 가지 주요 업데이트를 실시했다고 10일 밝혔다.

A/B 테스트는 변수 A와 비교해 대상이 변수 B에 대해 보이는 응답을 테스트하고, 두 변수 중 어떤 것이 더 효과적인지를 판단함으로써 단일 변수에 대한 두 가지 버전을 비교하는 방식으로, 해당 서비스에 대한 사용자 반응을 클릭 및 매출을 통해 평가하는 기능이다.

해당 업데이트를 통해 개발자들은 더 정확한 A/B 테스트를 실행하여 KPI(핵심평가지표) 성능을 향상할 수 있으며, 데이터에 대한 즉각적 시각화를 제공받음으로써 실행에 옮기기에 앞서 한층 정교한 정보를 기반으로 게임 성장과 관련된 큰 그림을 예단할 수 있게 됐다.

A/B 테스트 계산기를 활용할 경우, 개발자들은 목표 KPI와 필요한 오류율 및 변형 양 등을 고려해 특정 테스트에 필요한 대상 오디언스 규모를 이해할 수 있게 됐다.

이는 테스트가 통계적으로 중요한 수준까지 도달하는 데 필요한 날짜와 사전에 정해둔 목표를 달성한 이용자 수에 대한 인사이트와 결합되는 부분이며, 슈퍼소닉의 계산기는 이를 게임 및 테스트 유형별로 해결할 수 있도록 새롭게 설계했다.

게임 개발자들에게 필요한 테스트 결과의 통계치도 표시된다. 특히, 평균 결과 대신 전체 결과 범위가 표시되며, 이를 통해 주요 결과에 대한 명확한 가시성을 확보할 수 있을 뿐만 아니라 이상치를 제거함으로써 보다 정확한 의사 결정을 내릴 수 있도록 데이터 지표를 지원한다.

가령, ARPU(가입자당 평균 매출)의 비통계적 변화로 인해 7일차 게임 잔존율 및 플레이 시간이 크게 증가할 수도 있는데, 이 경우 테스트 값을 조정하여 테스트를 실시해야 한다.

허나, 앞으로 슈퍼소닉의 A/B 테스트 페이지에서 테스트의 전체 효과가 통계적 중요성에 따라 표시되므로 개발자는 테스트 진행을 결정하기에 앞서 모든 지표에 대한 영향을 확인할 수 있다.

또한 새롭게 개편된 슈퍼소닉의 ‘모든 게임 페이지’에서 채널 및 코호트 기간별로 나누어진 CPI, 게임 플레이 시간, 잔존율, ARPU 등 기타 30개의 지표 중에서 개발자가 원하는 KPI를 선택할 수 있다.

개발자는 원하는 대로 사용자 정의 보기를 생성하고, 전체 게임을 한 곳에서 관리할 수 있다. 특정 테스트 단계 (초기 혹은 반복 테스트)에 있는 게임을 확인할 수 있으며, KPI의 중요성에 따라 KPI 보기를 사용자에 맞춰 설정할 수도 있다.

유니티 슈퍼소닉에서 게임 개발자들을 위해 선보인 신규 A/B 테스트 페이지 및 모든 게임 페이지 주요 업데이트와 관련한 내용은 슈퍼소닉 공식 홈페이지에서 확인할 수 있다.