A/B 테스트란?
우리는 게임을 만들 때 문제점을 개선하고, 신규 컨텐츠를 추가하기 위해 업데이트를 진행합니다.
다만 모든 변경 사항들이 게임의 지표에 긍정적인 영향을 미치지는 않습니다.
최악의 경우 변경된 내용이 유저 경험에 부정적인 영향을 미쳐 이탈에 이르게 하는 경우가 있기도 합니다.
AlohaFactory는 이러한 리스크가 존재하는 요소들의 성과를 A/B 테스트를 진행하여 측정합니다.
A/B 테스트란 두 가지 버전(A와 B)의 콘텐츠, 기능, 디자인 등을 비교하여 어떤 것이 더 나은 성과를 내는지 평가하는 실험 방법입니다. 이를 통해 사용자 반응을 직접 측정하고, 데이터에 기반한 의사결정을 내릴 수 있습니다.
모바일 게임에서의 A/B 테스팅은 인게임 디자인, UI, 밸런스, 상품 배치 및 구성 등의 실험을 통해 최적의 전환율과 리텐션 등의 상승을 유도하는 것을 목표로 활용됩니다.
A/B 테스트의 중요성
그렇다면 이런 실험을 진행하였을 때의 장점은 무엇이 있을까요? 크게 4가지로 구분할 수 있습니다.
•
데이터 기반 의사결정: 직관이나 가설이 아닌 실제 데이터를 바탕으로 게임 개선 방향을 설정할 수 있습니다.
•
유저 경험 최적화: 유저의 행동과 피드백을 통해 게임의 재미 요소와 난이도를 최적화할 수 있습니다.
•
매출 증대: 다양한 인게임 요소를 테스트하여 ARPU(유저 당 평균 매출) 등 매출 지표를 향상 시킬 수 있습니다.
•
리스크 감소: 모든 유저에게 변경사항을 적용하기 전에 일부 유저를 대상으로 테스트함으로써, 변경으로 인한 리스크를 최소화할 수 있습니다.
A/B 테스트는 게임의 성공적인 운영과 지속적인 성장을 위해 필수적인 도구입니다.
이를 통해 유저 만족도를 높이고, 게임의 장기적인 발전을 도모할 수 있습니다.
그렇다면 게임에 어떻게 적용할 수 있을까?
실제로 게임은 다양한 내/외부 요소들이 존재하기 때문에 각 요소 간의 정확한 인과 관계를 파악하는 것이 중요합니다. 이 때, A/B 테스트는 인과관계를 파악하기 가장 좋은 도구입니다. 게임 최적화를 위한 의사 결정에 A/B 테스트를 활용한다면, 직관에 의존한 결정이 아니라 데이터를 통한 성장을 할 수 있습니다.
알로하팩토리에서는 게임의 최적화를 위해서 다양한 영역에서 유저의 입장을 이해하기 위한 실험을 진행합니다. 이번 블로그에서는 알로하팩토리의 Crown Rumble: Idle Kingdoms의 밸런스 A/B TEST를 통해 실제 리텐션 지표와 ARPU가 개선된 사례를 공유 드리겠습니다.
데이터 모니터링
Crown Rumble: Idle Kingdoms는 왕이 되어 영지를 넓혀가고 군대를 강화시켜 전 지역을 통일해 킹덤을 만들어가는 게임입니다.
게임은 월드라는 기본 단위로 이루어져 있습니다. 모든 영토를 다 획득하였을 때 해당 월드는 클리어되며, 다음 월드로 넘어가게 됩니다.
강력한 영웅을 소환해서,
성을 정복하고,
왕국의 영토를 확장시킨다!
유저들의 이탈 데이터를 확인해보니 다음 월드로 진입하는 유저들의 비율이 예상보다 낮은 것을 확인했습니다. 유저들의 평균 플레이 시간 & 세션 활성 시간 데이터를 참고했을 때 클리어를 하는데 드는 시간이 너무 길 수도 있다는 생각이 들었습니다.
해당 내용이 실제로 부정적인 영향을 주는지를 확인하기 위해서 초반 부분 허들을 완화한 내용으로 A/B 테스트를 진행하게 되었습니다.
실험 내용
설정한 실험의 내용은 아래와 같습니다.
•
목적 : 게임의 초기 허들을 낮춰, 유저들이 더 쉽게 온보딩 과정을 통과하도록 하는 것
•
가설 : 초반부의 월드 클리어 난이도를 낮추면 유저 잔존율이 향상될 것
•
내용 : 각 월드의 클리어 시간을 아래와 같이 단축시키도록 지정. 단, 월드 클리어에 필요한 재화 밸런스만을 통제하여 변경
◦
월드 2 : 월드 클리어 TS 약 25% 감소되도록 밸런스 조정
◦
월드 3 : 월드 클리어 TS 약 50% 감소되도록 밸런스 조정
◦
월드 4 : 월드 클리어 TS 약 40% 감소되도록 밸런스 조정
실험 결과
자료: 핵클 A/B TEST 대시보드 결과
실험의 결과는 아래와 같습니다.
•
월드 5 진입 누적 TS 23% 감소
•
월드 5 진입 비율 기존보다 65% 증가
•
D7 RET 5.8% 증가
•
D7 ARPU 6.78% 증가
전반적으로 허들이 낮아짐에 따라서 상위 월드에 진입하는 유저들의 비율이 매우 크게 증가했고, 이는 전반적인 게임의 잔존율 및 수익성에 긍정적인 영향을 준 것으로 확인되었습니다.
결론
유저들에게 적절한 난이도를 제공하는 것은 게임의 긴장감과 몰입도를 높이는 중요한 요소입니다. 다만 그 수준에 대해서 무조건 허들을 낮추는 것이 항상 좋은 결과를 내는 것은 아닙니다.
유저들이 게임에 잘 몰입할 수 있는 밸런스를 만드는 것이 핵심이고, 이를 측정하기 위해서는 A/B 테스트를 진행하는 것이 바람직합니다.
이번 실험의 주된 내용은 초반부 유저들에게 어느 정도의 난이도가 적절한지 테스트함으로써, 유저들이 게임에 더 잘 몰입하도록 하는 과정입니다. 초반부에 높은 난이도를 설정하기보다는, 일정 수준의 쾌적한 게임 경험을 제공하는 것이 유저들에게 더 긍정적인 반응을 이끌어냈습니다.
실험 결과를 바탕으로 우리는 초반부에 밸런스를 일부 변경한 것 만으로도 생각보다 유의미한 결과를 도출해낼 수 있다는 것을 확인했습니다. 관련해서 추가적으로 온보딩 구간에서의 콘텐츠 배치나 타이밍 등을 더욱 적극적으로 검토하여 추가적인 온보딩 최적화 A/B 테스트를 실험할 예정입니다.