모바일 게임의 수익성을 높이는 상품 A/B 테스트 - 동일 상품에서 지급 방식(UI&UX)에 따른 구매 전환율 차이 실험
알로하팩토리에서는 게임의 최적화를 위해서 다양한 영역에서 유저의 입장을 이해하기 위한 실험을 진행합니다. 이번 블로그에서는 지난 A/B 테스트에 이어 알로하팩토리 Shadow Survival의 IAP 상품 A/B 테스트를 통해 실제 수익성이 개선된 사례를 공유 드리겠습니다.
핵심 Keyword : 동일한 재화량을 유저에게 어떻게 제시하냐(UI&UX)에 따라서 구매율이 달라질 수 있다.
A/B 테스트에 대한 자세한 정보는 아래 링크에서 확인하실 수 있습니다.
A/B 테스트란?
️실험을 위한 모니터링 내용
Shadow Survival 은 기사가 어둠속에서 나타나는 몬스터들을 처치하고 레벨을 성장시키며 생존해나가는 뱀파이어 서바이벌 게임입니다.
게임은 여러 개의 맵이 존재하며 각 맵마다 고유 특성과 다양한 난이도가 존재합니다.
유저들의 실제 인게임 매출 데이터를 주기성, 편의성, 패스, 이벤트 등의 그룹군으로 나눠 살펴 봤습니다. 어떤 종류의 상품을 대상으로 테스트하는게 가장 효과가 좋을지를 결정하고자 했습니다.
패스가 총 IAP 매출 순위 1위 & 약 10%가량의 비율을 차지하고 있기 때문에 패스 종류 상품을 A/B Test 하는 것이 효과가 좋다고 판단했습니다.
여기서 패스란 “특정 기간 동안 다양한 도전 과제를 완료하여 특별 보상과 독점 아이템을 획득할 수 있는 게임 내 혜택 시스템”입니다.
️실험 내용
설정한 실험의 내용은 아래와 같습니다.
◾️목적
패스류 상품 상위권인 전투력 패스의 UI&UX (지급량&지급 구간) A/B 테스트를 통한 상품 고도화
◾️내용
각 그룹의 내용을 아래와 같이 지정했습니다.
◾️가설
1) 가설을 설정할 때 상품의 보상이 효율적이라고 유저가 느끼게 하는 것이 중요하다고 생각했습니다. 그래서 유저에게 직관적으로 표시되는 지급량을 백 단위에서 천 단위로 변경하고자 했습니다.
2) 동일 가격&동일 지급량의 상품의 1회 지급량을 백 단위에서 천 단위로 바꾸고 그에 따라 지급구간은 자연스럽게 길어진 상품을 테스트 그룹으로 설정했습니다.
3) 상품에 대한 유저의 체감이 달라져 상품의 수익이 오를 것이라고 생각했습니다.
️결론
IAP 상품을 유저에게 제시할 때 유저가 해당 상품에 대해서 어떻게 느끼고 받아들이는지는 매우 중요한 사항입니다. 이러한 부분들을 객관적인 지표로 측정하기 위해서는 A/B 테스트를 통해 확인하는 것이 바람직합니다.
실험 결과 달성 구간 간격을 길게 잡아 많은 재화를 한 번에 많이 획득하게 해주는 것이 달성 구간을 짧게 잡아 재화를 자주 획득하게 하는 것보다 수치가 좋았고 상품에 대한 유저 체감&수익성에 긍정적인 영향을 준 것이 확인되었습니다.
관련 상품의 결과를 바탕으로 표기 재화량을 늘리는 추가 테스트는 같은 자리 수라면 유저가 느끼는 경험이 크게 다르지 않다고 판단해 진행하지 않았습니다. 추가적인 실험은 매출 상위권 상품의 테스트를 더욱 적극적으로 검토하여 각 상품의 최적화를 실험할 예정입니다.
이번 실험 결과를 바탕으로 IAP 상품의 가격과 총 지급량은 동일하지만 UI&UX (지급량&지급 구간)를 바꾸는 것만으로도 매출에 유의미한 결과를 도출해낼 수 있다는 것을 확인했습니다.
신규 게임의 경우 해당 테스트에서 얻은 인사이트를 적용해 초기 패스를 구성할 예정이고 타 게임 패스 상품에도 적용해 추가적으로 A/B 테스트를 실험할 예정입니다.