기획부터 CS까지, MMORPG 운영이 이렇게 달라졌습니다

Q. 게임 소개 부탁드립니다.

‍

케페우스M은 2019년 출시된 모바일 MMORPG 게임으로, 출시 이후 무료 인기 2위, 베스트 셀러 20위에 오르며 주목받았습니다. 2020년 한국 시장에 출시되어 구글플레이 베스트셀러 Top 10에 진입하고, 출시 첫 달 5천만 위안(약 90억 원)의 매출을 기록하는 한편 동남아시아 시장에서는 태국, 인도네시아, 필리핀 등 6개국에서 게임 베스트셀러 5위권에 글로벌 흥행을 이어갔습니다.

‍

‍

Q. 왜 씽킹데이터를 선택하셨나요?

‍

데이터는 전장의 눈과 귀와 같아서 항상 데이터 분석에 큰 관심을 기울여 왔습니다. 저희는 14년 설립 이후 자체 리포트 시스템을 개발해 운영해왔으며, 이를 지속적으로 개선해 '파라다이스 워페어', '루나 스토리' 등 자체 개발 게임을 지원하며 뛰어난 운영 성과를 거뒀습니다.

하지만 게임 구조가 복잡해지고 기획 및 운영 요구도 정교해짐에 따라, 내부 시스템만으로는 한계가 분명해졌습니다. '케페우스M' 개발 당시, 기획과 운영팀에서 요구하는 일부 복잡한 데이터는 데이터베이스에서 데이터를 수동으로 가져온 다음, 기획과 운영에서 SQL 또는 EXCEL을 사용하여 추가 처리를 수행해야 했습니다. 이 과정은 시간과 인력 소모가 크며, 오류 발생 가능성도 높았습니다. 무엇보다 데이터 처리 전체 과정에 몇 시간이 걸리고, 출시 과정에서 문제가 발생하면 이 시간 공백으로 인해 추가적인 손실이 발생할 수 있었습니다. 이러한 이유들로 인해 손쉽게 사용이 가능하고 보다 민첩하고 정확한 데이터 플랫폼이 필요했습니다. ThinkingData는 복잡한 데이터도 손쉽게 처리할 수 있고, 운영 효율을 획기적으로 개선해줄 수 있다고 판단해 도입을 결정했습니다.

‍

Q. ThinkingData의 전반적인 사용 경험은 어떠셨나요?

‍

1년 이상 사용해본 결과, 시작이 매우 쉽고 직관적이라는 점이 가장 인상 깊었습니다. 또한 칸반 보드를 생성하고 보고서를 작성하는 것이 매우 쉽고, 비전무가도 빠르게 적응할 수 있고 학습 비용도 거의 들지 않았습니다. 현재는 이벤트 분석, 배포 분석, 리텐션 분석 등 다양한 목적으로 사용하고 있고, 주로 고객 서비스, 운영, 기획 및 배포 담당자들이 사용하고 있습니다.
‍

‍고객 서비스는 주로 유저가 어떤 장비를 획득했는지, 얼마나 충전했는지, 다이아는 몇 개를 보유하고 있는지 등 일상적인 유지보수를 위한 데이터, 고객 서비스는 피드백을 주고 운영은 이를 처리하는 역할을 합니다.
운영팀은 매출 데이터, 사용자 데이터, 활동 효과 데이터를 가장 중요하게 생각합니다. 예를 들어 활동 참여자 수, 복권 참여자 수, 운영 활동 참여자 수, 수입 상황 등이 있습니다. 퍼블리싱과 운영은 기본적으로 동일한 콘텐츠에 대해 관심을 가지며 주로 DAU, ARPU 등의 데이터에 집중합니다.
기획팀은 주로 플레이 활동 및 레벨 통과율 데이터를 살펴보고, 예를 들어 특정 구간의 통과율이 매우 낮은 것으로 확인되면 그에 따라 난이도를 조정하는 등 게임 자체의 수치적 경험에 더 많은 관심을 기울입니다.

‍

‍
Q. ThinkingData가 기획 과정에서 어떤 도움이 되었나요?

‍

커뮤니티 플레이어의 피드백도 중요하지만, ThinkingData에서 제공하는 데이터 기반 피드백은 훨씬 설득력이 높습니다

‍

해외 버전을 출시할 때, 현지 상황에 맞춰 게임 콘텐츠와 결제 방식을 현지화하는 것 외에도, ThinkingData를 통해 해외 버전과 국내 버전을 비교 분석을 진행합니다. 해외 게임 환경은 국내와 다르기 때문에, 게임 성과가 국내와 일치하지 않을 때가 많기 때문입니다. 이런 상황에서 “이 지역의 플레이어 리텐션이 낮다”거나 “이 지역의 플레이어 결제 선호도가 다르다”는 주관적인 판단만으로는 정확하지 않습니다. 하지만 데이터는 객관적이기 때문에, 예를 들어 어느날 해외 특정 버전의 리텐션 곡선이 국내 버전과 크게 차이 나는 것을 발견했다고 가정해봅시다. TE 시스템을 통해 이 날 플레이어들의 행동을 분석해 보니, 특정 던전에 진입할 때 평균 전투력이 낮아 클리어에 실패하고, 이로 인해 이탈이 발생했다는 것을 확인했습니다. 이에 따라 던전 난이도를 조정했고, 리텐션이 25% 상승하는 성과를 확인할 수 있었습니다.‍

‍

또 다른 예로는 밸런스 조정을 들 수 있습니다. 만약 특정 나라에서 특정 직업을 선택하는 플레이어가 너무 많거나 적다면, 직업의 수치나 조합 요구 사항을 조정하게 되는데, 이때 ThinkingData를 사용해 세밀한 비교 분석을 수행합니다. 예를 들어 퀘스트의 유지율과 던전 통과율을 분석해 최적화 조정 후 결과를 평가합니다. 새로운 직업을 출시할 때도 각 직업의 데이터를 통해 직업 전투력을 분석합니다. 예를 들어, 어떤 싱글 던전 플레이에서 각 직업의 통과율을 확인했는데, 당시 새로운 직업이 너무 강해서 해당 던전의 첫 클리어 분포가 거의 모두 그 직업으로 채워졌습니다. 이에 따라 데이터 결과를 바탕으로 그 직업의 스킬 수치를 조정했습니다.

‍

Q. ThinkingData가 운영 과정에서 어떤 도움이 되었나요?

‍

ThinkingData로 이벤트 성과분석 뿐만 아니라 버그도 파악할 수 있었습니다.

‍

예를 들어 매 이벤트 시작 후, 우리는 ThinkingData로 이벤트 참여자 수, 자원 소모 및 교환 상황을 확인합니다. 현재 많은 게임 이벤트가 템플릿을 통해 진행되는데, 초기에 사용자와 수익이 좋지만 시간이 지나면 이벤트의 가성비가 떨어지고 이에 따라 수익과 참여자 수가 부진해지는 경우가 많습니다. 예를 들어 “별하늘의 보물”이라는 오픈 이벤트가 있었습니다. 그러나 게임이 지속적으로 업데이트되면서 새로운 기능이 추가되자 이 이벤트는 동일한 프로모션 자원을 사용하면서도 기대한 가치를 발휘하지 못했습니다. 이때 우리는 TE 시스템을 통해 이 이벤트의 수익과 참여자 수를 모니터링하고 데이터를 근거로 이 이벤트를 중단하기로 결정했습니다.

‍

또한, 우리는 ThinkingData를 활용하여 작업장을 모니터링합니다. 초기 데이터 포인트 디자인을 통해 데이터가 들어올 때 플레이어의 IP와 생성 디바이스를 업로드합니다. 이때 IP와 디바이스 수가 특정 수치를 초과하면 이러한 계정을 작업장 계정으로 정의합니다. TE 시스템의 ‘결과 분류’ 기능을 통해 이러한 플레이어를 분류하고, 그 그룹의 데이터를 별도로 분석하여 다른 이상이 있는지 확인할 수 있습니다. 뿐만 아니라, 우리는 ThinkingData를 사용하여 아이템 소모 분석을 수행하는데, 데이터 포인트를 통해 아이템 소모 행위를 기록할 수 있습니다. 예를 들어, 최근에 모든 사용자가 하나만 얻을 수 있는 아이템이 있었는데, DAU(일일 활성 사용자 수)가 10만인 상황에서 15만 개의 아이템이 나타났습니다. 우리는 TE 시스템의 ‘이벤트 분석’을 통해 아이템 획득 경로를 확인하고, 이를 통해 온라인 버그를 발견했습니다. 이전에는 IP를 하나하나 조사해야 했지만, 이제는 ThinkingData의 ‘이벤트 분석’을 통해 다양한 데이터를 조회하여 플레이어의 아이템 획득 및 상자 개봉 데이터를 관찰할 수 있습니다.

‍

Q. ThinkingData가 고객 서비스 담당자에게는 어떤 도움이 되었나요?

‍

ThinkingData로 문제 존재 여부를 신속하게 조사하고 해결가능합니다

‍

고객 서비스는 주로 기본적인 사건 분석을 수행하며, 업무에서는 주로 플레이어의 문제를 처리합니다. 예를 들어, 아이템 분실이나 비정상 소모 등의 문제입니다. 고객 서비스는 ThinkingData를 사용하여 문제의 존재 여부를 신속하게 조사합니다. 문제가 큰 경우, 이는 프로젝트 전체의 문제로서 단일 고객 서비스 담당자가 처리하는 것이 아니라 우리 팀으로 이관되며, 우리는 ThinkingData를 사용하여 구체적인 상황을 조사합니다.

‍

이전에 우리는 성장형 게임 플레이를 출시했는데, 장비를 소모 아이템으로 제련할 수 있었습니다. 그러나 출시 후에 숨겨진 버그가 있어, 업그레이드 시 제련 재료가 반환되는 문제가 있었습니다. 즉 플레이어가 재료 소모 없이 아이템을 세련할 수 있어, 완벽한 속성을 얻을 때까지 반복할 수 있었죠. 그런데 이 아이템의 가치는 높았고, 한 번 세련하는 데 몇 만원이 들었기 때문에 수천 번 세련하는 것은 분명 비정상이었습니다. 그래서 ThinkingData를 사용하여 데이터를 조회한 결과, 설계상의 결함을 발견했습니다. 아이템 소모는 사람과 서버를 기준으로 볼 수 있는데, ThinkingData를 통해 특정 서버에서 플레이어의 아이템 소모 횟수를 내림차순으로 확인할 수 있었고, 특정 플레이어의 소모 횟수가 몇 만 회인 반면 다른 플레이어는 수십 회, 몇 회인 경우처럼 차이가 큰 경우 이상이 있을 가능성이 크다고 추가 검증을 통해 문제를 파악해 이를 개선할 수 있었습니다.

‍

Q. ThinkingData가 글로벌 런칭 시 어떻게 도움이 되었나요?

‍

해외 데이터를 처리할 때, 앞서 언급한 곡선 비교 외에도 ThinkingData를 통해 ‘사용자 분류’를 많이 활용합니다. 국내 플레이어는 결제 정도에 따라 분류하지만, 해외 배포 시에는 국가별로 사용자 분류를 합니다. 국가마다 결제 능력과 플레이어 생태계가 크게 다르기 때문에 이를 개별적으로 분류하여 분석해야 합니다. 우리는 주로 국가별 결제율을 주목했고 예를 들어, 말레이시아의 결제율이 싱가포르보다 높다면, 게임 내 아이템 생산과 배치가 잘못된 것이 아닌지, 플레이어의 취향에 맞지 않아 구매를 꺼리는지 등을 고려했습니다. 그리고 여기서 얻은 인사이트를 기반으로 후속 이벤트와 버전 변경 등을 진행하였습니다.

‍