운영 작업은 타깃 유저에게 콘텐츠를 적절한 시기에 알리도록 설정하여 작업을 만들 수 있습니다. 또한, 작업의 효과를 실시간으로 모니터링하고 개선하는 것이 가능합니다. 작업에 전환 목표를 설정하면, 전략의 효과를 검증하고 평가하는 데에도 도움이 됩니다.

‍

[운영] 탭에서 작업 목록 페이지로 이동할 수 있습니다. 해당 페이지에는 모든 작업이 일목요연하게 나열되어 있으며, 각 작업의 일정, 상태 또는 현재 전환율 등을 확인할 수 있습니다.

‍

1. 운영 작업 생성

‍

작업 생성 절차: 운영 작업 > + 생성 > 푸시 방식 선택 > 생성

작업을 생성하는 데 필요한 요소는 다음과 같습니다.

‍

타겟 유저

타겟 유저 지정은 유저 속성, 태그 또는 유저 행동 이벤트를 기반으로 코호트 선택이 가능합니다. 또한, 기존 유저 코호트 선택도 가능하며, 추정 인원도 바로 확인 가능합니다.

• 커스텀(코호트)
  • 조건 : 유저 속성 또는 태그 'AND' 'OR' 조건으로 추가 가능
  • 행동: 유저 행동 'AND' 'OR' 조건으로 추가 가능
  • 제외: 기존 유저 코호트를 'OR' 조건으로 추가 가능 (※주의: 필터는 지원되지 않습니다.)
• 기존(코호트)
  • 기존 유저 코호트의 경우, 다중 시간대가 활성화된 프로젝트에서는 코호트가 속한 시간대와 작업에서 설정된 시간대가 반드시 일치해야 합니다.(ID 코호트 및 결과 코호트에는 시간대 제한이 없음, 작업의 시간대 상세는 운영 작업의 시간대를 확인)
• 추정 유저수
  • 코호트 선택 조건을 설정 후 [추정] 버튼을 클릭하여 조건을 충족하는 타겟 유저 수를 계산합니다. 리치 채널 전송 ID를 사용하여 해당 작업의 대상이 될 수 있는 유저의 범위를 추정할 수 있습니다.

‍

푸시 타이밍

푸시 타이밍은 시간 지정-일회, 시간 지정-반복(매일/주/월) 및 수동 중에서 선택할 수 있습니다. 승인 타임아웃, 빈도 제어 등의 타입에 따른 세부 설정이 가능합니다.

글로벌 진출을 하는 제품의 경우, 유저의 타임존에 맞춰 푸시 타이밍을 설정할 수 있습니다(※주의: 프로젝트 관리에서 사전에 멀티 타임존을 활성화한 후, 유저의 타임존 속성을 설정해야 합니다).

‍

(1) 시간 지정 1회

특정 시점에서 작업을 실행하고자 할 때 사용됩니다. 예를 들어, 낮 12시에 온라인 유저에게만 '체력 회복' 알림을 보내는 등 특정 시간에 푸시가 이루어집니다.

• 승인 시간 초과 설정을 지원합니다. 즉, 승인 시간이 '푸시 시간'을 넘으면 설정에 따라 실행됩니디.
• ‍자동 종료: 푸시 시간을 초과하여 운영 작업이 승인되지 않으면, 자동적으로 종료됩니다.
• ‍승인 후 바로 푸시: 승인되면 바로 푸시됩니다. 푸시 시간을 초과한 후 48시간 이내라면 승인 가능합니다.
• 유저의 시간대에 맞춰 푸시할 때는 시간 초과의 자동 종료를 피하기 위해 24시간 이내에 전송하는 것이 권장됩니다. 초과하면 작업이 자동으로 종료될 수 있습니다.

‍

(2) 시간 지정-반복

반복적인 작업은 지정된 기간 내에 1회 이상 전송할 수 있습니다.

예를 들어, 매주 금요일, 토요일, 일요일 저녁 7시에 온라인 유저에게 통지하는 등의 설정이 가능합니다.

• 매일/주/월을 지정할 수 있습니다.
• 유저에게 과도한 접근을 줄이기 위해 푸시 빈도의 제어 설정이 가능합니다 (푸시 빈도: 유저가 해당 작업에서 일정 시간 내에 받을 수 있는 최대 푸시 수를 제한합니다.)

‍

(3) 수동

승인 후 푸시 시간을 임의로 선택한 후, 수동으로 작업을 실행할 수 있습니다.

예를 들어, 오프라인 경기의 결승전에서 최종 결과가 나오는 시간이 불확실할 때 경기가 끝나는 대로, 작업을 실행하고자 할 때, 수동으로 푸시 내용을 즉시 전송할 수 있습니다.

‍

푸시 구성

푸시 설정에서는 A/B 테스트, 피로 제어, 및 화이트리스트 설정을 선택할 수 있습니다.

A/B 테스트에 관한 자세한 정보는 [A/B 테스트]를 참조하시기 바랍니다.

• 푸시 제어 : 여러 운영 작업이 동일한 채널을 사용하는 경우, 특정 시간대 내에 단일 유저가 동일한 유형의 채널로부터 받는 최대 푸시 횟수를 제한하여 유저에게 미치는 과도한 피로(방해)를 줄일 수 있습니다.

• 화이트리스트 : 화이트리스트에 등록된 유저는 모든 운영 작업의 푸시를 받을 수 있습니다. 운영자는 자신의 계정을 화이트리스트에 추가하여 각 작업의 푸시를 모니터링할 수 있습니다. 자세한 내용은 [화이트리스트 관리]를 참조하시기 바랍니다.

‍

푸시 내용

선택한 리치 채널에 따라 유저에게 적절한 메시지를 작성합니다. 유저 속성의 삽입도 가능하며, 삽입된 부분이 동적으로 유저 이름으로 변환됩니다. 본격적인 구현 전에 테스트 전송 및 미리보기 기능으로 확인할 수 있습니다. 또한, 작업의 화이트리스트를 설정할 수 있습니다.

글로벌 진출을 하는 제품의 경우, 유저의 언어 속성에 맞춰 여러 언어로 푸시 내용을 설정할 수 있습니다.(여러 언어 기능을 사용할 때는 미리 TE 설정에 로컬라이제이션 설정에서 유저 언어 속성을 설정해야 합니다).

• 개인화 컨텐츠

보낼 푸시 알림에 텍스트 메시지를 삽입할 때, 앱 내에서 유저가 설정한 닉네임이나 유저 이름을 메시지의 시작이나 본문에 삽입할 수 있습니다. 해당하는 유저 속성을 미리 삽입함으로써, 푸시가 유저에게 도달했을 때 해당 유저의 이름이나 닉네임이 동적으로 변환됩니다.

• 테스트 전송

작업의 본격적인 구현 전에 테스트 전송이 가능합니다. 해당 작업의 푸시 내용이 올바르게 의도대로 작동하는지 여부는 여기서 확인할 수 있습니다.

‍

‍

2. 운영 작업 관리

‍

운영 작업 페이지에서는 작업을 생성하는 것뿐만 아니라, 기존 작업을 관리하거나 작업의 푸시 기록 및 작업의 상세 정보를 표시하는 것도 가능합니다.

‍

소속 그룹 변경 : 그룹 드롭다운을 클릭하여 해당 그룹을 변경할 수 있습니다.

※주의: 그룹 추가, 삭제, 이름 변경 등의 작업은 운영 관리자 이상의 구성원만 수행할 수 있습니다.

푸시 기록 확인 : 기록을 클릭하면 작업의 푸시 기록이 표시되며, 각 푸시의 상태를 확인할 수 있습니다.

승인 / 거부 : 승인 대기 중인 작업을 클릭한 후, 승인하거나 거부할 수 있습니다. (승인에 대한 상세 정보는 승인자문서를 참조바랍니다.)

전송 (수동 푸시 작업만 해당) : 필요에 따라 언제든지 승인된 수동 푸시 작업을 수동으로 전송할 수 있습니다.

일시 정지 (실행 중인 작업만 해당) : 실행 중인 작업을 일시 정지할 수 있습니다. 일시 정지 후에는 추가 푸시가 재개될 때까지 실행되지 않습니다.

복사 : 기존의 작업을 복사하여 동일한 구성 정보로 새로운 작업을 생성할 수 있습니다.

종료 : 실행 중이거나 일시 정지 중인 작업을 종료할 수 있습니다. 이후 추가 푸시는 실행되지 않으며, 상태는 종료로 표시됩니다.

삭제 (실행 중인 작업은 삭제 불가) : 초안, 일시 정지, 또는 종료된 작업만 삭제할 수 있습니다.

‍

‍

3. 작업 효과 분석

‍

작업 효과 분석 페이지에서는 작업 데이터, 작업 구성, 그리고 작업 코호트를 확인할 수 있습니다. 여기서, 작업 데이터에는 운영 작업의 푸시가 시작된 후 각 단계의 노드 데이터, 작업 구성에는 운영 작업의 구성 정보, 작업 코호트에는 운영 작업에서 생성된 코호트가 표시됩니다.

‍

작업 데이터

운영 작업의 푸시 알림을 받은 유저 수나 목표를 완료한 유저 수를 확인할 수 있습니다. 또한, 각 단계 노드 간의 링크 데이터를 표시하여 운영 전략의 성능을 더 정확하게 평가할 수 있습니다.

데이터의 상세 정보에는 다양한 데이터 표시 방법이 지원됩니다.

• 프리퀀시와 유저
• 잔존과 이탈
• 일일과 배치
• 데이터 시트와 선형 그래프

위 그림 화면 중앙 오른쪽의 다운로드 아이콘을 클릭하여 데이터 상세 csv 파일을 로컬에 다운로드할 수도 있습니다.

‍

분석 지표 로직

‍

작업 구성

작업의 구체적인 구성 정보, 즉 운영 작업의 타겟 유저, 푸시 타이밍, 리치 구성, 목표 설정 등을 알 수 있습니다.

‍

작업 코호트

작업 데이터의 상세 리스트에서 운영 작업 결과 코호트를 직접 생성하고, 동시에 작업 코호트에서 관련 관리 작업을 수행할 수 있습니다.

• 코호트 생성 : 데이터의 상세 리스트에서 인원을 선택하면, 결과를 작업 코호트로 저장할 수 있습니다. 동시에, 인원을 클릭하여 유저의 상세 정보를 표시합니다.

• 코호트 관리

작업 코호트 리스트에서 코호트를 표시하고 관리하거나, 분석 모델을 직접 사용하여 상세한 분석과 탐색을 수행할 수 있습니다. 또한, 여기에서도 인원수를 클릭하여 유저 목록 표시할 수 있습니다.

‍

‍

4. A/B 테스트

‍

A/B 테스트란?

A/B 테스트는 두 가지 또는 여러 가지 다른 전략, 디자인, 또는 변경 사항을 비교하는 실험 방법입니다. 이를 통해 어떤 전략이 유저나 비즈니스에 더 큰 영향을 미치는지 판단하는 데 사용됩니다. A/B 테스트는 더 나은 유저 피드백, 높은 전환율, 우수한 데이터 성능을 얻을 수 있는 실험군 그룹을 식별하는 데 도움이 됩니다.

A/B 테스트에서는 테스트 대상이 무작위로 두 개(또는 여러 개)의 그룹으로 나뉩니다. 하나는 대조군 그룹이고, 다른 하나는 실험군 그룹입니다. 대조군 그룹은 현재의 전략이나 디자인을 사용하고, 실험군 그룹은 변경된 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 시간대에 다른 컨텐츠의 푸시를 받습니다.

두 그룹 간에 유저의 피드백, 행동, 또는 비즈니스 지표를 비교함으로써 어떤 컨텐츠가 우수한지 판단할 수 있습니다. 이 테스트 방법은 다양한 변수를 검증하기 위해 사용될 수 있습니다(예: 다른 푸시 컨텐츠, 게임 패키지 가격, 유저 접근 방법, 기능 변경 등).

A/B 테스트의 목표는 실제 데이터와 유저 피드백에 기반한 의사결정을 통해 지속적인 테스트와 최적화를 통해 유저 경험을 개선하고, 전환율을 높이며, 비즈니스 수익을 증가시키는 것입니다.

‍

기능 개요

TE의 운영 모듈은 A/B 테스트 기능을 지원하며, 같은 운영 작업 내에서 여러 컨텐츠 배포 전략을 설정하고 효과 비교 테스트를 할 수 있습니다. 이를 통해 운영 담당자는 최적의 전략을 과학적으로 결정하고, 목표 전환 효과를 향상시킬 수 있습니다.

‍

사용 설명

(1) A/B 테스트 활성화

운영 작업에서 '+작업 생성'을 클릭하고, 운영 작업 생성 화면으로 들어갑니다. '푸시 구성'에서 'A/B 테스트 활성화' 버튼을 클릭하면, 해당 운영 작업은 트래픽 배분 설정이 활성화됩니다.

‍

(2) 테스트 구성

• 샘플링 비율

A/B 테스트를 시작한 후, 테스트의 샘플링 비율을 수동으로 설정할 수 있습니다. 이는 대조군 유저 중 일정 비율의 유저를 무작위로 선택하여 A/B 테스트를 실시하고, 다른 유저에게는 영향을 미치지 않는 방식입니다.

샘플링 비율은 [0, 100]의 정수 값을 선택할 수 있습니다. 슬라이더를 드래그하거나 숫자를 입력하여 설정할 수 있습니다.

• 핵심성과 지표 설정

이 A/B 테스트의 핵심성과 기준을 설정할 수도 있습니다. 선택지는 '주요 목표와 일치'와 '클릭률'이 있습니다. '클릭률'을 선택할 경우, 먼저 채널 관리의 채널 퍼널 설정에서 '푸시 알림 클릭' 이벤트를 설정해야 합니다.

• 실험군 그룹 설정

위의 설정이 완료된 후, 푸시 컨텐츠에서 대조군 그룹과 실험군 그룹의 내용 구성을 완성해야 합니다. 대조군 그룹은 현재의 전략이나 디자인을 사용하고, 반면에 실험군 그룹은 실험하고 싶은 전략이나 디자인을 사용합니다. 두 그룹의 유저는 같은 시간대에 다른 경험을 받습니다.

• 대조군 그룹

각 A/B 테스트에는 기본적으로 하나의 대조군 그룹이 있습니다. 대조군 그룹에서는 유저에게 푸시를 선택할 수 있습니다. 유저에게 푸시를 활성화할 때, 대조군 그룹은 실험군 그룹과 동일하며, 동시기의 유저가 다른 컨텐츠에 대해 어떤 피드백을 하는지 관찰할 수 있습니다. 유저에게 푸시를 하지 않을 경우, 운영 전략이 유저에게 효과적인지 평가하기 위해 사용되며, 푸시된 실험군 그룹과 대조군 그룹 간의 목표 전환율 향상 차이를 관찰할 수 있습니다.

• 실험군 그룹

최대 4개의 실험군 그룹을 설정할 수 있습니다. 실험군 그룹 설정은 오른쪽의 기어 아이콘을 클릭하여 수행할 수 있습니다. 실험군 그룹 추가, 삭제, 또는 사용자 정의 이름 설정도 지원됩니다. 동시에, 슬라이더를 사용하여 실험군 그룹에 대한 트래픽 배분도 할 수 있습니다. 시스템은 목표 대상 인구, 샘플링 비율 및 트래픽 배분 비율에 기반하여 각 실험군 그룹에 도달할 인원 수를 예측합니다.

‍

테스트 상태

설명: [운영 작업의 상태]는 [A/B 테스트의 상태]의 상위 레벨 상태입니다. 운영 작업의 상태는 테스트의 상태에 영향을 미칩니다. 예를 들어, 운영 작업이 일시 중지되면 테스트도 일시 중지됩니다. 또한, 운영 작업이 종료되면 테스트도 종료됩니다.

• 운영 작업의 상태는 '초안', '승인 대기', '실행 중', '일시 정지 중', '종료', '거부됨'입니다.
• 테스트 상태: A/B 테스트의 현재 상태를 설명합니다. 모든 상태는 다음과 같습니다.
  • 테스트 미시작: 운영 작업이 종료되지 않은 상태에서 아직 푸시되지 않은 테스트
  • 테스트 취소: 운영 작업이 '종료' 상태가 되기 전에 이미 종료된 테스트
  • 테스트 중: 운영 작업이 '실행 중'이며 목표 전환 창 기간 내의 실험
  • 테스트 일시 중지: 운영 작업이 '일시 중지 중'인 경우, 테스트도 '일시 중지' 상태가 됩니다
  • 데이터 수집 중: 운영 작업이 '종료' 상태이지만 아직 목표 전환 창 기간이 아니며 데이터가 동적으로 집계되고 있는 테스트
  • 리포트 완료: 운영 작업이 '종료' 상태이며 목표 전환 창 기간을 충족한 테스트로, 테스트 리포트가 완료되어 정식으로 종료된 테스트

‍

테스트 리포트

A/B 테스트 리포트에서는 유저가 시각화된 방식으로 대조군 그룹과 각 실험군 그룹의 결과 데이터를 비교할 수 있습니다. 정확한 통계 데이터 값으로 우수한 테스트 그룹을 판단할 뿐만 아니라, 테스트 전체의 데이터 변화 추세를 동적으로 관찰할 수도 있습니다.

‍

(1) 리포트

A/B 테스트를 시작한 운영 작업은, 운영 작업의 상세 페이지의 【테스트 리포트】탭에서 A/B 테스트의 결과 데이터를 확인할 수 있습니다.

‍

(2) 리포트 소개

테스트 리포트의 기본 정보에는 테스트 기간, 상태, 우승 지표, 푸시 성공 인원 수, 그룹 수가 포함됩니다.

• 테스트 기간: 테스트 시작부터 리포트 완성까지의 시간입니다.
  • 기본 시작 시간: 테스트 시작 시각입니다.
  • 기본 종료 시간: 오늘로 설정되며, 최대는 리포트 완성 시각입니다.
  • 타임 필터는 테스트 리포트 전체에 대해 제어를 수행하며, 실험군 그룹의 데이터, 우승 판정 및 선형 그래프의 변화율에 연동적인 영향을 미칩니다.
  • 테스트 기간은 최대 90일을 초과할 수 없습니다.
• 상태: A/B 테스트의 현재 상태로, 구체적인 상황은 '테스트 상태'를 참조하십시오.
• 우승 지표: 이 테스트에서 우승한 그룹을 판단하기 위한 중요한 지표입니다.
• 푸시 성공 인원 수: A/B 테스트 전체에서 커버된 푸시 알림이 성공한 인원 수입니다.
• 그룹 수: 대조군 그룹과 실험군 그룹을 합쳐, 이 A/B 테스트에 참여한 그룹의 총 수입니다.

• 푸시 성공 인원 수: 각 그룹별로 성공한 푸시 알림의 인원 수
• 달성 인원 수: 각 실험군 그룹에서 '우승 지표'를 달성한 사람 수
• 지표 달성률: 달성 인원 수 / 푸시 성공 인원 수
• 지표 상승률: 이 상승률은 실험군 그룹과 대조군 그룹의 지표를 비교하여 상승 또는 하락하는 변화율입니다
• 테스트에서 우승을 판정하는 규칙

[상승률]의 높낮이에 따라 실험군 그룹의 우승을 판정합니다. 상승률은 실험군 그룹의 지표와 대조군 그룹의 지표를 비교하여 상승 또는 하락하는 변화율을 말합니다. 가장 높은 상승률을 가진 실험군 그룹이 우승합니다. 대조군 그룹과 비교하여 지표 달성률이 뚜렷하게 개선되지 않는 경우, 그 테스트에는 우승 그룹이 없습니다.

• 상승률의 신뢰 구간：지표 상승률의 진짜 값이 포함될 가능성이 있는 범위를 나타내며, 양측 검정에서 유의 수준 5%를 적용합니다.

구체적인 계산 로직：

• 실험군 그룹 지표: M(실험군), 실험군 그룹 샘플 수: U(실험군)
• 대조군 그룹 지표: M(대조군), 대조군 그룹 샘플 수: U(대조군)
• 각 테스트 그룹과 컨트롤 그룹의 샘플의 표준편차를 구합니다. 비율 지표이므로 다음과 같이 계산합니다.
• • 상승값과 lift를 계산합니다.
    • • 위의 계산 결과를 바탕으로, 다음과 같은 것이 얻어집니다.
        • • 여기서 1.96은 변수로서, 다른 신뢰도로 변환될 수 있습니다. 기본값은 95% 신뢰도입니다.
            • 결론
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한이 음수이고 상한이 양수인 경우: 변화가 불분명함.
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한과 상한이 양수인 경우: 상승이 명확함.
              • 실험군 그룹의 퍼센트 개선의 신뢰 구간 하한이 음수이고 상한도 음수인 경우: 하락이 명확함.
            • 조작 방법
            1. 실험군 그룹의 구체적인 푸시 컨텐츠를 확인할 수 있습니다.
            2. 테스트 리포트가 우승 그룹을 도출한 경우, 실험군 그룹 뒤에 있는 복제 버튼을 사용하여 모든 유저에게 푸시할 새로운 운영 작업을 직접 생성할 수 있습니다.

(3) 테스트 데이터 변화 추이

데이터 상세에서는 배치 관점에서 각 실험군 그룹의 푸시 세부 사항과 목표 달성 상황이 표시됩니다.

지표 달성률의 변화 추이를 '일별'로 표시하는 지원도 제공됩니다.

‍