면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
인턴 근무 중 신규 회원 대상 할인 배너 두 가지 버전을 A/B 테스트했습니다. A안은 할인율을 강조, B안은 한정 수량을 강조하는 문구였습니다.
클릭률은 B안이 A안보다 4%p 높았지만, 실제 결제 전환까지 이어진 비율은 두 안이 비슷했습니다. 광고비 대비 매출(ROAS)로 비교하니 오히려 A안이 근소하게 높았는데, 클릭은 많아도 구매 의사가 약한 사용자가 B안에 더 많이 유입된 것으로 분석했습니다.
클릭률만 보고 B안을 선택했다면 실제로는 손해였을 결과였습니다.
동일한 프로모션 소재를 인스타그램과 카카오톡 채널에 동시에 A/B 테스트한 적이 있습니다. 인스타그램에서는 이미지 중심 소재가, 카카오톡에서는 텍스트 중심 소재가 전환율이 더 높게 나왔습니다.
처음에는 하나의 우승 소재를 정해 전 채널에 적용하려 했는데, 채널별 결과 차이를 확인하고 나서는 채널마다 다른 소재를 유지하는 쪽으로 방향을 바꿨습니다.
실험 결과를 하나로 뭉뚱그리지 않고 채널별로 나눠 본 것이 이 프로젝트에서 가장 중요한 판단이었습니다.
광고 예산이 넉넉하지 않은 상황에서 두 가지 타겟팅 옵션을 비교해야 했습니다. 예산 총 30만 원을 두 그룹에 절반씩 배분하고, 유의미한 차이를 보려면 최소 얼마의 클릭 수가 필요한지 먼저 계산했습니다.
계산 결과 예산으로는 유의성을 확보하기 빠듯하다는 것을 알고, 지표를 클릭률 대신 도달당 비용(CPM)으로 좁혀 더 적은 표본으로도 비교 가능하게 조정했습니다.
예산이 제한적일 때는 무리하게 큰 지표를 보려 하기보다 검증 가능한 범위로 지표를 좁히는 것도 방법이라는 걸 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.