4주 캠페인 둘째 주 가설이 뒤집힌 결을 끝까지 보고 잔존율로 학습한 답변
약 90초
상황(가설 vs 둘째 주 데이터) → 대처(끝까지·코호트) → 학습(잘못된 지표) → 결과(다음 분기 설계 변경)
인턴 4개월 동안 본인이 본 결 중 가장 또렷이 남는 자리는 '4주짜리 A/B 캠페인의 둘째 주 데이터가 가설과 정반대로 나온 결'입니다.
상황 쪽으로는, 본인이 마케팅팀과 함께 4주 캠페인을 설계하며 'B안(개인화 카피)이 A안 대비 클릭률 +5%p 이상'을 가설로 잡았는데, 둘째 주 데이터를 열어보니 B안이 -3%p로 오히려 떨어진 결이었습니다.
대처 쪽으로는, 첫 본능은 '캠페인을 빨리 닫고 싶다'였습니다. 하지만 둘째 주만 보고 결정을 닫으면 잡음을 신호로 오해할 수 있다는 결이 보여, '캠페인 4주 그대로 끝까지 돌리되, 매주 코호트로 다시 분석'하기로 사수와 합의했습니다.
배운 점 쪽으로는, 셋째·넷째 주 데이터에서 'B안의 30일 잔존율이 19%로 A안 8%보다 두 배 이상'인 결이 드러났습니다. 단기 클릭률은 떨어졌지만 장기 행동 변화는 B안이 우월한 결이라, 가설이 완전히 틀린 게 아니라 '잘못된 지표로 단기 결과를 봤다'는 결이 진짜 학습이었습니다.
결과 쪽으로는, 4주 끝에 B안을 본방으로 확정했고, 다음 분기 캠페인에서는 잔존율을 메인 지표로 두는 결로 캠페인 설계가 바뀌었습니다.
가장 큰 학습은 '계획이 흔들릴 때 가장 위험한 결은 결과보다 빠른 결정'이라는 점이었습니다. 한 주를 더 봐주는 결이 결정의 무게를 가볍게 만들었습니다.
이 결의 특징
둘째 주 데이터가 가설과 정반대로 나왔을 때 캠페인을 바로 닫지 않고 4주 끝까지 코호트로 재분석한 흔적이 있습니다. 30일 잔존율에서 뒤집힌 결과를 근거로 든 구체성이 있습니다.
이 결이 통하는 자리
B안 잔존율 19%가 A안 8%보다 두 배 이상이었다는 구체적 수치가 살아 있을 때 통합니다. 계획이 흔들릴 때 가장 위험한 건 결과보다 빠른 결정이라는 정리가 붙을 때 면접관이 판단의 무게를 읽는 결이 보입니다.