계획대로 되지 않았을 때의 경험에 대해 말씀해주세요.

인턴 4개월 동안 본인이 본 결 중 가장 또렷이 남는 자리는 '4주짜리 A/B 캠페인의 둘째 주 데이터가 가설과 정반대로 나온 결'입니다.

상황 쪽으로는, 본인이 마케팅팀과 함께 4주 캠페인을 설계하며 'B안(개인화 카피)이 A안 대비 클릭률 +5%p 이상'을 가설로 잡았는데, 둘째 주 데이터를 열어보니 B안이 -3%p로 오히려 떨어진 결이었습니다.

대처 쪽으로는, 첫 본능은 '캠페인을 빨리 닫고 싶다'였습니다. 하지만 둘째 주만 보고 결정을 닫으면 잡음을 신호로 오해할 수 있다는 결이 보여, '캠페인 4주 그대로 끝까지 돌리되, 매주 코호트로 다시 분석'하기로 사수와 합의했습니다.

배운 점 쪽으로는, 셋째·넷째 주 데이터에서 'B안의 30일 잔존율이 19%로 A안 8%보다 두 배 이상'인 결이 드러났습니다. 단기 클릭률은 떨어졌지만 장기 행동 변화는 B안이 우월한 결이라, 가설이 완전히 틀린 게 아니라 '잘못된 지표로 단기 결과를 봤다'는 결이 진짜 학습이었습니다.

결과 쪽으로는, 4주 끝에 B안을 본방으로 확정했고, 다음 분기 캠페인에서는 잔존율을 메인 지표로 두는 결로 캠페인 설계가 바뀌었습니다.

가장 큰 학습은 '계획이 흔들릴 때 가장 위험한 결은 결과보다 빠른 결정'이라는 점이었습니다. 한 주를 더 봐주는 결이 결정의 무게를 가볍게 만들었습니다.