예시 답변 1
약 106초
A/B 리텐션 차이·수신 거부율 추이·정성 언급 빈도 세 축으로 증명 중심으로 푸는 결
클릭률이나 전환율은 "알림이 반응을 일으켰는가"를 보여주지만, 장기적으로 서비스에 기여했는지는 다른 지표로 봐야 한다고 생각했습니다. 가장 의미 있는 지표는 알림을 받은 그룹과 받지 않은 그룹의 D7·D30 리텐션 차이입니다. 인턴 때 A/B 테스트 분석을 도운 경험이 있는데, 클릭률은 높지만 리텐션 차이가 없는 알림이 있었고, 클릭률은 낮지만 해당 그룹의 거래 완료율이 높은 알림도 있었습니다. 같은 클릭률 수치로는 이 둘을 구분할 수 없습니다. 두 번째는 수신 거부율 추이입니다. 알림이 가치를 줬다면 거부율이 오르지 않아야 하고, 특정 시점 이후 급등하면 그때 보낸 알림이 피로도를 유발했다고 해석할 수 있습니다. 세 번째는 사용자 인터뷰나 설문에서 알림 관련 언급 빈도를 보는 방식인데, "귀찮다", "도움됐다" 같은 반응이 숫자가 놓치는 방향을 잡아줍니다.
세 지표를 함께 보면 알림이 단기 지표는 좋지만 장기 경험을 해치고 있는지 아닌지를 구분할 수 있습니다. 실험 전에 "무엇이 좋아지면 성공인가"를 팀 내에서 먼저 합의해두는 것도 결과 해석 때 기준이 흔들리지 않게 하는 데 도움이 됐습니다.
이 결의 특징
클릭률·전환율은 순간 반응만 확인 가능하다는 한계를 먼저 인정한 뒤, D7·D30 리텐션이 의미 있는 지표라고 판단했습니다. 클릭률 높지만 리텐션 차이 없는 알림 vs 클릭률 낮지만 거래 완료율 높은 알림을 구분한 사례가 구체적입니다.
이 결이 통하는 자리
단기 반응(클릭)과 장기 영향(리텐션)의 차이를 데이터로 증명했을 때 통합니다. 숫자가 많아 보이는 쪽을 자동으로 좋다고 판단하지 않는 비판적 사고가 의사결정 자리에서 살아납니다.