전환율과 클릭률을 넘어 알림의 임팩트를 어떻게 증명할 수 있을까요?

클릭률이나 전환율은 "알림이 반응을 일으켰는가"를 보여주지만, 장기적으로 서비스에 기여했는지는 다른 지표로 봐야 한다고 생각했습니다. 가장 의미 있는 지표는 알림을 받은 그룹과 받지 않은 그룹의 D7·D30 리텐션 차이입니다. 인턴 때 A/B 테스트 분석을 도운 경험이 있는데, 클릭률은 높지만 리텐션 차이가 없는 알림이 있었고, 클릭률은 낮지만 해당 그룹의 거래 완료율이 높은 알림도 있었습니다. 같은 클릭률 수치로는 이 둘을 구분할 수 없습니다. 두 번째는 수신 거부율 추이입니다. 알림이 가치를 줬다면 거부율이 오르지 않아야 하고, 특정 시점 이후 급등하면 그때 보낸 알림이 피로도를 유발했다고 해석할 수 있습니다. 세 번째는 사용자 인터뷰나 설문에서 알림 관련 언급 빈도를 보는 방식인데, "귀찮다", "도움됐다" 같은 반응이 숫자가 놓치는 방향을 잡아줍니다.

세 지표를 함께 보면 알림이 단기 지표는 좋지만 장기 경험을 해치고 있는지 아닌지를 구분할 수 있습니다. 실험 전에 "무엇이 좋아지면 성공인가"를 팀 내에서 먼저 합의해두는 것도 결과 해석 때 기준이 흔들리지 않게 하는 데 도움이 됐습니다.