지표 분해 후 세그먼트 비교
약 90초
전체 수치가 아닌 구간별 이탈 지점을 파고들어 가설을 세운 경험
인턴 당시 이메일 캠페인의 오픈율이 전월 대비 8%p 떨어졌는데, 처음엔 제목 문제인 줄만 알았습니다. 제가 맡아서 수신자를 가입 경과 기간으로 나눠보니, 신규 가입 30일 이내 사용자만 유독 오픈율이 낮았습니다. 그 구간 발송 요일을 보니 월요일 오전이 집중돼 있었고, 해당 요일에 경쟁 뉴스레터가 대거 발송된다는 걸 파악했습니다. 근거로는 캠페인 도구 내 시간대별 오픈 분포와 해당 주의 발송 이력을 직접 뽑아 비교했습니다. 발송 시간을 화요일 오후로 이동하고 제목에 사용자 이름 태그를 붙이자, 해당 세그먼트 오픈율이 2주 만에 11%p 회복됐습니다. 이 과정에서 배운 점은, 전체 지표 하락은 사실 특정 구간에서 온 신호일 때가 많다는 것이었고, 이후엔 리포트를 받을 때마다 세그먼트 분해를 먼저 하는 습관이 생겼습니다.
이 결의 특징
전체 지표 하락을 제목 문제로 보다가 수신자를 가입 경과 기간으로 나눠보니 신규 30일 이내 사용자만 유독 오픈율이 낮았다는 세그먼트 분해 흔적이 있습니다. 발송 요일이 경쟁 뉴스레터 집중일과 겹쳤다는 원인 발견 후 발송 시간 이동과 이름 태그 추가로 2주 만에 11%p 회복한 수치가 관찰 결로 드러나는 결이 자주 보입니다.
이 결이 통하는 자리
전체 지표 하락은 특정 구간에서 온 신호일 때가 많다는 결론이 세그먼트 분해 경험에서 나왔고, 리포트를 받을 때마다 세그먼트 분해를 먼저 하는 습관이 살아 있을 때 통합니다. 11%p 오픈율 회복이라는 수치가 분석 방법의 효과로 드러난 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.