A/B 테스트를 통해 콘텐츠를 최적화한 경험에 대해 말씀해주시겠어요?

A/B 테스트 결과를 분석할 때, 단순히 어느 버전이 이겼는지보다 그 차이가 얼마나 의미 있는지를 함께 보는 것이 중요하다는 것을 배웠습니다. 수업 프로젝트에서 이메일 제목 두 버전을 비교했는데, p-값 기준으로 통계적 유의성이 나왔지만 실제 클릭율 차이는 0.3%에 불과했습니다.

효과 크기가 작으면 실무 적용의 가치가 낮을 수 있다는 것을 교수 피드백에서 배웠고, 이후부터는 통계 유의성과 함께 효과 크기(effect size)를 함께 보는 방식을 적용했습니다. 또한 테스트 기간 중 외부 이벤트가 클릭율에 영향을 줄 수 있다는 교란 변수 문제도 함께 고민했습니다. 숫자가 유의하다고 해서 항상 실행 가치가 있는 것은 아니라는 것을 그때 배웠습니다.

A/B 결과는 유의성과 효과 크기를 함께 볼 때 올바르게 해석된다는 인식이 생겼습니다. 입사 후에도 A/B 결과 분석 시 통계 유의성과 효과 크기를 함께 검토하는 방향을 이어가겠습니다.