강의 프로그램에 대한 피드백을 제공할 때 어떤 요소를 고려하나요?

데이터 기반 실험을 설계할 때 제가 가장 먼저 하는 것은 '이 실험이 성공했다는 것을 어떻게 알 것인가'를 먼저 정하는 것입니다. 그 기준을 정하지 않으면 나중에 결과를 보고 해석이 달라질 수 있습니다.

팀 프로젝트에서 랜딩 페이지 카피 변경의 효과를 측정하는 실험을 설계했는데, 지표를 클릭률로 하고 기준 대비 10% 이상 향상을 성공으로 정의했습니다. 2주 테스트 후 8.3% 향상이 나왔는데, 기준을 사전에 정해두었기 때문에 '성공이냐 아니냐'를 명확하게 판단할 수 있었습니다. 실패는 샘플 크기를 충분히 계산하지 않고 시작했다가 통계적으로 유의미한지 확인이 안 된 것이었는데, 이후 실험 전에 샘플 크기 계산을 먼저 하는 단계를 추가했습니다.

실험은 결과가 나온 뒤 해석하는 것이 아니라, 어떤 결과를 성공으로 볼지 미리 정해두는 것에서 신뢰가 생깁니다.