통계적 실험 설계에 대해 배우거나 적용한 경험이 있나요?

통계적 실험 설계에서 가장 어려운 건 현실 조건이 실험 전제를 충족하지 못하는 경우입니다.

두 그룹이 완전히 독립적이어야 한다는 A/B 테스트의 기본 전제가, 실제로는 유저 간 네트워크 효과 때문에 무너지는 상황이 있었습니다. 처리군 유저가 통제군 유저에게 영향을 줬고, 실험 결과가 순수한 처리 효과가 아니었습니다. 이미 실험이 끝난 뒤에 이 문제를 발견했습니다.

그 이후 저는 네트워크 효과가 있는 서비스에서는 유저 단위가 아닌 클러스터 단위로 실험군을 나누는 클러스터 랜덤화를 검토하게 됐습니다. 통계 기법을 아는 것과 현실에 맞게 적용할 수 있는 것은 다른 역량이라는 걸 그 경험이 가르쳐줬습니다.