A/B 테스트를 설계하고 결과를 분석한 경험에 대해 구체적으로 설명해 주세요.

A/B 테스트에서 설계 단계가 분석 결과의 신뢰도를 결정한다는 것을 경험으로 배웠습니다. 여러 변수를 동시에 바꾸면 어떤 변화가 결과를 만들었는지 알 수 없어서 단일 변수 원칙을 지키는 것이 가장 기본이지만 가장 지키기 어려운 규칙이기도 합니다. 테스트 시작 전에 필요 표본 사이즈를 계산하는 것이 나중에 유의성 부족으로 재검증하는 상황을 막는 방법이라는 걸 경험으로 알게 됐습니다.

목표 전환율 차이와 검정력(Power)을 기준으로 필요 표본 수를 계산하면 테스트 기간도 현실적으로 잡을 수 있습니다. 테스트 기간을 짧게 가져가면 주말·평일 사용 패턴 차이 같은 외부 요인이 결과를 오염시킬 수 있다는 것도 설계 단계에서 고려해야 할 요소입니다. 좋은 테스트는 실험 전에 이미 결과의 신뢰 범위가 정해져 있습니다.