통계적 개념을 활용하여 문제를 해결한 사례를 설명해 주세요.

A/B 테스트 결과에서 p-value가 0.03이 나왔을 때 "통계적으로 유의하니까 성공"으로 결론 내려 팀에 보고한 적이 있어요. 나중에 멘토에게 피드백을 받으며 효과 크기가 비즈니스적으로 의미 없는 수준이었고, 샘플 수가 많으면 작은 차이도 유의하게 나온다는 걸 알게 됐습니다.

p-value는 "효과가 존재하는가"를 말하지, "효과가 얼마나 큰가"를 말하지 않는다는 걸 그때 배웠어요. 통계적 유의성과 실질적 의미는 다른 판단이라는 기준을 그 피드백에서 얻었습니다.

이후엔 A/B 테스트 결과 보고 시 p-value와 함께 효과 크기와 실용적 의미를 함께 작성하는 습관을 들였어요. 숫자 하나로 결론 내리기 전에 그 숫자가 측정하는 것이 무엇인지를 먼저 확인하는 것이 데이터 분석의 기본이라는 걸 그 경험에서 배웠습니다.