A/B 테스트로 직관과 데이터 간 간극 체감
이커머스에서 데이터 기반 의사결정이 중요한 이유는 사용자 행동의 변수가 너무 많아서 직관만으로는 틀릴 가능성이 높기 때문입니다. 팀 프로젝트에서 제품 정렬 방식을 '잘 팔리는 순'에서 '개인화 순'으로 바꾸는 실험을 했는데, A/B 테스트 결과 전환율이 오히려 떨어진 케이스가 있었습니다. 직관과의 균형 면에서는 데이터가 항상 옳은 건 아닙니다.
실험 기간이 너무 짧거나 샘플 편향이 있으면 잘못된 결론이 나올 수 있습니다. 제가 직접 손에 쥔 경험은 공개 이커머스 데이터셋으로 구매 전환 예측 모델을 만든 것인데, 장바구니 이탈 패턴이 카테고리마다 다르다는 걸 발견했습니다. 한계는 실제 서비스 데이터를 다뤄본 적 없어서 실환경의 노이즈나 데이터 품질 문제는 경험하지 못했습니다.