AI 기반 브로커리지 서비스에서 사용자 경험을 개선하기 위해 어떤 실험을 수행해 보았나요?

AI 추천 시스템 UX 실험을 설계하면서 가설 자체보다 실험을 어떻게 구성하는지가 결과의 신뢰도를 결정한다는 것을 배웠습니다. 추천 이유를 보여주는 것이 클릭률에 영향을 주는지를 확인하는 A/B 테스트에서, 두 그룹이 서로 다른 특성을 가진 사용자로 구성되지 않도록 고르게 나누는 것이 결과 해석의 전제였습니다.

지표도 클릭률만 보면 충분하지 않고, 실제로 추천을 얼마나 신뢰하는지를 볼 수 있는 지표가 필요하다는 걸 실험 이후에 알게 됐습니다. 설명 열람률이나 경고 클릭률처럼 단순 전환 외의 행동 지표가 AI 서비스 UX에서 더 의미 있는 경우가 있다는 원칙도 그때 이해했습니다. 충분한 샘플 없이 결과를 해석하면 우연한 차이를 실제 효과로 잘못 판단하는 경우가 생기는 걸 경험으로 알게 됐습니다. 실험은 결과보다 설계에서 신뢰도가 결정됩니다.