테스트 결과를 바탕으로 비즈니스 스토리를 전달했던 경험이 있다면 구체적으로 설명해 주세요.

인턴 때 A/B 테스트 결과를 마케팅 팀에 전달하는 역할을 맡은 경험이 있습니다. 테스트 자체는 통계적으로 유의미한 결과가 나왔지만, 팀원들이 수치를 보고도 왜 이게 중요한지 곧바로 연결하지 못하는 경우가 있었습니다.

그 경험 이후로는 테스트 결과를 전달할 때 숫자 앞에 맥락을 먼저 제시하는 방식을 사용하게 됐습니다. 예를 들어 CTR이 1.2%p 상승했다는 수치 대신, '지금 월 1만 명의 사용자가 이 버튼을 보고 지나치는데, 이 변경으로 그 중 120명이 더 클릭하게 됩니다'처럼 비즈니스 규모로 번역해서 전달했습니다. 팀원들이 같은 수치에서 훨씬 더 빠르게 의사결정을 내리는 것을 확인했습니다.

또한 한 가지 결과만 보여주는 것보다 '했을 때 vs 안 했을 때'의 비교를 함께 제시하는 방식이 설득력을 높인다는 것도 경험했습니다. 실험군과 대조군의 차이를 연간 예상 효과로 환산해 보여주니, 후속 실험 예산 승인이 이전보다 빠르게 났습니다. 데이터를 읽는 사람보다 데이터를 사용해야 하는 사람의 관점에서 출발하는 것이 핵심이라고 생각합니다.