경험 중심 1인칭 답변
캡스톤 프로젝트에서 A/B 테스트 결과 데이터를 기반으로 기능 출시 여부를 결정한 경험이 있습니다. 두 가지 UI 안 중 하나를 선택해야 했는데, 팀 내 의견이 갈렸습니다. 저는 사용자 500명 대상 2주간 테스트를 설계하고, 전환율·세션 지속 시간·이탈률을 지표로 설정했습니다. 결과를 보니 팀 다수가 선호한 A안이 전환율은 높았지만 이탈률도 높았고, B안은 전환율은 낮지만 세션 지속 시간이 길었습니다. 최종적으로 목표가 단기 전환보다 사용자 유지율임을 재확인하고 B안으로 결정했습니다. 이 경험에서 지표를 여러 개 설정하지 않으면 한 수치에 끌려가는 결정을 하게 된다는 것을 배웠고, 이후에도 의사결정 전에 목표 지표 우선순위를 먼저 합의하는 방식을 유지하고 있습니다. 앞으로도 분석 전에 목표 지표 우선순위를 합의하고 복수 지표를 함께 보는 방식으로 데이터 기반 의사결정에 임하겠습니다.
지표가 하나일 때 그 수치에 끌려가는 결정이 생기고, 복수 지표를 조합할 때 방향이 더 명확해집니다. 의사결정 직전에 어떤 지표가 이 결정에서 가장 중요한지를 먼저 정의하는 것이 분석의 실질적인 출발점입니다.