예시 답변 1
약 90초
솔직한 경험 기반 접근
개선 과제를 실행한 뒤 효과를 측정할 때 가장 먼저 보는 건 어떤 지표가 변했는가입니다. 과제를 실행하기 전에 기준 지표를 정해 두지 않으면, 개선 후에 무엇이 달라졌는지 말할 수 없습니다. 수업 프로젝트에서 앱 온보딩 플로우를 개선한 뒤, 7일 보유율과 첫 핵심 기능 사용률을 사전·사후로 비교했습니다.
A/B 테스트 없이 시계열 비교만 했기 때문에 외부 요인 영향을 완전히 배제하지는 못했습니다. 그 한계를 발표에서 밝히는 것이 측정 결과의 신뢰성을 지키는 자리라고 봅니다. 효과 측정에서 한계를 명시하지 않으면, 결과를 과대해석하거나 잘못된 방향으로 이어질 수 있습니다. 측정은 완벽하지 않아도 되지만, 얼마나 불완전한지는 밝혀야 한다고 봅니다.
이 결의 특징
앱 온보딩 플로우 개선 후 7일 보유율과 첫 핵심 기능 사용률을 사전·사후로 비교했지만 A/B 테스트 없이 시계열 비교만 해서 외부 요인을 완전히 배제하지 못한 한계를 발표에서 명시한 흔적이 있습니다. 측정은 불완전해도 되지만 얼마나 불완전한지는 밝혀야 한다는 결이 보입니다.
이 결이 통하는 자리
개선 효과를 수치로만 보여주기 쉬운 자리에서, 측정 방법의 한계를 함께 명시하는 것이 결과의 신뢰성을 지키는 자리임을 이야기할 때 통합니다.