면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
저는 A/B 테스트를 설계할 때 실행 전에 반드시 하나의 핵심 지표를 정해두고, 부가 지표는 참고만 하는 원칙을 지킵니다. 프로젝트 실습에서 버튼 색상 테스트를 진행할 때 클릭률을 핵심 지표로 정했는데, 실행 중 체류시간이 좋아 보여도 애초 정한 클릭률 기준으로만 성공을 판단했습니다. 이렇게 하지 않으면 나중에 유리한 지표만 골라 성공이라 부르는 함정에 빠질 수 있다고 생각합니다.
저는 테스트 설계 단계에서 필요한 최소 표본 크기를 먼저 계산합니다. 학교 프로젝트에서 이 계산 없이 일주일만 테스트를 돌렸다가 결과가 유의미한지 판단하기 어려웠던 경험이 있습니다. 이후로는 목표 신뢰수준에 맞는 표본 크기를 먼저 정하고, 그 기준을 채운 뒤에만 결과를 판단하는 습관을 들였습니다.
저는 테스트를 시작하기 전 「이 변경이 왜 지표를 개선시킬 것이라 예상하는지」를 문서로 먼저 정리합니다. 이렇게 하면 결과가 나온 뒤 사후에 이유를 짜맞추는 일을 막을 수 있습니다. 실습 프로젝트에서 이 문서를 팀과 공유한 뒤 테스트를 진행했더니, 예상과 다른 결과가 나왔을 때도 왜 가설이 틀렸는지 더 명확히 분석할 수 있었습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.