예시 답변 1
약 90초
비즈니스 지표와 모델 지표 이중 트래킹
추천 시스템을 프로덕션에 올린 후 저는 모델 지표(nDCG)와 비즈니스 지표(전환율·평균 주문액)를 별도 대시보드에서 동시에 추적했습니다. 초기 3개월은 모델 지표는 좋은데 전환율이 정체되는 현상이 관찰됐습니다. 원인 분석 결과 추천 상품이 높은 관련성은 있지만 사용자가 이미 구매한 상품과 유사해 추가 구매를 유도하지 못하는 문제였습니다. 다양성 페널티를 랭킹 수식에 추가하니 nDCG는 소폭 하락했지만 전환율이 +2.8% 올랐습니다. 이 경험으로 모델 지표와 비즈니스 지표가 정렬되어 있는지 주기적으로 점검하는 것이 고도화의 핵심이라는 기준이 생겼습니다.
지표 정렬 리뷰를 월 1회 정례화하면 불필요한 모델 실험을 줄이는 데도 큰 도움이 됩니다.
이 결의 특징
모델 지표(nDCG)와 비즈니스 지표(전환율·주문액)를 별도 대시보드에서 동시에 추적한 점이 또렷하고, 모델 지표는 좋은데 전환율이 정체된 현상의 원인을 이미 산 상품과 유사해 추가 구매를 못 부른 데서 찾은 진단이 구체적입니다. 다양성 페널티로 nDCG 소폭 하락을 감수하고 전환율 +2.8%를 얻은 대목이, 지표 정렬을 점검한 결로 읽히게 합니다.
이 결이 통하는 자리
'모델 지표와 비즈니스 지표가 정렬됐는지 주기 점검'을 월 1회 정례화한 흐름이 살아 있을 때 통합합니다. 모델 지표만 보다 놓칠 뻔한 정체를 비즈니스 지표로 잡은 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.