모델 성능 지표와 광고 비즈니스 지표 연결
모델 성능 개선이 광고 성과로 연결되는 과정을 저는 세 단계로 이해합니다. 먼저 CTR 예측 정밀도 개선 → 랭킹 품질 향상 → 실제 광고 클릭 증가 순으로 이어집니다. 하지만 이 연결이 항상 자동으로 성립하지는 않습니다. 오프라인 AUC가 올라도 온라인 CTR이 그대로인 경우를 자주 경험했고, 이는 모델 개선 방향과 실제 광고 노출 환경의 분포 차이 때문입니다. 해결책으로 온라인 A/B 테스트를 모든 모델 개선의 최종 검증으로 설정하고, 성과 측정 지표로 CTR, CVR, ROAS를 함께 추적합니다. 광고 성과 측정에서 중요한 것은 단기 CTR 개선이 장기 광고주 만족도로 이어지는지를 함께 보는 것입니다. 모델 개선의 가치는 비즈니스 지표로 환산될 때 비로소 완성됩니다.