머신러닝 모델을 광고 시스템에 적용해본 경험이 있다면, 어떤 프로젝트였고 어떤 결과를 얻었는지 설명해 주세요.

광고 클릭률 예측 모델에서 클래스 불균형 문제를 처음 마주쳤을 때 원인을 제대로 이해하는 데 시간이 걸린 경험이 있습니다. 정확도가 95%가 나왔는데 실제로 클릭 예측을 거의 못 하고 있다는 것을 알게 됐을 때, 처음에는 모델 자체가 잘못됐다고 생각했습니다.

클릭한 사람이 전체 데이터의 3% 미만이라 모델이 그냥 '클릭 안 함'만 예측해도 정확도가 높게 나온 것이라는 구조를 이해하고 나서, 평가 지표부터 바꿔야 한다는 것을 알았습니다. AUC-ROC로 지표를 교체하고 SMOTE로 클릭 샘플을 보강한 뒤에야 클릭 예측이 실제로 작동하기 시작했습니다.

정확도가 높다고 모델이 잘 작동하는 게 아니라는 것을 그 경험에서 처음 이해했습니다. 문제를 정의하는 것과 평가 지표를 정하는 것이 모델 성능보다 먼저인 이유를 그때 배웠습니다.