A
약 120초
오프라인-온라인 성능 차이의 원인이 피처 분포 변화임을 파악, 드리프트 모니터링 습관화
예측 엔진을 현장에서 테스트할 때 겪은 가장 큰 문제는 오프라인 평가와 온라인 성능 차이였습니다. 수업 프로젝트에서 검증 데이터로는 좋은 성능이 나왔는데, 실제 환경에 가까운 데이터로 테스트했더니 예측 정확도가 크게 떨어지는 경우가 있었습니다. 원인을 추적했더니 피처 분포가 학습 데이터와 달랐습니다. 학습 때는 특정 시간대 데이터가 많았는데, 실제에서는 분포가 달랐습니다.
피처 드리프트 모니터링의 중요성을 배웠고, 입력 데이터의 통계적 특성을 배포 후에도 주기적으로 체크하는 구조가 필요하다는 걸 알았습니다. A/B 테스트 측면에서는 새 모델과 기존 모델을 동시에 운영하면서 비교하는 방식이 안전하다고 봅니다. 한계는 프로덕션 수준의 온라인 A/B 테스트를 직접 설계·운영한 경험은 없습니다.
이 결의 특징
오프라인 검증에서 좋은 성능이 나왔는데 실제 환경 데이터에서 정확도가 크게 떨어진 원인을 피처 분포 차이(학습 데이터의 특정 시간대 쏠림)로 추적한 흔적이 있습니다. 피처 드리프트 모니터링 필요성과 새 모델과 기존 모델을 동시에 운영하는 안전한 비교 방식을 경험에서 도출하면서, 프로덕션 수준 A/B 테스트 경험 부재를 솔직히 인정한 결이 자주 보입니다.
이 결이 통하는 자리
오프라인-온라인 성능 차이의 원인이 피처 분포라는 진단이 드리프트 모니터링이라는 구조 대응으로 연결됐을 때 통합니다. 프로덕션 경험 부재 인정이 배포 후 주기적 모니터링 필요성 인식과 함께 닫힌 자리에서 면접관의 신뢰가 생기는 결이 자주 보입니다.