모델 성능 모니터링 및 drift 탐지 환경 구축 경험에 대해 설명해 주세요.

졸업 프로젝트에서 배포된 분류 모델의 성능을 지속적으로 모니터링하는 구조를 처음 만들었습니다. 정확도 측면에서는 배포 후에도 주기적으로 라벨된 샘플을 수집해서 실제 정확도를 측정하는 방식을 설계했습니다. 드리프트 측면에서는 입력 데이터의 분포가 학습 시점과 달라지면 성능이 서서히 떨어지는 현상을 경험했는데, 입력 통계를 주기적으로 수집해서 학습 데이터와 비교하는 방식을 배웠습니다. 지연 측면에서는 추론 시간이 특정 임계치를 넘으면 알림이 오도록 모니터링을 설정했습니다. 비용 측면에서는 재학습을 트리거하는 기준을 드리프트 감지로 자동화하면 운영 비용이 줄어드는 구조를 설계했습니다. 모니터링에서 중요한 건 성능 저하를 사용자가 경험하기 전에 시스템이 먼저 감지하는 것이라는 걸 배웠습니다.

모델은 배포 후에도 계속 관리해야 하는 살아있는 시스템이라는 걸 그때 배웠습니다.