ML 모델의 학습부터 서비스 배포까지의 과정에서 겪었던 어려움이나 해결했던 문제를 공유해 주실 수 있나요?

졸업 프로젝트에서 감성 분류 모델을 배포한 뒤, 배포 초기에는 정확도가 괜찮았는데 두 달 후 같은 방식으로 평가했을 때 성능이 눈에 띄게 떨어져 있었습니다. 처음에는 코드 수정 중 버그가 생긴 줄 알았는데, 원인을 추적해 보니 입력 데이터의 분포 자체가 달라진 것이었습니다.

리뷰 텍스트의 길이 분포와 특정 단어 사용 빈도가 초기 학습 데이터와 달라졌고, 모델이 학습 당시의 패턴을 기준으로 판단하니 새로운 입력에 맞지 않는 결과가 나왔습니다. 이후 입력 데이터의 주요 통계값을 정기적으로 기록하고, 분포 변화가 임계값을 넘으면 알림을 받는 간단한 모니터링을 추가했습니다.

모델을 만들고 배포하는 것이 끝이 아니라 서비스가 동작하는 동안 데이터가 어떻게 바뀌는지를 지속적으로 보는 것이 배포 이후 단계에서 더 중요하다는 것을 이 경험에서 배웠습니다. 모델이 틀리기 시작하는 이유를 빠르게 찾을 수 있는 구조를 처음부터 갖춰두는 것이 나중에 대응 비용을 크게 줄입니다.