모델 성능 저하나 데이터 분포 변화가 발생했을 때, 어떻게 원인을 분석하고 개선했는지 구체적인 사례를 들어 설명해줄 수 있나요?

대학원 연구실에서 배포한 분류 모델의 정확도가 2주 뒤부터 떨어지기 시작하는 현상을 경험했습니다. 처음엔 학습 자체의 문제라고 생각했는데, 학습 데이터를 다시 살펴보니 입력 데이터의 특정 피처 분포가 초기 학습 때와 달라진 것을 발견했습니다. 계절적 요인으로 입력 패턴이 바뀐 상황이었습니다. 저는 주요 피처 10개의 평균과 분산을 주 단위로 추적하는 간단한 모니터링 스크립트를 만들었습니다. 이후 한 달 뒤 같은 변화가 다시 생겼을 때 하루 안에 이상을 감지할 수 있었습니다. 다만 모니터링 임계값을 고정으로 잡았더니 정상 변동에서도 경고가 너무 자주 떴습니다. 적정 임계값을 찾는 데 몇 주가 더 걸렸고, 그 과정에서 모니터링 자체도 조율이 필요하다는 걸 배웠습니다. 지금도 모델을 배포하면 피처 분포 추적을 먼저 챙기는 편입니다.