ML 양산 적용 문제점 + 대응
ML 모델을 양산에 올릴 때 Concept Drift가 가장 흔한 문제입니다. 학습 때와 운영 환경의 데이터 분포가 달라지면 모델 성능이 조용히 떨어지기 시작합니다. 대응 방법으로는 입력 데이터의 통계 분포를 주기적으로 비교하고, 모니터링 지표에 이상 신호가 생기면 재학습 파이프라인을 트리거하는 구조를 씁니다. 수업 프로젝트에서 간단한 Drift 감지 모듈을 직접 구현했는데, 기준 분포와 현재 분포의 KL divergence를 주기적으로 계산해서 경고를 내보내는 방식으로 만들었습니다. 배포가 끝이 아니라 운영 모니터링이 시작이라는 걸 그때 실감했습니다.
배포가 끝이 아니라 운영 모니터링이 시작입니다. Drift 감지와 재학습 파이프라인을 처음부터 설계에 포함하는 것이 ML 시스템의 신뢰성을 만든다고 생각합니다.