MLOps 파이프라인의 병목 지점을 파악하고 단계별로 자동화 범위를 확장한 경험
클라우드 환경에서 MLOps 파이프라인을 최적화했던 경험은 수업 캡스톤에서 간단한 모델 배포 파이프라인을 구성했을 때였습니다. 초기에는 데이터 전처리·학습·배포 단계를 각각 수동으로 실행했는데, 단계 간 이어지는 과정에서 오류가 자주 생겼습니다. 어느 단계에서 어떤 이유로 실패하는지 로그로 추적하는 것이 우선이었습니다. 로그를 보니 데이터 포맷 변환 단계에서 입력 스키마가 바뀔 때 자동으로 잡히지 않는 문제가 반복됐습니다. 그 부분에 스키마 검증 단계를 넣고 파이프라인을 자동 실행하는 방식으로 바꾸니 수동 개입 빈도가 줄었습니다. PM으로서 배운 건 파이프라인 최적화도 사용자 경험처럼 병목 구간을 먼저 찾아서 거기에 집중하는 것이 효율적이라는 점입니다. 전체를 한 번에 바꾸려 하면 복잡도가 너무 높아집니다.