MLflow로 모델 버전 관리 시스템을 설계하고 팀 실험 재현성을 높인 경험을 정리한 결
연구 프로젝트에서 MLflow 기반 모델 버전 관리 시스템을 처음 설계했습니다. 팀이 실험 결과를 각자 로컬에 저장해서 '어떤 파라미터로 이 성능이 나왔나'를 추적하기 어려웠고, Tracking Server를 중앙에 두어 모든 실험을 자동 기록하는 구조로 바꿨습니다. 각 런에 파라미터·메트릭·아티팩트를 세트로 묶어 기록하고, 재현 가능한 실험은 Model Registry에 등록하는 방식을 팀 표준으로 정했습니다. 이후 3개월 전 실험을 단 2줄 코드로 재현할 수 있게 됐고, 팀 회의에서 실험 비교 시간이 절반으로 줄었습니다. 버전 관리는 코드보다 실험 조건 전체를 하나의 단위로 보는 관점이 핵심임을 이 경험에서 배웠습니다.