Kubeflow Pipelines로 학습 파이프라인 자동화
약 120초
경험 중심 — 수동 학습 스크립트를 파이프라인으로 전환한 경험
인턴 때 팀에서 매번 수동으로 스크립트를 실행하여 모델을 학습시키고 있었습니다. 실험 재현이 안 되는 문제가 반복되어, Kubeflow Pipelines로 전처리 → 학습 → 평가 단계를 컴포넌트로 분리하는 작업을 맡았습니다.
처음에는 컴포넌트 간 아티팩트 전달 방식을 잘못 이해하여, 학습된 모델 파일이 다음 단계에 넘어가지 않는 문제가 발생했습니다. output_path를 마운트된 볼륨 경로로 설정해야 하는데 로컬 경로로 잘못 설정한 것이 원인이었습니다.
수정을 한 후 파이프라인이 정상적으로 동작하였고, 실험 10개를 병렬로 실행할 수 있게 되었습니다. 실험 재현율도 향상되었으며, 팀에서는 이제 어떤 실험이 어떤 데이터로 진행되었는지를 추적할 수 있다는 긍정적인 피드백을 받았습니다.
이 결의 특징
수동 학습 스크립트의 재현성 문제를 Kubeflow Pipelines 컴포넌트 분리로 해결한 흔적이 있습니다.
이 결이 통하는 자리
아티팩트 전달 경로 설정 실수를 겪고 실험 10개를 병렬 실행할 수 있게 만든 구체 성과가 답에 담겨 있을 때 면접관의 신뢰가 쌓이는 자리를 자주 봅니다.