학습 반복 구조를 정리해 실험 시간을 줄인 결
졸업 프로젝트에서 이미지 분류 모델을 만들 때, 하이퍼파라미터를 바꿀 때마다 처음부터 학습을 돌리는 구조였습니다. 한 번 실험에 2시간이 걸렸고, 설정을 3개만 바꿔도 6시간이 걸렸습니다.
그래서 체크포인트를 중간에 저장하도록 바꿨습니다. 특정 에폭까지 학습된 가중치를 저장해두고, 그 이후 구간만 다시 실험할 수 있게 하니 반복 실험 시간이 크게 줄었습니다. 추가로 실험 설정과 결과를 csv로 자동 기록하게 했더니, 어떤 설정이 어떤 결과를 냈는지를 나중에 찾기 쉬워졌습니다.
전문 도구는 쓰지 못했지만, 파이프라인에서 반복되는 구간을 줄이는 것이 최적화의 핵심이라는 걸 그때 배웠습니다. 나중에 MLflow 같은 실험 관리 도구가 이런 문제를 구조적으로 해결한다는 걸 알게 됐고, 다음 프로젝트에 써보고 싶다는 생각이 생겼습니다.