실제 서버리스 ML 훈련 인프라 구축 경험을 기술 선택 이유와 함께 서술
졸업 프로젝트에서 주기적으로 모델을 재학습하는 파이프라인이 필요했는데, 서버를 상시 유지하는 비용이 부담되어 서버리스 구조를 선택하였습니다. AWS Lambda와 Step Functions를 조합하여 데이터 전처리부터 학습 완료 후 알림까지 단계별로 연결하였습니다. 처음에는 Lambda 실행 시간 제한(15분) 때문에 무거운 학습 작업이 잘렸지만, SageMaker Training Job으로 학습 단계만 분리하여 해결하였습니다. 서버리스가 만능은 아니며, 어떤 단계를 서버리스로 둘지를 설계하는 것이 진정한 선택이라는 것을 배웠습니다.
클라우드 비용은 설계 단계에서 이미 결정된다는 것을 그 프로젝트를 통해 처음 실감하였습니다.