SageMaker 비용 실수 후 소규모 실험은 로컬로 전환
Cloud 기반 ML 파이프라인을 구축한 경험으로는 졸업 프로젝트에서 AWS 서비스를 조합해 학습부터 배포까지 이어지는 구조를 만든 것이 있습니다. 데이터는 S3에 적재하고, 전처리는 Lambda로 트리거해 실행했으며, 모델 학습은 SageMaker 학습 잡으로 돌렸습니다. 성능·비용 균형 면에서는 SageMaker 학습 잡이 생각보다 비쌌습니다. 소규모 실험에는 EC2 스팟 인스턴스가 낫다는 걸 나중에 알았고, 다음 프로젝트에서는 소규모 실험은 로컬, 전체 학습만 클라우드에서 돌리는 방식으로 비용을 줄였습니다. 한계는 파이프라인 자동화 수준이 수동 트리거 방식이라 CI/CD에 연동하거나 스케줄 기반으로 자동 실행하는 구조는 아직 구현해보지 못했습니다.
MLOps 전체 사이클을 경험하는 것이 다음 목표입니다.