경험 기반 구체화
MLOps나 데이터 파이프라인을 직접 프로덕션에 운영한 경험은 없지만, 학교 데이터 엔지니어링 수업에서 소규모 파이프라인 설계·구현 프로젝트를 했습니다. 외부 API에서 데이터를 수집해 정제·집계 후 DB에 적재하는 흐름을 Apache Airflow로 오케스트레이션했는데, DAG 설계 단계에서 어느 단계가 실패해도 재시도할 수 있도록 멱등성을 고려하는 것이 중요하다는 걸 배웠습니다. 가장 어려웠던 부분은 데이터 품질 검증인데, 적재 후 이상값이나 스키마 변경이 발생했을 때를 대비해 단계별 검증 로직을 파이프라인 안에 넣는 것이 중요하다는 것도 배웠습니다.
모델 서빙 파이프라인은 학습과는 다른 지연 시간 요구사항이 있어 별도로 설계해야 한다는 것도 수업 케이스에서 확인했습니다.