솔직한 경험 기반 접근
데이터 오케스트레이션 도구로는 수업에서 `Apache Airflow`를 기초 자리까지 경험했습니다. DAG 구조로 작업 의존성을 시각적으로 정의할 수 있다는 자리가 직관적이었고, 특정 자리에서 실패했을 때 그 자리부터 재시도할 수 있는 구조가 파이프라인 운영에 중요하다는 것을 배웠습니다.
Airflow를 선택한 이유는 커뮤니티가 활성화되어 있고 예제 자리가 많기 때문이었습니다. 단점으로 느낀 자리는 초기 설정이 복잡하고, 간단한 작업에는 오히려 cron + 스크립트가 빠를 수 있다는 것이었습니다. Prefect나 Dagster 같은 다른 도구도 개념 자리까지는 살펴봤는데, 도구 선택은 파이프라인 복잡도와 팀 학습 비용을 함께 고려하는 자리가 된다고 생각합니다.