ETL 파이프라인을 구축할 때 어떤 워크플로우 관리 도구를 사용했나요?

Airflow를 쓰다가 팀에서 `Prefect`로 전환하자는 논의가 생겼어요. Airflow의 DAG 구조가 파이썬 함수보다 무겁다는 불만이 쌓였기 때문입니다. 저는 직접 같은 파이프라인을 두 도구로 구현해서 비교했어요. 주말을 써서 만들었는데 그게 팀 토론의 기준이 됐습니다.

Prefect는 파이썬 데코레이터로 플로우를 정의하니 기존 코드 수정 없이 래핑이 됐고, 로컬 실행도 쉬웠어요. 반면 분산 실행과 스케줄러 안정성은 Airflow가 더 검증된 느낌이었습니다. 팀 규모와 인프라 성숙도에 따라 선택이 달라질 문제였어요.

이 경험으로 워크플로우 도구를 고를 때 기능 비교보다 팀 운영 부담과 인프라 성숙도를 먼저 보는 습관이 생겼어요. 좋은 도구가 아니라 지금 팀에 맞는 도구를 고르는 원칙입니다.