자동화 필요성 결 → 파이프라인 설계 결 → 실행 결 → 성과 결
Apache Airflow를 활용한 경험은 개인 데이터 파이프라인 프로젝트에서 쌓았습니다. 매일 같은 시각에 데이터를 수집·정제해 DB에 적재하는 작업을 수동으로 반복하다가 자동화의 필요성을 느꼈습니다. 자동화 필요성 자리에서는 하루라도 수동 작업을 빠뜨리면 데이터 공백이 생기고, 이후 분석에 영향이 가는 문제가 반복됐습니다. 파이프라인 설계 자리에서는 Airflow의 DAG 구조를 이용해 수집·정제·적재 단계를 태스크로 분리했습니다. 단계를 나누면 어느 단계에서 오류가 났는지를 바로 파악할 수 있습니다. 실행 자리에서는 초기에 스케줄 설정이 UTC 기준인 걸 간과해서 예상 시각보다 9시간 늦게 실행된 적이 있었습니다.
타임존 설정 오류가 실무에서도 자주 발생한다는 걸 그때 배웠습니다. 성과 자리에서는 파이프라인 안정화 후 수동 개입이 없어졌고, 이상 알림도 자동화해서 오류 발생 시 즉시 확인할 수 있게 됐습니다.