Airflow 첫 셋업 경험
약 90초
Airflow를 처음 설치하고 간단한 파이프라인을 만들었던 경험
졸업 프로젝트에서 공공 데이터를 주기적으로 수집하는 파이프라인이 필요했습니다. 처음엔 크론잡으로 시작했는데 실패 시 알림이 없고 로그도 불편해서 Airflow를 써보기로 했습니다. 처음 셋업에 이틀이 걸렸는데, 가장 어려웠던 건 의존성 버전이 맞지 않아서 계속 에러가 나는 상황이었습니다. 공식 문서와 깃허브 이슈를 뒤지면서 해결했고, 그 과정에서 오히려 내부 구조를 더 깊이 이해하게 됐습니다. 결국 7일 단위 수집 DAG를 만들어서 실패 시 슬랙 알림이 오도록 설정했고, 교수님께 시연할 때 파이프라인이 자동으로 돌아가는 걸 보여드렸습니다. 어려움은 초반 셋업 외에도 DAG 파일 오류가 조용히 넘어가는 경우가 있어서 로그 확인을 습관화하게 됐습니다.
직접 셋업하고 실패하는 과정이 튜토리얼보다 훨씬 빠른 학습이었습니다. 경험을 통해 배웠습니다. 앞으로도 이 방향으로 성장하겠습니다.
이 결의 특징
크론잡의 한계(알림 부재)를 겪고 Airflow로 전환했으나 의존성 오류로 이틀이 걸린 어려움을, 공식 문서와 이슈 탐색으로 해결한 구체 과정이 담긴 흔적입니다.
이 결이 통하는 자리
실패한 셋업 과정이 내부 구조 이해로 이어졌다는 인과가 구체적으로 제시될 때 통합니다. 로그 확인 습관화까지 짚는 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.