Airflow 첫 설정 시행착오
약 85초
Airflow를 처음 설치하면서 겪은 설정 어려움
개인 프로젝트에서 데이터 파이프라인을 cron 대신 Airflow로 관리해보려고 처음 설치하였습니다. 도커로 띄우는 공식 예제를 따라했으나, 환경 변수 설정이 맞지 않아서 웹서버가 올라오지 않았습니다. 에러 로그를 읽는 데만 두 시간이 걸렸고, AIRFLOW__DATABASE__SQL_ALCHEMY_CONN 형식이 버전마다 다르다는 것을 몰라서 구버전 예제를 따라한 것이 원인이었습니다. 해결 후 DAG를 처음 만들었으나, 파이썬 임포트 경로가 컨테이너 안과 로컬이 달라서 task가 실패하였습니다.
로컬 개발 환경과 컨테이너 환경의 차이를 의식해야 한다는 것을 이때 처음 배웠습니다. 경험을 통해 배웠습니다. 앞으로도 이 방향으로 성장하겠습니다.
이 결의 특징
Airflow 웹서버가 안 뜨는 문제를 두 시간 걸려 환경 변수 설정 문법 버전 차이로 짚어내고, DAG 첫 작성 시 컨테이너와 로컬의 임포트 경로 차이로 또 막힌 흔적이 있습니다.
이 결이 통하는 자리
로컬 개발 환경과 컨테이너 환경의 차이를 의식해야 한다는 결론이 두 시간짜리 로그 분석과 함께 있을 때 통합니다. 연이은 두 가지 설정 문제를 순서대로 겪은 과정이 구체적인 자리에서 통하는 결이 보입니다.