ETL 파이프라인 설계 시 가장 큰 도전 과제는 무엇이었나요?

ETL/ELT 시스템에서 가장 중요하게 생각하는 요소는 데이터 신뢰성과 파이프라인 관찰 가능성입니다. 수업 프로젝트에서 Airflow로 간단한 ETL을 짜봤는데, 실패한 태스크를 모르고 넘어갔다가 하위 분석이 전부 틀렸던 경험이 있습니다. 그 이후로 각 단계마다 로그와 행 수 검증을 넣는 습관이 생겼습니다. 또 ELT의 경우 변환을 목적지에서 하기 때문에 원본 데이터를 보존하는 구조가 재처리와 감사에 필수적이라는 것을 배웠습니다. 앞으로도 파이프라인을 설계할 때 데이터가 어떻게 흐르는지 보이는 구조를 먼저 만드는 방식을 유지하겠습니다.

보이지 않는 파이프라인은 고칠 수 없습니다. 앞으로도 ETL 파이프라인을 구성할 때 데이터 계보(lineage)를 추적할 수 있는 구조를 먼저 설계하는 방식을 유지하겠습니다. 어디서 데이터가 바뀌었는지 모르면 신뢰할 수 없습니다. 재처리가 필요한 상황을 대비해 멱등성을 보장하는 파이프라인 설계가 운영 안정성의 기본이라고 생각합니다.