데이터 파이프라인 자동화 도입
월 단위 수동 보고서 작성을 `dbt` + `Airflow` 기반 자동화 파이프라인으로 전환했습니다. 기존에는 담당자가 엑셀 수식을 매월 업데이트하는 방식이었는데, 오류 발생 시 추적이 어렵고 담당자 부재 시 업무가 중단되는 구조였습니다. dbt로 SQL 변환 로직을 버전 관리하고, Airflow로 스케줄링과 의존성을 관리했습니다. 기술을 선택한 이유는 기존 SQL 기반 업무 방식을 크게 바꾸지 않으면서 자동화가 가능했기 때문입니다. 팀은 기술팀과 운영팀이 협업했고, 운영팀의 도메인 지식이 SQL 로직 검증에 핵심이었습니다. 결과적으로 보고서 생성 시간이 3일에서 2시간으로 단축됐고, 오류 발생 시 Slack 알림으로 즉시 파악되는 구조가 됐습니다.
자동화의 진짜 가치는 속도보다 신뢰성이라는 걸 배웠습니다.