ETL 파이프라인 구축 — 일 배치에서 실시간 전환 경험
약 120초
경험 중심 — 하루 한 번 배치에서 실시간 스트리밍으로 바꾼 프로젝트
캡스톤 프로젝트에서 공공 데이터를 하루 한 번 내려받아 분석하는 배치 파이프라인을 만들었습니다. 처음에는 간단해 보였으나, 원천 데이터 스키마가 갑자기 바뀌면서 파이프라인이 통째로 멈추는 문제가 첫 주에 발생했습니다.
그때부터 스키마 변경 알림을 먼저 탐지하는 검증 단계를 앞에 추가하였습니다. 데이터가 기대 형식이 아닐 경우 파이프라인을 중단하고 슬랙으로 알림이 오도록 설정했습니다.
이후 요구사항이 변경되어 Apache Kafka를 사용하여 실시간 처리로 전환하는 작업도 맡았습니다. 기존 배치 로직을 스트림 처리에 맞게 다시 작성하는 것이 생각보다 어려웠습니다. 특히 집계 윈도우 설계에서 두 번이나 로직을 수정하였습니다. 완성 후 지연 시간이 하루에서 5초 이내로 줄어들었습니다.
이 결의 특징
공공 데이터 스키마가 갑자기 바뀌면서 파이프라인이 통째로 멈춘 초기 사건이 있었던 흔적입니다. 배치 처리의 취약성.
이 결이 통하는 자리
Kafka 실시간 처리로 전환하면서 집계 윈도우 설계를 2회 수정한 후 지연 시간을 하루에서 5초로 단축한 경험이 살아 있을 때 통합니다.