여러 데이터 소스를 통합해 반복 리포트를 자동화하고 신뢰도를 높인 경험
자동화된 보고 파이프라인을 구축했던 건 수업 데이터 분석 프로젝트에서였습니다. 매주 수동으로 엑셀을 업데이트하던 보고서를 Python 스크립트로 자동 집계·포맷하는 방식으로 바꿨습니다. 통합한 데이터 소스는 설문 응답 구글 시트, 웹 분석 CSV 내보내기, CRM 내보내기 파일 세 가지였습니다. 소스마다 포맷이 달라서 통일된 스키마로 변환하는 전처리 단계를 먼저 만드는 게 핵심이었습니다. 한 번 연결하고 나니 보고서 작성 시간이 2시간에서 15분으로 줄었고, 수동 입력 오류도 사라졌습니다.
파이프라인에서 가장 중요한 건 데이터 품질을 입력 단계에서 검증하는 것이라고 느꼈습니다. 잘못된 데이터가 들어오면 자동화가 오히려 오류를 빠르게 퍼뜨리기 때문입니다. 신뢰할 수 있는 자동화는 검증 로직이 함께 있어야 한다는 걸 그 경험에서 배웠습니다.