데이터 파이프라인을 구축할 때 가장 중요하다고 생각하는 점은 무엇인가요?

졸업 프로젝트에서 공공 데이터 3개 출처를 합쳐 분석 파이프라인을 만들었습니다. 처음에는 데이터를 받는 대로 바로 모델에 넣었는데, 어느 날 갑자기 결과가 완전히 달라졌습니다. 원인을 찾아보니 출처 중 하나가 포맷을 바꿨는데 제가 모르고 있었습니다.

그 경험에서 파이프라인에서 가장 중요한 건 데이터 신뢰성이라는 걸 배웠습니다. 모델이 아무리 좋아도 입력 데이터가 바뀌면 결과를 믿을 수 없습니다. 그 이후에는 각 단계마다 데이터 검증을 넣었습니다. 컬럼 수가 맞는지, 값 범위가 이상하지 않은지를 체크하고, 문제가 생기면 바로 알림이 오도록 했습니다.

작은 프로젝트라 Airflow 같은 도구는 쓰지 못했고 Python 스크립트에 직접 넣었습니다. 나중에 보니 그 검증 코드가 파이프라인 전체 길이의 30%를 차지했는데, 그게 맞는 비중이라는 걸 지금도 생각합니다.