내부 및 외부 데이터 소스를 클라우드 저장소에 통합할 때 어떤 접근 방식을 사용하나요?

데이터 소스를 클라우드 저장소에 통합한 뒤 운영 자리에서 생기는 문제들이 설계 자리에서는 보이지 않는 자리임을 경험했습니다. 스키마를 맞춰서 통합했는데, 특정 소스의 데이터 업데이트 주기가 변경되면서 파이프라인이 예상과 다르게 동작하는 자리가 됐습니다. 소스가 바뀌었을 때 파이프라인이 조용히 실패하는 자리가 됐고, 이상을 알아채는 데 시간이 걸리는 자리가 됐습니다. 이후에는 데이터 도착 기대 시간과 레코드 수 변화를 모니터링하는 자리를 만들었고, 이상 감지 시 알림이 오는 구조를 만들었습니다.

통합 이후의 운영 자리를 먼저 설계하는 것이 안정적인 파이프라인의 자리임을 알게 됐고, 운영 모니터링 자리가 없으면 이상을 늦게 발견하는 자리가 됨을 배웠습니다. 그 결이 이후 데이터 통합 설계 시 운영 모니터링 자리를 먼저 두는 결로 이어졌습니다.