Data Observability 개선을 위해 어떤 방법을 시도해본 경험이 있나요?

데이터 엔지니어링 인턴 때, 배치 파이프라인이 실패해도 다음 날 아침 대시보드를 보기 전까지 아무도 모르는 구조였습니다. 결과 테이블의 row count가 전날 대비 50% 이상 감소하면 으로 알림을 보내는 단순 체크를 DAG에 추가하는 것부터 시작했습니다. 처음에는 임계치를 고정값으로 뒀는데, 주말이나 명절에 데이터 자체가 적은 날에 오탐이 쏟아져서 요일별 평균 대비 비율로 임계치를 바꿨습니다. 이 과정에서 단순히 파이프라인이 돌았는지만 보는 것과, 데이터가 기대한 모양으로 들어왔는지를 보는 것이 다르다는 걸 실감했습니다. 이후 팀과 논의해서 를 시범 도입했고, 주요 컬럼의 null 비율과 유니크 값 범위를 스키마 기준으로 체크하는 테스트를 5개 테이블에 먼저 붙였습니다. 전체 도입은 못 했지만, 인턴 기간 중 데이터 이상 감지 속도가 평균 14시간에서 2시간 이내로 줄었습니다. 완전한 Observability 체계를 만든 건 아니지만, 어디서부터 보기 시작해야 하는지 감을 잡은 경험이었습니다.