마트를 구축하기 위해 어떤 데이터 처리 방법을 사용했으며, 그 결과는 어땠나요?

마트 데이터가 어제 기준인지 그저께 기준인지 사용자가 알 수 없는 자리가 문제였습니다. 조용히 오래된 데이터가 흐르고 있었고, 쿼리 결과는 맞는데 숫자가 다르다는 이슈가 반복됐습니다. 저는 마트 각 테이블에 최종 갱신 시각 메타를 기록하는 컬럼을 추가하기로 판단했습니다. 파이프라인 완료 시점마다 updated_at을 찍었고, 대시보드에는 이 값을 함께 노출했습니다. 마트 핵심 컬럼에 대한 NULL 비율 알림도 함께 붙였습니다. 핵심 컬럼의 NULL 비율이 임계치를 넘으면 데이터 신선도 알림이 Slack으로 전달되도록 했습니다. 이후 팀 채널에서 '데이터가 맞냐'는 질문보다 갱신 주기를 앞당길 수 있냐는 질문이 훨씬 많아졌습니다.

품질을 챙기는 결은 정합성 검증뿐 아니라 사용자에게 신선도를 보여주는 자리까지 포함한다는 결론이 생겼습니다.