수집 결 → 저장 결 → 처리 결 → 접근 결
모던 데이터 플랫폼을 처음 공부하면서 이해한 핵심은 데이터가 수집에서 활용까지 끊기지 않고 흐르는 구조를 만드는 것이었습니다. 수집 자리에서는 다양한 소스에서 데이터를 안정적으로 가져오는 수집 레이어가 필요합니다. Kafka나 Pub/Sub 같은 도구가 이 자리를 담당하고, 실시간 스트리밍과 배치를 모두 지원하는 구조가 이상적입니다. 저장 자리에서는 원천 데이터를 손상 없이 보존하는 데이터 레이크와, 분석 목적에 맞게 변환된 데이터를 담는 데이터 웨어하우스가 역할을 나눕니다. 처리 자리에서는 변환·정제·집계를 자동화하는 파이프라인이 데이터 품질을 결정합니다. 수동 처리가 많을수록 오류와 지연이 쌓입니다. 접근 자리에서는 분석가가 SQL로 조회하거나 대시보드로 시각화할 수 있는 환경이 갖춰져야 데이터가 실제로 활용됩니다. 데이터 플랫폼은 기술보다 누가 어떤 자리에서 쓸지를 먼저 설계하는 것이 중요합니다.