경험 기반 구체화
Databricks Delta Lake를 직접 활용한 경험은 없지만, 학교 빅데이터 수업에서 Delta Lake의 핵심 기능을 배웠습니다. Delta Lake는 Object Storage 위에서 ACID 트랜잭션과 스키마 강제를 지원해, 기존 Data Lake의 데이터 품질 문제를 해결하는 구조입니다. 가장 인상적이었던 기능은 Time Travel인데, 과거 특정 시점의 데이터 상태를 조회하거나 되돌릴 수 있어 실수로 데이터를 수정했을 때 복구가 가능합니다. 또 Merge(Upsert) 연산을 지원해서 스트리밍과 배치 데이터를 같은 테이블에 통합하는 것이 가능한데, Lambda 아키텍처의 복잡성을 줄이는 데 효과적이라고 배웠습니다. 향후 Databricks 환경에서 실습 기회가 생긴다면 변경 데이터 캡처(CDC) 파이프라인을 Delta Lake로 구현해보고 싶습니다.