Databricks Delta Lake를 활용한 데이터 레이크하우스 설계 경험에 대해 설명해 주세요. 어떤 아키텍처를 구축하셨나요?

Databricks Delta Lake 레이크하우스를 설계하면서 검증 자리가 없으면 설계가 실제 자리에서 통하는지 알 수 없는 자리임을 경험했습니다. 레이크하우스 구조를 설계했는데, 설계 자리는 됐는데 실제 데이터 자리에서 적재·쿼리가 어떻게 동작하는지 확인 자리가 없어서 운영 자리에서 문제가 드러나는 자리가 됐습니다. 설계 자리는 있는데 검증 자리가 없는 레이크하우스 자리였습니다. 이후에는 설계 후 대표 데이터 샘플로 적재·쿼리 자리를 직접 돌려보고 성능 자리와 오류 자리를 확인하는 자리를 만들었고, 예상과 다른 자리가 있으면 설계를 보완하는 자리를 만들었습니다.

검증 자리가 있어야 설계가 실제 자리에서 통하는 것임을 알게 됐고, 검증 자리 없는 레이크하우스 설계 자리는 운영 자리에서 놀라는 자리가 됨을 배웠습니다. 그 결이 이후 데이터 설계 자리에서 검증 자리를 완성 전에 두는 결로 이어졌습니다.