데이터 웨어하우스 경험이 있다면 어떤 플랫폼을 사용했는지, 그리고 그 이유는 무엇인가요?

기존 팀은 Redshift 기반 웨어하우스만 써왔는데, 비정형 로그 데이터가 급증하면서 레이크 도입을 검토하는 역할을 맡게 됐어요. 웨어하우스는 잘 알았지만 S3+Glue+Athena 조합이 어떤 문제를 풀고 어디서 한계가 생기는지는 처음 파악하는 상황이었습니다.

두 구조를 비교하며 웨어하우스는 "정해진 질문에 빠르게 답하는 구조"이고, 레이크는 "질문이 정해지기 전에 데이터를 먼저 쌓는 구조"라는 차이가 선명해졌어요. 목적이 다르기 때문에 어느 쪽이 낫다는 게 아니라 질문의 확정성에 따라 선택이 달라지는 것임을 이해했습니다.

그 검토 결과로 비정형 원시 데이터는 레이크에 먼저 쌓고, 분석용으로 정제된 집계 테이블만 웨어하우스에 올리는 계층 구조를 도입했어요. 두 구조를 함께 쓰는 `레이크하우스` 패턴이 실제로 어떤 문제를 해결하는지를 그 프로젝트에서 처음 직접 경험했습니다.