이커머스 분야에서의 데이터 아키텍트로서의 경험을 공유해 주실 수 있나요?

이커머스 데이터 레이크를 설계할 때 데이터를 파티셔닝 없이 저장했다가 분석 쿼리가 전체 데이터를 스캔하면서 비용이 예상의 수십 배로 불어난 경험이 있었습니다. 저장은 잘 됐지만 쿼리 패턴을 고려하지 않은 설계가 운영 비용 문제로 돌아온 자리가 됐습니다. 이커머스 데이터 아키텍처는 데이터를 어떻게 저장하느냐보다 어떻게 조회할 것인지를 먼저 파악하고 그에 맞게 파티셔닝과 압축 전략을 설계해야 한다는 것을 그때 배웠습니다.

데이터 저장 설계는 쓰기 편의가 아니라 읽기 비용을 먼저 고려해야 운영 가능한 아키텍처가 된다는 원칙이 생겼습니다. 이후에는 이커머스 데이터 레이크를 설계할 때 주요 쿼리 패턴과 비용 목표를 먼저 정의하고 파티셔닝 전략을 결정하는 방식을 두고 있습니다.

아키텍처 비용은 저장 시점이 아니라 설계 시점에 결정된다는 것을 이 경험으로 배웠고, 이후에는 쿼리 패턴 기반 설계를 먼저 두는 방식이 기준이 됐습니다.