예시 답변 1
데이터 레이크+웨어하우스 구분 설계 경험으로 결
구조화 데이터와 비구조화 데이터를 함께 처리할 때 단일 솔루션보다 목적에 맞게 나누는 방식이 더 효율적이라는 것을 배웠습니다. 정형화된 트랜잭션 데이터는 RDB나 데이터 웨어하우스에 저장하고, 로그, 이미지, 텍스트 같은 비정형 데이터는 데이터 레이크에 원본 그대로 저장하는 구조를 사용합니다. 나중에 분석 목적에 따라 필요한 데이터를 꺼내서 처리하는 방식입니다. 프로젝트에서 S3를 레이크로 사용하고 Redshift에 집계 데이터를 올리는 간단한 파이프라인을 구현해 보았는데, 레이어를 나눠두니 처리 목적별로 접근하기 편했습니다. 처리 전 원본을 보존하는 구조가 나중에 분석 방향이 바뀌어도 유연하게 대응할 수 있게 해줍니다. 원본을 지우면 재분석이 불가능합니다.
이 결의 특징
구조화·비구조화 데이터를 단일 솔루션이 아니라 목적별로 나누는 결입니다. 원본 보존을 유연성의 근거로 삼는 시야가 보입니다.
이 결이 통하는 자리
데이터 아키텍처 설계 이해도를 확인하려는 질문에 통하는 결입니다.