글로벌 서비스의 운영 DB 및 이벤트 데이터를 데이터 레이크로 적재하는 파이프라인을 설계할 때 어떤 요소를 가장 중요하게 고려하시나요?

글로벌 서비스의 운영 DB와 이벤트 데이터를 데이터 레이크로 적재할 때 가장 먼저 고려할 건 소스 데이터의 변경 방식(CDC vs 전체 추출)과 이벤트 스트리밍 지연 허용 범위입니다. 운영 DB는 직접 OLTP에 부하를 주지 않도록 복제본(replica)에서 추출하거나 CDC 방식으로 변경분만 캡처합니다. 이벤트 데이터는 Kafka 같은 메시지 큐를 거쳐 배치 또는 스트리밍으로 S3·GCS 같은 레이크에 저장하는 구조가 일반적입니다. 파티셔닝은 날짜·국가·서비스 단위로 설계해서 쿼리 성능을 높이고, 스키마 관리는 Schema Registry로 이벤트 포맷 변경에 대응합니다.

데이터 레이크 설계의 핵심은 수집 파이프라인의 신뢰성과 장애 시 재처리 가능성을 함께 보장하는 것입니다. 앞으로도 CDC 기반 증분 수집과 Kafka 스트리밍 구조를 결합해서 OLTP 부하 없이 데이터를 레이크에 적재하는 방식을 유지하겠습니다. 데이터 레이크 설계의 핵심은 수집 파이프라인의 신뢰성과 장애 시 재처리 가능성을 보장하는 것입니다. 파티셔닝과 Schema Registry가 대규모 이벤트 데이터를 효율적으로 관리하는 핵심 구조입니다.