실시간 이벤트 수집 파이프라인 구축 시, 어떤 기술 스택을 활용하고 어떤 방식으로 문제를 해결했는지 설명해 주세요.

실시간 이벤트 수집 파이프라인은 Kafka → Flink/Spark Streaming → 저장소 구조가 기본입니다. Kafka는 높은 처리량과 내구성 있는 이벤트 큐 역할을 하고, 컨슈머 그룹으로 수평 확장이 가능합니다. 졸업 프로젝트에서 사용자 행동 이벤트를 Kafka로 수집하고 Flink로 실시간 집계해 대시보드에 반영하는 파이프라인을 구성했습니다. 가장 어려웠던 건 exactly-once 처리 보장이었는데, Kafka와 Flink의 체크포인트를 함께 설정해 재처리 시 중복을 막는 방식을 썼습니다. 저장소는 분석용 Parquet로 S3에 파티셔닝하고, 실시간 조회는 Redis 캐시로 분리했습니다. 앞으로도 Kafka 기반 수집과 스트림 처리, 저장소 분리의 3단 구조로 실시간 파이프라인을 설계하는 방식을 유지하겠습니다. 앞으로도 Kafka 기반 수집과 스트림 처리, 저장소 분리의 3단 구조로 실시간 파이프라인을 설계하는 방식을 유지하겠습니다.

exactly-once 보장 설계가 데이터 정합성을 유지하는 핵심입니다. 분석용과 실시간 조회용 저장소를 분리하는 것이 파이프라인 병목을 줄이는 구조적 방법입니다.