A
약 80초
실시간 이벤트 파이프라인 기술 스택 설명
실시간 이벤트 수집 파이프라인은 Kafka → Flink/Spark Streaming → 저장소 구조가 기본입니다. Kafka는 높은 처리량과 내구성 있는 이벤트 큐 역할을 하고, 컨슈머 그룹으로 수평 확장이 가능합니다. 졸업 프로젝트에서 사용자 행동 이벤트를 Kafka로 수집하고 Flink로 실시간 집계해 대시보드에 반영하는 파이프라인을 구성했습니다. 가장 어려웠던 건 exactly-once 처리 보장이었는데, Kafka와 Flink의 체크포인트를 함께 설정해 재처리 시 중복을 막는 방식을 썼습니다. 저장소는 분석용 Parquet로 S3에 파티셔닝하고, 실시간 조회는 Redis 캐시로 분리했습니다. 앞으로도 Kafka 기반 수집과 스트림 처리, 저장소 분리의 3단 구조로 실시간 파이프라인을 설계하는 방식을 유지하겠습니다. 앞으로도 Kafka 기반 수집과 스트림 처리, 저장소 분리의 3단 구조로 실시간 파이프라인을 설계하는 방식을 유지하겠습니다.
exactly-once 보장 설계가 데이터 정합성을 유지하는 핵심입니다. 분석용과 실시간 조회용 저장소를 분리하는 것이 파이프라인 병목을 줄이는 구조적 방법입니다.
이 결의 특징
기술 스택을 나열하지 않고 exactly-once 처리 보장이라는 구체적 난제와 체크포인트 설계로 해결책을 짝짓는 결이다.
이 결이 통하는 자리
파이프라인 구조를 도식으로만 답하기 쉬운 질문에서, 정합성 문제를 어떻게 풀었는지로 실력을 보여주는 답이 통하는 자리다.