예시 답변 1
약 90초
데이터 엔지니어링 파이프라인에서 중복 이벤트 문제를 멱등성으로 해결한 경험을 정리한 결
인턴 프로젝트에서 실시간 사용자 행동 로그 파이프라인 구축에 참여했습니다. Kafka에서 수집한 이벤트를 Spark Streaming으로 처리해 DW에 적재하는 구조였는데, 초반에 중복 이벤트가 5~8% 섞여 들어와 집계 지표가 흔들렸습니다. 원인은 Kafka 파티션 리밸런싱 때 컨슈머가 오프셋을 재처리하는 문제였고, 이벤트에 uuid v4 기반 멱등 키를 붙이고 DW 적재 시 UPSERT로 처리하도록 바꿔 해결했습니다. 이후 중복률이 0.02% 이하로 떨어졌고, 일별 지표 편차도 안정됐습니다. 데이터 파이프라인에서 멱등성은 처음부터 설계에 넣지 않으면 나중에 고치기 매우 까다롭다는 것을 몸으로 배웠습니다.
이 결의 특징
Kafka에서 수집한 이벤트를 처리하는 과정에서 파티션 리밸런싱 때 컨슈머가 오프셋을 재처리해 중복 이벤트가 5~8% 섞여 들어왔습니다. uuid v4 기반 멱등 키를 붙이고 DW 적재 시 UPSERT로 처리하니 중복률이 0.02% 이하로 떨어졌고 일별 지표 편차도 안정되었습니다.
이 결이 통하는 자리
실시간 로그 파이프라인에서 중복 제거가 관건인 상황에서 통합니다. 멱등성을 처음부터 설계에 넣지 않으면 나중에 고치기 매우 까다롭다는 교훈이 있습니다.