이벤트 중복 처리 문제를 멱등성 설계로 해결
실시간 피처 파이프라인 개발에서 겪은 가장 큰 문제는 이벤트 중복 처리였습니다. 인턴십에서 사용자 행동 이벤트를 Kafka에서 소비해 피처 스토어에 적재하는 파이프라인을 담당했는데, 네트워크 재시도 과정에서 같은 이벤트가 두 번 들어오는 경우가 있었습니다. 처음엔 무시했다가 피처 집계값이 실제보다 부풀려진 걸 뒤늦게 발견했습니다. 해결은 이벤트 ID를 키로 중복 체크 테이블을 두는 방식으로 처리했고, 멱등성 보장 설계가 얼마나 중요한지 배웠습니다. 레이턴시 측면에서는 Consumer lag 모니터링을 추가해 파이프라인이 뒤처지는 시점을 시각화했습니다. 한계는 분산 환경에서의 정확히 한 번 처리(Exactly-once semantics)는 Kafka Transactions를 써야 하는데, 직접 적용해보지 못했습니다.