Confluent Kafka를 기반으로 한 대규모 실시간 스트리밍 데이터 처리 경험에 대해 이야기해 주세요.

야간 배치로 처리하던 로그 집계 파이프라인을 처음으로 Kafka 기반 실시간 처리로 전환하는 작업을 맡게 됐어요. 배치와 스트리밍은 같은 데이터를 다루지만 장애 처리, 순서 보장, 중복 처리 문제를 전혀 다른 방식으로 접근해야 한다는 걸 처음 알았습니다.

배치 파이프라인은 실패 시 재실행이 쉬운 반면 스트리밍은 이벤트 순서·중복·지연을 설계 단계에서 미리 다뤄야 하고, 그 차이를 모르면 배치 방식의 사고로 스트리밍을 잘못 설계하게 된다는 걸 그 경험에서 배웠어요. exactly-once 보장이 필요한지, at-least-once로 충분한지를 먼저 결정하는 것이 Kafka 파이프라인 설계의 출발점임을 알았습니다.

지금은 스트리밍 파이프라인 설계 전에 이벤트 순서 보장, 중복 처리, 레이턴시 요구 사항을 명시하는 단계를 먼저 씁니다. 파이프라인 설계는 기술 선택보다 요구 사항 명세가 먼저라는 원칙이 그 경험에서 나왔습니다.