100k 이상의 이벤트를 초당 처리하는 분산 스트리밍 엔진을 설계할 때 가장 중요하게 고려해야 할 요소는 무엇인가요?

초당 100k 이상의 이벤트를 처리하려면 크게 세 가지를 동시에 고려해야 한다고 봅니다. 첫째는 파티셔닝 전략입니다. 단일 노드로는 처리량 한계에 빠르게 닿기 때문에 이벤트를 키 기반으로 분산해서 각 파티션이 독립적으로 처리할 수 있어야 합니다. 키가 편향되면 특정 파티션에 부하가 몰리는 핫스팟 문제가 생기므로, 해시 분산보다 균등 분산을 실제 워크로드로 검증하는 게 중요합니다. 둘째는 백프레셔 처리입니다. 소비자가 처리할 수 있는 속도보다 빠르게 이벤트가 들어오면 버퍼가 꽉 차서 데이터가 유실되거나 시스템이 다운됩니다. 이를 막으려면 소비자 처리 속도에 맞춰 생산 속도를 조절하는 메커니즘이 있어야 합니다. 같은 경우는 컨슈머 랙을 모니터링하다가 임계치를 넘으면 알림을 주는 방식을 많이 씁니다. 셋째는 장애 복구와 중복 처리 방지입니다. 노드 하나가 죽었을 때 다른 노드가 이어받아야 하고, 이때 같은 이벤트가 두 번 처리되지 않도록 멱등성(idempotency)을 보장하는 설계가 필요합니다. 직접 이 규모를 다뤄본 경험은 없지만, 소규모 파이프라인을 설계하면서 파티셔닝 편향과 컨슈머 지연 문제는 실제로 겪었고, 그 연장선에서 대규모 설계를 생각해봤습니다.