Kafka 또는 Flink를 사용한 실시간 스트리밍 애플리케이션 개발 사례를 공유해 주세요.

Kafka 실습에서 Consumer가 메시지를 처리하다 실패했을 때 어떻게 운영하는지를 고민하는 자리가 생겼습니다. 기본 구현에서는 Consumer가 실패하면 메시지를 다시 처리할 방법이 없는 자리가 됐습니다. offset을 커밋하지 않으면 재처리가 되는데, 문제는 어디서 실패했는지 알 수 없는 자리가 생기는 것이었습니다.

Dead Letter Queue 개념을 공부해서, 처리 실패한 메시지를 별도 토픽으로 보내고 오류 원인을 로그로 기록하는 구조를 추가했습니다. 또 Consumer가 메시지를 얼마나 처리했는지 Consumer Lag를 측정하는 자리를 만들어서 처리 속도가 수집 속도를 못 따라가는 자리를 감지하는 구조를 설계했습니다.

Kafka를 쓰는 것과 운영하는 것은 다른 자리라는 결이 그때 생겼고, 실패를 다루는 설계가 시스템의 신뢰를 만드는 결을 갖게 됐습니다. 그 결이 이후 파이프라인 설계에 실패 처리 자리를 먼저 두는 자리로 이어졌습니다.