Kafka 기반의 실시간 데이터 수집 파이프라인을 구축한 경험에 대해 이야기해보세요.

Kafka 실습에서 Consumer가 메시지를 처리하다 실패했을 때 어떻게 운영하는지를 고민하는 자리가 생겼습니다. 기본 구현에서는 Consumer가 실패하면 메시지를 다시 처리할 방법이 없는 자리가 됐습니다. offset을 커밋하지 않으면 재처리가 되는데, 문제는 어디서 실패했는지 알 수 없는 자리가 생기는 것이었습니다.

Dead Letter Queue 개념을 공부해서, 처리 실패한 메시지를 별도 토픽으로 보내고 오류 원인을 로그로 기록하는 구조를 추가했습니다. 또 Consumer가 메시지를 얼마나 처리했는지 Consumer Lag를 측정하는 자리를 만들어서 처리 속도가 수집 속도를 못 따라가는 자리를 감지하는 구조를 설계했습니다.

Kafka를 쓰는 것과 운영하는 것은 다른 자리라는 결이 그때 생겼고, 실패를 다루는 설계가 시스템의 신뢰를 만드는 결을 갖게 됐습니다. 그 결이 이후 파이프라인 설계에 실패 처리 자리를 먼저 두는 자리로 이어졌습니다.