Consumer Group 재조정 지연 문제 해결
Spring Boot 환경에서 Kafka Consumer Group Rebalancing이 과도하게 발생하는 문제를 해결한 경험이 있습니다. 문제를 인식한 것은 특정 시간대 메시지 처리 지연이 급격히 증가하는 모니터링 알림을 받으면서였습니다. Kafka Consumer Lag 모니터링과 Broker 로그 분석을 통해 max.poll.interval.ms 설정이 실제 처리 시간보다 짧아 Consumer가 자주 그룹에서 탈락하는 것이 원인임을 파악했습니다. Spring Kafka의 ConcurrentKafkaListenerContainerFactory 설정에서 poll 타임아웃과 컨테이너 재시작 정책을 조정했습니다. 해결 후 Consumer Rebalancing 빈도가 90% 감소했고, 메시지 처리 지연도 정상화됐습니다. 이 경험에서 Kafka 설정은 Broker와 Consumer 양측을 함께 이해해야 근본 원인에 도달할 수 있다는 교훈을 얻었습니다.