파티션 수 조정과 Redis 캐싱으로 Kafka 파이프라인 성능 튜닝 결
Kafka와 Redis를 이용한 대용량 데이터 처리 성능 튜닝 경험은 사이드 프로젝트에서 이벤트 처리 지연이 커지는 문제를 Kafka 파티션 수 조정으로 해결한 것입니다. 컨슈머 그룹의 처리 속도가 프로듀서 속도를 따라가지 못할 때 파티션을 늘려 병렬 처리 수를 높이는 방식으로 지연을 줄였습니다.
Redis는 반복 조회가 많은 참조 데이터 캐싱에 활용했습니다. 이벤트 처리 중 매번 DB를 조회하던 사용자 설정 데이터를 Redis에 캐시하고 TTL을 적용했더니 처리 지연이 추가로 감소했습니다.
이 경험에서 배운 것은 성능 튜닝은 측정 없이 시작하면 방향이 틀리기 쉽다는 점입니다. 어느 단계에서 병목이 발생하는지를 측정 도구로 확인한 후 개선을 시작하면, 효과 없는 최적화에 시간을 낭비하지 않을 수 있습니다.