경험 기반 구체화
Kafka를 직접 프로덕션 환경에 운영한 경험은 없지만, 학교 빅데이터 수업에서 메시지 브로커 실습을 통해 기본 개념과 동작 방식을 학습했습니다. 실습에서 Producer-Consumer 구조를 직접 구현해보면서, 높은 처리량을 유지하면서 메시지 유실 없이 전달하는 것이 왜 중요한지 이해했습니다. 특히 offset 관리를 제대로 하지 않으면 중복 처리나 메시지 누락이 발생한다는 것을 실험으로 직접 확인했습니다. Kafka가 실시간 로그 집계나 이벤트 기반 아키텍처에서 왜 선호되는지도 그 실습에서 명확해졌습니다. 현재는 Kafka 공식 문서와 실무 사례를 통해 topic partition 설계와 consumer group 관리 방식을 공부하고 있습니다. 실무에서 데이터 스트리밍 파이프라인을 직접 운영하게 된다면, 학습한 내용을 빠르게 적용할 수 있을 것이라고 생각합니다.