Kafka를 활용한 실시간 데이터 파이프라인 설계를 해본 경험에 대해 말씀해 주세요.

Kafka를 직접 프로덕션 환경에 운영한 경험은 없지만, 학교 빅데이터 수업에서 메시지 브로커 실습을 통해 기본 개념과 동작 방식을 학습했습니다. 실습에서 Producer-Consumer 구조를 직접 구현해보면서, 높은 처리량을 유지하면서 메시지 유실 없이 전달하는 것이 왜 중요한지 이해했습니다. 특히 offset 관리를 제대로 하지 않으면 중복 처리나 메시지 누락이 발생한다는 것을 실험으로 직접 확인했습니다. Kafka가 실시간 로그 집계나 이벤트 기반 아키텍처에서 왜 선호되는지도 그 실습에서 명확해졌습니다. 현재는 Kafka 공식 문서와 실무 사례를 통해 topic partition 설계와 consumer group 관리 방식을 공부하고 있습니다. 실무에서 데이터 스트리밍 파이프라인을 직접 운영하게 된다면, 학습한 내용을 빠르게 적용할 수 있을 것이라고 생각합니다.