경험 기반 구체화
실시간 데이터 처리 시스템은 이벤트가 발생하는 즉시 처리하는 구조로, 스트림 처리(stream processing)가 핵심입니다. 배치 처리와 달리 데이터를 모아서 한꺼번에 처리하지 않고, 데이터가 흐르는 파이프라인 위에서 지속적으로 처리합니다. 학교 빅데이터 수업에서 Kafka를 활용한 실시간 로그 수집 파이프라인을 실습했는데, Producer가 이벤트를 토픽에 발행하면 Consumer가 즉시 읽어 처리하는 구조를 직접 경험했습니다. 가장 중요하게 배운 개념은 exactly-once semantics인데, 같은 메시지를 중복 처리하거나 누락하지 않도록 보장하는 것이 실시간 시스템 신뢰성의 핵심입니다. 또 실시간 시스템에서는 지연 시간(latency)을 처리량(throughput)과 함께 설계 기준으로 삼아야 하는데, 두 지표는 서로 트레이드오프 관계에 있어 요구사항에 맞게 균형을 맞춰야 합니다.