예시 답변 1
약 100초
요구사항 파악→기술 선택→아키텍처→운영 결
실시간 데이터 파이프라인을 구축할 때 사용할 수 있는 기술은 이벤트 스트리밍, 스트림 처리, 스토리지 레이어로 구분해 선택합니다. 각 레이어에서 요구사항에 맞는 기술을 고르는 것이 파이프라인 안정성과 확장성을 결정합니다. Apache Kafka는 고처리량 이벤트 스트리밍의 사실상 표준으로, 프로듀서·브로커·컨슈머 구조로 이벤트를 안정적으로 전달하고 재처리를 지원합니다.
Apache Flink 또는 Spark Streaming은 스트림 처리 단계에서 윈도우 집계, 조인, 필터링을 실시간으로 수행하는 데 씁니다. 지연 허용 범위에 따라 기술 선택이 달라지는데, 밀리초 단위 응답이 필요한 경우 경량 스트리밍 프레임워크를 선택하고, 분 단위면 마이크로 배치도 대안이 됩니다.
파이프라인 모니터링은 처리량, 지연, 오류율을 실시간으로 추적해 장애를 빠르게 감지하는 체계가 운영 안정성의 핵심입니다. 레이어별 기술 선택과 지연 요구사항 기반 설계가 실시간 파이프라인의 핵심이라는 결론을 갖고 있습니다.