예시 답변 1
약 90초
빅데이터 시스템 경험 없음 인정하고 수집·저장·배치 처리·서빙 계층 구조 이해 공유결
빅데이터 시스템을 직접 운영한 경험은 아직 없습니다. 다만 이 분야의 기술 스택과 구조에 대해 공부한 내용을 바탕으로 답하겠습니다.
빅데이터 시스템은 크게 수집·저장·처리·서빙 계층으로 구성됩니다. 수집 단계에서는 Kafka 같은 메시지 큐로 실시간 스트리밍 데이터를 받거나, 배치로 파일을 적재합니다. 저장은 분산 파일 시스템인 HDFS나 클라우드 스토리지를 주로 씁니다.
처리 계층에서는 Spark가 대표적입니다. 대용량 데이터를 분산 처리해서 집계하거나 변환하는 작업에 쓰입니다. 배치 처리와 스트리밍 처리를 모두 지원하는 것이 강점입니다.
서빙 계층에서는 처리된 결과를 빠르게 조회할 수 있는 형태로 저장합니다. 어떤 분석이 필요한지에 따라 사용하는 저장소가 달라집니다. 리포트 목적이면 데이터 웨어하우스, 실시간 조회면 인메모리 DB를 씁니다. 이 구조를 이해하고 실제 환경에서 익히고 싶습니다.