예시 답변 1
약 90초
Hadoop 클러스터 기반 로그 분석 파이프라인 구축
Hadoop 기반 데이터 환경에서 대규모 사용자 행동 로그 분석 파이프라인 구축 프로젝트에 데이터 엔지니어로 참여했습니다. 일일 약 10억 건의 이벤트 로그를 처리해야 했고, 기존 RDBMS로는 집계 쿼리 수행 시간이 8시간 이상 걸리는 문제가 있었습니다. 저는 HDFS 적재 → Hive 파티셔닝 → MapReduce 집계 구조를 설계하고, 파티션 키 선정과 압축 포맷 최적화를 담당했습니다. 팀 내에서 Hive 스키마 관리와 파티션 정합성 검증을 제가 주도했고, 장애 발생 시 재처리 로직 설계에도 기여했습니다. 최종적으로 집계 처리 시간이 8시간에서 45분으로 단축됐습니다. 이 프로젝트에서 분산 처리 환경의 데이터 지역성(Locality)이 성능을 좌우한다는 것을 실감했습니다.
이 결의 특징
10억 건 이벤트 로그 처리에서 HDFS→Hive→MapReduce 구조 설계와 파티션 키·압축 포맷 최적화를 직접 담당했다는 역할 구분이 명확합니다. 처리 시간 8시간→45분이라는 수치가 설계 결정의 효과를 보여주는 결이어서, 꼬리질문이 설계 근거보다 실제 임팩트로 이어지는 자리가 덜 보입니다.
이 결이 통하는 자리
「분산 처리 환경의 데이터 지역성이 성능을 좌우한다」는 마지막 통찰이 기술 원리 이해의 흔적으로 읽힙니다. 대용량 처리 설계 경험을 검증하는 자리에서 수치와 원리 이해를 함께 제시한 결이 통하는 패턴이 학습됐습니다.