A
약 75초
경험 중심 1인칭 답변
데이터 엔지니어링 수업에서 팀 프로젝트로 Hadoop 기반 로그 분석 파이프라인을 구축했습니다. 전자 상거래 모의 데이터를 사용해 사용자 행동 패턴을 분석하는 것이 목표였습니다.
구체적으로 사용한 구성 요소는 HDFS(분산 저장), MapReduce(배치 처리), Hive(SQL 분석)였습니다. 대용량 로그 파일을 HDFS에 적재하고, Hive로 구매 전환율·이탈 지점을 쿼리했습니다. 처음에는 로컬 파일을 다루는 것과 분산 파일 시스템 개념이 달라 적응에 시간이 걸렸지만, 데이터를 여러 노드에 분산 저장하고 처리하는 원리를 이해하고 나니 구성이 명확해졌습니다.
Hadoop을 선택한 이유는 배치 처리와 대용량 데이터 처리에 검증된 에코시스템이기 때문입니다. 실시간 처리보다 일별·주별 집계가 목적이었기 때문에 Hadoop의 MapReduce가 적합했습니다. 만약 실시간이었다면 Spark Streaming을 검토했을 것 같습니다.
역할은 데이터 적재 파이프라인 구성과 Hive 쿼리 최적화를 맡았습니다. 초기 쿼리가 느렸는데, 파티셔닝을 적용하니 조회 시간이 약 60% 단축됐습니다. 이 경험에서 분산 환경에서의 성능 최적화는 로컬과 전혀 다른 관점이 필요하다는 걸 배웠습니다.