예시 답변 1
약 90초
Spark로 수십억 건 로그 집계 파이프라인 구축
Apache Spark를 활용한 대용량 데이터 처리 경험으로 일 30억 건 사용자 행동 로그 집계 파이프라인 구축을 주도한 적이 있습니다. 기존 Hive 기반 집계는 완료까지 8시간이 걸렸고, 실시간 분석 요구에 대응이 어려웠습니다. PySpark로 파이프라인을 재작성하면서 파티셔닝 전략과 캐싱 최적화에 집중했습니다.
Broadcast Join을 활용해 작은 차원 테이블 조인 시 셔플 비용을 제거했고, repartition()과 coalesce() 선택 기준을 팀 내 가이드라인으로 문서화했습니다. 결과적으로 집계 소요 시간이 8시간에서 35분으로 단축됐고, 이후 일별 집계 리포트를 오전 6시 이전 자동 생성하는 SLA를 달성했습니다. 분석 결과는 마케팅 팀의 채널 성과 분석에 직접 활용됐습니다.
이 결의 특징
Hive 집계가 8시간 걸리던 병목을 PySpark 재작성으로 푼 출발점이 또렷하고, Broadcast Join으로 작은 차원 테이블 조인의 셔플 비용을 제거한 최적화가 구체적입니다. repartition·coalesce 선택 기준을 팀 가이드라인으로 문서화한 대목이, 8시간→35분을 도구 교체가 아닌 튜닝의 결과로 읽히게 하는 결이 보입니다.
이 결이 통하는 자리
오전 6시 이전 자동 생성이라는 SLA로 결과를 닫고 마케팅 채널 분석에 직접 쓰인 흐름이 살아 있을 때 통합니다. 어느 연산이 왜 병목이었는지가 또렷한 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.