예시 답변 1
약 90초
Spark 기반 실시간 추천 파이프라인 설계
분산처리 시스템을 활용한 프로젝트로 Spark 기반 실시간 추천 피처 계산 파이프라인 설계에 참여했습니다. 분산처리가 필요한 이유는 수억 건의 사용자 행동 이벤트를 단일 노드로는 처리할 수 없는 규모였기 때문입니다. 저는 Structured Streaming으로 실시간 피처 계산과 Batch로 장기 피처 계산을 분리하는 Lambda 아키텍처를 설계했습니다. 분산처리 시스템의 핵심 개념인 파티셔닝, 셔플 최소화, 데이터 지역성을 실제 최적화에 적용했습니다. 팀 내에서는 데이터 엔지니어링 팀과 ML 팀이 함께 피처 사양을 정의하고, 제가 파이프라인 구현을 주도했습니다. 이 시스템이 가동된 후 추천 모델 피처 갱신 주기가 24시간에서 5분으로 단축됐습니다.
이 결의 특징
수억 건 이벤트를 단일 노드로 처리할 수 없는 규모라는 이유가 또렷하고, 실시간은 Structured Streaming, 장기는 Batch로 나눈 Lambda 아키텍처가 구체적입니다. 파티셔닝·셔플 최소화·데이터 지역성을 실제 최적화에 적용한 대목이, 피처 갱신 24시간→5분을 개념 나열이 아닌 적용의 결과로 읽히게 하는 결이 보입니다.
이 결이 통하는 자리
데이터 엔지니어링 팀과 ML 팀이 함께 피처 사양을 정의한 협업이 살아 있을 때 통합합니다. 왜 분산처리가 필요했는지가 규모 근거로 받쳐지는 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.