A
약 90초
BigQuery + Spark 2단계 파이프라인으로 퍼널 분석
데이터 분석 인턴 시절 BigQuery로 사용자 퍼널 분석을 처음 다뤘습니다. 모바일 앱의 회원가입부터 첫 구매까지 이탈 구간을 파악하는 것이 과제였는데, 로그 테이블이 분산 저장돼 단일 SQL로는 처리가 안 되는 구조였습니다.
저는 Spark SQL로 로그를 세션 단위로 집계한 뒤 BigQuery에 적재해 분석하는 2단계 파이프라인을 설계했습니다. Spark 최적화 경험이 부족해 시니어 엔지니어에게 파티션 전략을 조언받았고, 그 덕분에 처리 시간이 40분에서 8분으로 줄었습니다.
분석 결과 회원가입 후 24시간 내 앱 재방문율이 전체 전환율을 가장 크게 좌우한다는 것을 확인했고, 이 지표를 핵심 모니터링 대시보드에 추가하게 됐습니다. 이후 파이프라인 구조와 Spark 사용 기준을 팀 문서로 남겼습니다.
이 결의 특징
로그 테이블이 분산 저장돼 단일 SQL로 처리가 안 되는 구조에서 Spark SQL로 로그를 세션 단위로 집계한 뒤 BigQuery에 적재하는 2단계 파이프라인을 설계하고 시니어 엔지니어에게 파티션 전략을 조언받아 처리 시간을 40분에서 8분으로 줄인 흔적이 있습니다.
이 결이 통하는 자리
회원가입 후 24시간 내 앱 재방문율이 전체 전환율을 가장 크게 좌우한다는 분석 결론까지 나왔고, 파이프라인 구조와 Spark 사용 기준을 팀 문서로 남겼다는 절차화까지 드러날 때 통합니다. 처리 최적화에서 분석 결론까지 닫힌 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.