예시 답변 1
약 90초
도구 선택 근거와 결과 인사이트를 함께 설명하는 결
졸업 프로젝트로 공공 데이터 포털의 버스 운행 이력 데이터를 활용해 노선별 지연 패턴을 분석했습니다. 데이터 규모가 3억 건 이상이라 pandas로는 처리가 어려웠고, Apache Spark를 처음 써보기로 했습니다. PySpark로 로컬 클러스터를 구성하고, 시간대·날씨·요일을 교차 분석해 출퇴근 시간대 특정 구간에서 지연이 집중된다는 인사이트를 도출했습니다. 특히 기상 데이터와 조인하는 과정에서 셔플 비용이 생각보다 크다는 것을 경험했고, broadcast join을 적용해 처리 시간을 줄였습니다. 팀 안에서는 제가 데이터 수집·전처리를 담당하고 팀원이 시각화와 발표를 맡았는데, 중간에 전처리 기준이 달라 분석 결과가 달라지는 상황이 생겼습니다. 이후 공통 전처리 스크립트를 먼저 확정한 뒤 각자 작업하는 방식으로 바꿨습니다.
이 결의 특징
도구 이름만 나열하지 않고 셔플 비용이라는 구체적 성능 문제와 broadcast join이라는 해결책을 짝짓는 결이다. 팀 내 전처리 기준 불일치 문제까지 짚는다.
이 결이 통하는 자리
빅데이터 경험을 도구 사용 경험으로만 답하기 쉬운 질문에서, 실제 성능 문제 해결 과정으로 깊이를 더하는 답이 통하는 자리다.