면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
사용자 행동 로그 데이터가 일 평균 수천만 건씩 쌓이는 프로젝트에서 Spark를 활용해 배치 집계 파이프라인을 구축한 경험이 있습니다. 초기에는 단일 SQL 쿼리로 처리하려 했지만 처리 시간이 지나치게 길어져 Spark의 분산 처리 방식으로 전환했습니다. 파티셔닝 기준을 날짜와 사용자 그룹으로 나눠 처리 시간을 기존 대비 60% 단축할 수 있었습니다. 데이터 규모가 커지면 도구 선택 자체가 성능을 좌우한다는 것을 실감한 경험이었습니다.
고객 문의 텍스트 데이터를 분석하는 프로젝트에서 정형화되지 않은 자유 텍스트를 다뤄야 했습니다. Python으로 정규표현식을 활용해 불필요한 기호와 중복 표현을 제거하고, 이후 SQL로 정제된 데이터를 적재해 분석 가능한 형태로 만들었습니다. 이 과정에서 비정형 데이터는 정제 단계가 전체 작업 시간의 절반 이상을 차지한다는 것을 배웠습니다. 정제된 데이터를 바탕으로 자주 발생하는 문의 유형을 분류해 팀에 공유했습니다.
수억 건 규모의 거래 데이터를 조회하는 쿼리가 실행 시간이 10분 넘게 걸려 병목이 됐던 적이 있습니다. 실행 계획을 분석한 결과 인덱스가 제대로 활용되지 않고 있다는 것을 발견해 조건절 순서를 조정하고 필요한 컬럼에 인덱스를 추가했습니다. 그 결과 실행 시간을 1분 이내로 줄일 수 있었습니다. 대용량 데이터에서는 쿼리 하나의 구조가 전체 파이프라인의 속도를 결정한다는 것을 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.