예시 답변 1
약 90초
Spark + Delta Lake로 배치 처리 파이프라인
Apache Spark와 Delta Lake를 조합해 일 단위 대용량 배치 처리 파이프라인을 구축한 경험이 있습니다. 수십억 건의 로그 데이터를 단일 서버에서 처리하다 보니 배치 처리 시간이 12시간을 넘어 비즈니스 리포트 마감을 자주 놓쳤습니다. Spark DataFrame API로 분산 처리를 전환하고, 파티셔닝 전략을 날짜·이벤트 타입 기준으로 설계해 셔플 비용을 줄였습니다.
Delta Lake의 ACID 트랜잭션으로 파이프라인 중단 시 데이터 정합성을 보장하고, Time Travel 기능으로 이전 버전 데이터 복원이 가능해졌습니다. 처리 중 발생한 가장 어려운 문제는 스큐(Skew) 현상이었고, Salt 기법으로 핫 파티션을 분산해 해결했습니다. 결과적으로 처리 시간이 12시간에서 1.5시간으로 단축됐고 비용도 55% 절감됐습니다.
이 결의 특징
Spark + Delta Lake 기술 스택을 구체적 숫자(12시간→1.5시간, 55% 절감)로 증명하는 결이 보입니다. Salt 기법이라는 세부 해결책까지 명명하는 흔적이 있어, 도구 선택의 이유와 문제 대응 경로가 한 답 안에 촘촘하게 연결되는 구조입니다. 면접관이 '스큐 현상 외에 다른 병목은 없었나요?'처럼 기술 깊이를 파고드는 흐름이 자주 관찰됩니다.
면접관이 다음에 할 행동
처리 시간 단축 수치와 비용 절감이 동시에 제시돼 있어, 면접관이 '이 구조를 다른 팀이나 다른 데이터 소스에도 적용했나요?'를 확장 질문으로 이어가는 자리가 만들어지는 결입니다. 재현 가능성과 일반화 여부를 확인하려는 추가 탐색이 줄어드는 대신 확장성 질문으로 전환되는 패턴이 있습니다.