면접관이 이 한 문장으로 확인하려는 것들. 각 갈래를 알면 답의 뼈대가 잡혀요.
교내 데이터 프로젝트에서 파이프라인을 설계할 때, 저는 처리 속도보다 데이터 정합성 검증 단계를 먼저 넣는 것을 우선했습니다. 초기 버전은 속도를 위해 검증을 생략했는데, 이후 중복 데이터가 섞여 분석 결과가 왜곡되는 문제를 겪었습니다.
이후 적재 전 단계에 스키마 검증과 중복 제거 로직을 추가했고, 처리 속도는 약간 느려졌지만 데이터 신뢰도는 확실히 올라갔습니다.
파이프라인은 빠른 것보다 믿을 수 있는 것이 우선이라는 것을 그 경험으로 배웠습니다.
팀 프로젝트에서 만든 파이프라인이 중간 단계에서 실패했을 때, 처음부터 다시 돌려야 했던 경험이 있습니다. 저는 이후 각 단계마다 체크포인트를 남겨 실패 지점부터 재처리할 수 있도록 구조를 바꿨습니다.
이 변경 이후, 특정 단계에서 오류가 나도 전체를 재실행하지 않고 해당 단계부터만 다시 돌릴 수 있어 복구 시간이 크게 줄었습니다.
파이프라인은 언젠가 실패한다는 전제하에, 실패했을 때 얼마나 빨리 복구할 수 있는지를 설계 단계에서 고려해야 한다고 배웠습니다.
두 개의 서로 다른 데이터 소스를 통합하는 프로젝트에서, 한 소스는 실시간에 가깝게 갱신되고 다른 소스는 하루에 한 번만 갱신된다는 것을 파악했습니다.
저는 두 소스를 같은 주기로 처리하지 않고, 갱신 주기가 다른 데이터를 별도 파이프라인으로 분리해 처리했습니다. 하나로 묶었다면 느린 소스 때문에 전체 파이프라인이 불필요하게 대기해야 했을 것입니다.
소스의 특성을 무시하고 하나의 파이프라인으로 통일하려 하면 오히려 비효율이 생긴다는 것을 배웠습니다.
같은 실수가 반복돼요. 이것만 피해도 절반은 갑니다.
진짜 면접은 두 번째 질문부터예요. 이 답 뒤에 따라올 법한 것들.