예시 답변 1
약 84초
요구 파악 결 → 입수 결 → 가공 결 → 검증 결
외부 데이터를 입수하고 가공하는 프로그램을 개발할 때 저는 먼저 데이터 공급 방식과 갱신 주기를 파악합니다. 요구 파악 자리에서는 외부 데이터는 API, 파일 전달, 웹 크롤링처럼 형태가 다양하고, 공급 방식에 따라 개발 접근이 달라집니다. 입수 자리에서는 어떤 방식이든 실패 처리와 알림을 먼저 설계합니다. 외부 데이터는 공급자 측 변경이 예고 없이 생길 수 있어서, 오류가 조용히 지나가면 잘못된 데이터가 쌓입니다. 가공 자리에서는 원천 데이터는 변경하지 않고 그대로 저장하고, 가공은 별도 단계에서 합니다.
원본을 보존해야 나중에 가공 로직이 잘못됐을 때 원천부터 다시 처리할 수 있습니다. 검증 자리에서는 입수된 데이터의 건수·날짜 범위·이상 값 분포를 기준 기대치와 비교해서, 공급 데이터에 문제가 없는지를 자동으로 확인하는 로직을 넣습니다.
이 결의 특징
공급 방식 파악 → 실패 처리·알림 설계 → 원본 보존·가공 분리 → 검증 단계로 이어지는 체계적인 접근 순서가 이 결의 핵심입니다. 외부 데이터의 예고 없는 변경에 대한 대비를 강조합니다.
이 결이 통하는 자리
데이터 엔지니어링 직군 면접에서 '외부 데이터 파이프라인 설계'를 물을 때 잘 맞습니다. 단순 구현이 아니라 운영 가능한 설계 사고를 가진 지원자인지 확인하고 싶은 면접관이 멈추는 결입니다.