이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
기업 ETL 실무는 없습니다. 학부 캡스톤에서 외부 공공 API 3종을 한 DB로 모으는 ingestion을 6주간 해본 정도입니다.
가장 큰 어려움은 3종 API의 응답 스키마가 모두 달랐던 자리였습니다. 날짜 포맷·인코딩·페이지네이션 방식이 다 달라서 공통 스키마로 옮기는 변환 함수가 코드의 절반을 차지했습니다.
첫 주에 모든 API를 한 번에 붙인 실패가 있었고, 한 API가 죽으면 전체가 멈춘 자리가 있었습니다. 그 일이 API당 독립 파이프라인·재시도 한 줄이라는 자세를 만들었습니다. 실무에서도 사수의 ingestion 패턴부터 익히는 자리로 들어가고 싶습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.
신규 데이터 소스 ingestion에서 따르는 네 단계입니다.
첫째, 소스 탐색·샘플 100건 다운로드. 전체를 보기 전에 100건으로 스키마·예외를 확인. 둘째, 공통 스키마 매핑. 우리 쪽 표준에 어떻게 옮기는지를 글로 합의. 셋째, 오류·재시도·중복 처리. 네트워크 끊김·중복 ID가 실패를 키우지 않게. 넷째, 증분 vs 전체 적재 정의.
캡스톤에서 4단계 증분 정의를 빠뜨려 매일 전체 적재를 한 실패가 있었고, DB 부하가 매일 새벽에 튀었던 자리가 있었습니다. 그 일이 증분은 첫 자리부터라는 자세를 만들었습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.
ingestion의 진짜 어려움은 정상 경로가 아니라 예외 경로라는 걸 캡스톤에서 알았습니다.
정상 응답을 받는 코드는 두 시간에 끝났습니다. 그 다음 4주는 예외만 만진 자리였습니다. API 429 응답·타임아웃·페이지네이션 중단·인코딩 깨짐 — 예외 종류 8가지에 각각의 처리가 필요했습니다.
첫 주에 예외 한 가지에만 대비한 실패가 있었고, 둘째 주에 다른 예외 한 건이 전체 적재를 막은 자리가 있었습니다. 그 일이 예외 종류 목록을 글로 먼저라는 자세를 만들었습니다. 실무에서도 사수의 예외 매트릭스부터 익히고 싶습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 토스 데이터 엔지니어 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.