솔직 경험형
약 65초
*신규 데이터 소스 ingestion*을 학부 캡스톤·인턴 경험으로 답한다.
기업 ETL 실무는 없습니다. 학부 캡스톤에서 외부 공공 API 3종을 한 DB로 모으는 ingestion을 6주간 해본 정도입니다.
가장 큰 어려움은 3종 API의 응답 스키마가 모두 달랐던 자리였습니다. 날짜 포맷·인코딩·페이지네이션 방식이 다 달라서 공통 스키마로 옮기는 변환 함수가 코드의 절반을 차지했습니다.
첫 주에 모든 API를 한 번에 붙인 실패가 있었고, 한 API가 죽으면 전체가 멈춘 자리가 있었습니다. 그 일이 API당 독립 파이프라인·재시도 한 줄이라는 자세를 만들었습니다. 실무에서도 사수의 ingestion 패턴부터 익히는 자리로 들어가고 싶습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.
이 결의 특징
3종 API의 날짜 포맷·인코딩·페이지네이션이 모두 달라 변환 함수가 코드 절반을 차지한 경험과, 한 API 장애가 전체를 멈춘 실패를 계기로 독립 파이프라인으로 전환한 흔적이 있습니다.
이 결이 통하는 자리
API당 독립 파이프라인과 재시도라는 원칙이 실제 실패 경험으로 뒷받침될 때 통합니다.