*REST API·Open API 데이터 수집*을 학부 캡스톤 경험으로 답한다.
기업 데이터 수집 실무는 없습니다. 학부 캡스톤에서 공공 Open API 3종을 6주간 수집한 경험이 가장 가까운 자리입니다.
데이터 12만 건을 안정적으로 모으는 자리에서 가장 어려웠던 자리는 예외 처리였습니다. 429 응답·타임아웃·중복 ID·인코딩 차이가 수집을 자주 멈추는 자리였습니다. 각 예외에 재시도·백오프·중복 키 체크를 붙인 뒤에 7일 연속 무중단 수집이 굳어졌습니다.
첫 주에 모든 API를 한 번에 붙인 실패가 있었고, 한 API가 죽으면 전체가 멈춘 자리가 있었습니다. 그 일이 API당 독립 파이프라인이라는 자세를 만들었습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.