*데이터 엔지니어링 프로젝트 경험*을 학부 캡스톤·인턴 경험으로 답한다.
기업 데이터 엔지니어링 실무는 없습니다. 학부 캡스톤 6주에서 작은 ETL·인턴 6주에서 데이터 마트 보조를 다뤄본 정도입니다.
캡스톤에서 공공 Open API 3종·12만 건 적재·매일 새벽 배치·시각화 대시보드까지 한 사이클을 돌렸습니다. 멱등성·증분 처리·실패 알림이 코드의 절반을 차지한 자리였고, 7일 연속 무중단 적재가 결과였습니다.
첫 주에 모든 API를 한 번에 붙인 실패가 있었고, 한 API가 죽으면 전체가 멈춘 자리가 있었습니다. 그 일이 API당 독립 파이프라인이라는 자세를 만들었습니다. 실무에서도 사수의 파이프라인 양식부터 익히고 싶습니다. 실무에서도 사수의 양식과 순서를 첫 자리에서 손에 익히고, 그 흐름이 매일의 자세로 굳어지게 만드는 자리부터 들어가고 싶습니다.