이전에 여러 엔지니어링 팀과 협업한 경험에 대해 구체적으로 설명해 줄 수 있나요? 어떤 역할을 맡았고, 어떤 결과를 도출했나요?

졸업 프로젝트에서 외부 API에서 데이터를 주기적으로 수집해서 정제·저장하는 파이프라인을 처음 만들었습니다. 파이프라인에서 가장 먼저 설계한 건 수집·정제·저장 각 단계가 독립적으로 실패해도 전체가 멈추지 않는 구조였습니다. 데이터 측면에서는 외부 API 응답 형식이 예고 없이 바뀌는 경우를 경험했는데, 스키마 검증 단계를 넣어서 비정상 데이터를 조기에 거르는 방식을 배웠습니다. 저장 측면에서는 원본 데이터를 그대로 보관하는 레이어와 정제된 데이터를 분리해서 정제 로직이 바뀌어도 재처리가 가능하도록 설계했습니다. 역할 측면에서는 스케줄러 설정부터 에러 로그 모니터링까지 파이프라인 전체를 담당해서 각 단계가 어떻게 연결되는지를 전체 시각으로 배웠습니다.

데이터 엔지니어링은 코드가 아니라 데이터가 흐르는 경로와 각 단계의 계약을 설계하는 것이라는 걸 느꼈습니다.