과거에 대용량 데이터 파이프라인 구축 프로젝트를 리딩한 경험이 있다면, 그 과정과 성과를 설명해 주세요.

대용량 데이터 파이프라인 구축에 대한 제 경험을 솔직히 말씀드리면, 실무로 리딩해본 적은 없고 학부 프로젝트의 작은 데이터 처리 경험으로 익힌 단계입니다. 다만 저는 모른다고 멈추기보다 스스로 메우는 편입니다.

최근 저는 데이터 파이프라인이 어떻게 구축되는지 자료로 찾아보며 노트를 정리했습니다. 그 과정에서 제가 이해한 것은, 파이프라인이 데이터 수집, 정제와 변환, 저장과 활용이라는 단계로 이어지고, 양이 늘어도 안정적으로 도는 설계가 중요하다는 점입니다.

아직 실무 경험이 없다는 건 제 분명한 한계입니다. 그래서 입사 후 초기에는 선배의 작업을 따라가며 익히는 시간이 필요하다고 봅니다. 다만 학부에서 작은 데이터 처리 흐름을 직접 만들어본 점이 토대가 되고, 모르는 걸 덮어놓고 안다고 하지 않는 것이 제 태도입니다.