대용량 데이터 파이프라인 리딩 경험이 없음을 인정하고, 비슷한 데이터 처리 경험을 1인칭으로 푼다.
대용량 데이터 파이프라인 구축을 리딩해본 실무 경험은 아직 없습니다. 그래서 그 부분은 솔직히 말씀드리는 게 알맞은 안내라고 생각합니다.
다만 제가 졸업 프로젝트에서 흩어진 데이터를 모아 처리하는 작은 흐름을 만들어본 경험이 있습니다. 여러 곳의 데이터를 모아, 정제하고, 분석 가능한 형태로 바꾸는 일이었습니다.
처음엔 제가 데이터가 적을 때만 생각하고 만들었다가, 양이 늘자 처리가 멈춘 적이 있었습니다. 그 실패로 저는 데이터 처리는 "양이 늘어도 버티는지"를 미리 생각해야 한다는 점을 배웠습니다. 대용량 파이프라인은 규모도 크고 변수도 많아 훨씬 복잡할 것입니다. 경험이 부족한 만큼, 저는 입사 후 실제 파이프라인 구축을 선배에게 배우며 채워가겠습니다.