Python으로 ML 데이터 파이프라인 구축
Python을 활용해 ML 학습용 대규모 데이터 파이프라인을 구축한 경험이 있습니다. 기술 선택 이유는 pandas, dask, ray 생태계가 ML 데이터 처리에 최적화돼 있고, 팀 전체가 Python에 익숙해 유지보수 비용을 낮출 수 있었기 때문입니다.
기술적 도전은 메모리에 올라가지 않는 100GB+ 데이터를 효율적으로 처리하는 것이었습니다. Dask DataFrame으로 지연 계산을 활용하고, 청크 단위 스트리밍 처리로 메모리를 일정하게 유지했습니다. 팀원과 역할을 분담해 나는 전처리 파이프라인을, 파트너는 검증·로깅을 담당했습니다. 결과적으로 데이터 준비 시간이 8시간에서 45분으로 단축됐고, 파이프라인 재현성도 확보됐습니다. 이 경험으로 대용량 데이터 처리 설계 원칙을 실전에서 체득했습니다.