데이터 수집 자동화 → 분석 파이프라인 구성 → 처리 시간 단축
학교 연구 프로젝트에서 반복적인 데이터 정리 작업에 매주 2~3시간을 쓰는 상황이 있었습니다. 저는 Python으로 정리 과정을 자동화하는 스크립트를 만들었습니다. 처음에는 엣지 케이스를 처리하지 않아서 일부 데이터가 잘못 분류되는 오류가 생겼습니다.
오류 케이스를 모아서 예외 처리를 추가하는 방식으로 반복 수정했습니다. 3번의 수정 이후 작업 시간이 2시간에서 10분으로 줄었습니다. 팀원들도 이 스크립트를 같이 쓰기 시작했고, 전체 연구 진행 속도가 빨라졌습니다. 데이터 자동화는 처음 만들 때 오류를 예상하고 여유를 두는 것이 중요하다는 걸 배웠습니다.
그 과정이 값진 배움이었습니다.