대용량 데이터 처리 경험이 있다면, 어떤 도구나 방법론을 사용했나요?

학부 졸업 프로젝트에서 IoT 센서 5만 건 이상의 배치 데이터를 처리해야 하는 상황이 있었습니다. 처음에는 단순 pandas 루프로 처리했는데, 로컬에서 30분 이상 걸렸습니다. Spark를 써보려 했지만 팀 환경에 Spark 클러스터를 올리는 게 어려웠고, 대신 Dask를 선택해 단일 머신에서 멀티코어를 활용했습니다.

파티셔닝 단위를 잘못 설정해서 메모리 오버플로가 난 적이 있었는데, 그때 청크 사이즈를 조정하면서 메모리와 속도의 균형을 맞추는 방법을 익혔습니다. 최종적으로 처리 시간이 4분대로 줄었고, 결과 파일은 Parquet으로 저장해 재사용 속도도 높였습니다. 분산 처리를 처음 배울 때 클러스터 없이도 시작할 수 있다는 걸 그 과정에서 알게 됐습니다.