대규모 데이터 학습 및 활용 경험이 있다면, 어떤 방식으로 데이터를 처리했는지 이야기해줄래?

학부 졸업 프로젝트에서 공개 데이터셋 수백만 건을 처리해 텍스트 분류 모델을 학습시킨 경험이 있습니다. 처음에는 전체 데이터를 한 번에 메모리에 올리려다 OOM(메모리 부족) 오류가 반복됐습니다. 원인은 데이터 전처리를 인메모리에서 일괄 처리하려 했던 구조였고, Python 제너레이터로 배치 단위로 읽어 학습하는 방식으로 바꿨습니다. 데이터 파이프라인은 pandas로 정제한 뒤 HuggingFace 데이터셋 포맷으로 저장해 디스크 기반 로딩으로 전환했습니다. 학습 속도 개선을 위해 혼합 정밀도(`fp16`)를 적용했더니 GPU 메모리가 30% 줄었고, 에포크당 학습 시간이 절반 수준으로 단축됐습니다. 결과 측정은 F1-score와 혼동 행렬로 확인했고, 클래스 불균형이 있어서 가중 평균을 별도로 뽑아 봤습니다. 이 경험 이후 대규모 데이터 작업을 시작하기 전에 메모리 사용 패턴을 먼저 예측하는 습관이 생겼습니다.