배치 처리로 메모리 한계 극복
약 75초
메모리에 한꺼번에 로드할 수 없는 데이터를 배치로 나눠 처리한 경험
학부 캡스톤 프로젝트에서 이미지 분류 모델을 학습할 때, 처음에는 전체 데이터를 한꺼번에 메모리에 로드하려다가 램 부족으로 커널이 죽는 경험을 했습니다. 데이터셋 크기가 4GB였는데 노트북 메모리가 8GB라 다른 프로세스까지 합치면 감당이 안 됐습니다. 교수님 안내로 배치 크기를 조정하고 데이터 제너레이터로 필요한 만큼만 로드하는 방식으로 바꿨더니 안정적으로 학습이 됐습니다. 대규모 데이터에서 메모리 효율을 고려하는 설계가 왜 필요한지 그때 처음 실감했습니다. 실제 프로덕션 규모의 경험은 없지만, 입사 후 더 큰 데이터를 다루면서 배우겠습니다.
이 결의 특징
이미지 분류 학습 시 4GB 데이터를 8GB 노트북 메모리에 한꺼번에 올리려다 커널이 죽은 실패가 또렷합니다. 배치 크기를 조정하고 데이터 제너레이터로 필요한 만큼만 로드하는 방식으로 안정화한 대목이, 대규모 데이터의 메모리 효율 설계가 왜 필요한지를 직접 겪어 체감한 결로 읽히게 합니다.
이 결이 통하는 자리
'프로덕션 규모 경험은 없지만 입사 후 더 큰 데이터로 배우겠다'는 솔직함이 커널이 죽은 구체와 함께 살아 있을 때 통합합니다. 메모리 한계를 배치 처리로 넘은 흐름이 또렷한 자리에서 면접관의 꼬리질문이 줄어드는 결이 보입니다.