예시 답변 1
약 104초
공개 대용량 데이터셋·분산 처리 필요성·배치 학습·결과 측정 연결 중심으로 푸는 결
학부 졸업 프로젝트에서 공개 데이터셋 수백만 건을 처리해 텍스트 분류 모델을 학습시킨 경험이 있습니다. 처음에는 전체 데이터를 한 번에 메모리에 올리려다 OOM(메모리 부족) 오류가 반복됐습니다. 원인은 데이터 전처리를 인메모리에서 일괄 처리하려 했던 구조였고, Python 제너레이터로 배치 단위로 읽어 학습하는 방식으로 바꿨습니다. 데이터 파이프라인은 pandas로 정제한 뒤 HuggingFace 데이터셋 포맷으로 저장해 디스크 기반 로딩으로 전환했습니다. 학습 속도 개선을 위해 혼합 정밀도(`fp16`)를 적용했더니 GPU 메모리가 30% 줄었고, 에포크당 학습 시간이 절반 수준으로 단축됐습니다. 결과 측정은 F1-score와 혼동 행렬로 확인했고, 클래스 불균형이 있어서 가중 평균을 별도로 뽑아 봤습니다. 이 경험 이후 대규모 데이터 작업을 시작하기 전에 메모리 사용 패턴을 먼저 예측하는 습관이 생겼습니다.
이 결의 특징
단순히 노력만 한 것이 아니라 30%처럼 정량적 결과로 그 일의 임팩트를 검증한 흔적이 있습니다.
이 결이 통하는 자리
단순 경험담이 아니라 상황의 원인을 파고든 사고 과정을 설명할 때, 문제 해결 역량이 있는 사람으로 보이는 결이 보입니다.