경험 기반 구체화
PyTorch를 사용한 프로젝트 중 가장 도전적이었던 것은 학교 NLP 수업에서 감성 분석 모델을 LSTM 기반으로 직접 구현한 것입니다. 라이브러리의 완성된 모델을 가져다 쓰지 않고, DataLoader·Embedding·LSTM·Linear 레이어를 처음부터 조립하면서 텍스트 데이터의 수치 변환과 시퀀스 처리를 깊이 이해할 수 있었습니다. 가장 어려웠던 부분은 배치 패딩(padding) 처리인데, 길이가 다른 문장을 배치로 묶으려면 짧은 쪽을 패딩하고 pack_padded_sequence로 시퀀스 길이를 알려줘야 한다는 것을 디버깅하면서 배웠습니다. 또 그래디언트 소실 문제로 학습이 수렴하지 않는 상황을 만났는데, gradient clipping을 추가하자 안정적으로 수렴했습니다.
프레임워크를 직접 뜯어보는 것이 단순 사용보다 실력을 훨씬 빠르게 올린다는 것을 배웠습니다.