경험 기반 구체화
논문과 실제 구현 사이에서 가장 큰 차이를 경험한 것은 학교 NLP 수업의 논문 재현 프로젝트에서였습니다. 논문에 명시된 하이퍼파라미터를 그대로 쓰면 동일한 결과가 나올 것이라 기대했지만, 실제로는 배치 크기와 학습률 조합에 따라 결과가 크게 달랐습니다. 원인을 추적해보니 논문에서 학습 데이터 전처리 방식이 구체적으로 기술되지 않아서, 토크나이저 선택과 특수문자 처리 방식을 제가 임의로 결정했고 그 차이가 결과에 영향을 미쳤습니다. 또 논문은 특정 하드웨어·라이브러리 버전에서 실험된 것이라, 라이브러리 버전이 다르면 같은 코드도 다른 결과가 나올 수 있다는 것을 직접 경험했습니다. 이 경험으로 논문을 읽을 때 실험 재현에 필요한 세부 사항이 충분한지를 우선 확인하는 습관이 생겼습니다.