모델의 재현성을 보장하기 위해 어떤 방법론을 사용하시나요?

PyTorch로 분류 모델을 학습할 때 재현성이 깨지는 원인을 처음으로 체계적으로 추적한 경험이 있습니다. torch.manual_seed만 고정했는데 결과가 매번 달라졌고, 원인을 찾아보니 numpy와 random 모듈까지 함께 고정해야 한다는 걸 알게 됐습니다.

GPU 환경에서는 여기서 한 단계 더 나아가야 했습니다. torch.backends.cudnn.deterministic=True와 benchmark=False를 함께 설정하자 동일한 시드로 실행한 두 번의 학습이 거의 같은 loss curve를 보였습니다. 단, 학습 속도가 약 10~15% 느려지는 트레이드오프가 있었습니다. 그 이후로 실험 단계에 따라 결정성 수준을 다르게 적용했습니다.

탐색 단계에서는 속도를 위해 비결정성을 허용하고, 최종 성능 검증에서만 완전 결정 모드로 돌리는 방식이었습니다. 결과 평가 기준으로는 동일 시드로 5회 실행 시 accuracy 편차가 0.3% 이내인지를 기준으로 삼았습니다. 환경 버전 차이도 재현성을 깨는 요인이어서 requirements.txt에 패키지 버전을 고정하고 공유하는 습관이 그 과정에서 생겼습니다.

비결정성을 아예 제거하려 하기보다 허용 범위를 단계별로 명확히 정의하는 방향이 실용적이라는 판단도 그때 만들어졌습니다.