GPU 인프라를 운영하며 겪은 어려움과 그 해결책에 대해 말씀해 주세요.

GPU 드라이버 소프트웨어 스택 유지 관리 경험은 딥러닝 실험 환경을 구성하면서 드라이버 버전 충돌 문제를 반복적으로 겪으면서 쌓았습니다. GPU 툴킷 버전과 PyTorch 버전, 드라이버 버전 사이의 호환성이 맞지 않으면 런타임에서 예상치 못한 오류가 났습니다.

호환성 매트릭스를 먼저 확인하는 습관을 들였는데, 공식 툴킷 문서에 버전별 지원 드라이버 범위가 명시되어 있어 이것을 기준으로 설치 순서를 정했습니다. nvidia-smi로 현재 드라이버 버전을 확인하고, 가상환경 단위로 패키지를 분리해 실험 환경이 서로 오염되지 않도록 관리했습니다.

Docker를 활용해 GPU 드라이버 포함 이미지를 고정하자, 팀원 간 환경 재현성이 크게 높아졌습니다. 한계는 호스트 드라이버와 컨테이너 내 툴킷 버전의 상한선 관계를 처음에 이해하는 데 시간이 걸렸다는 점입니다. GPU 스택 유지는 버전 조합을 문서화하는 것이 반복 문제를 막는 결임을 배웠습니다.