학부 ML 인프라 팀 프로젝트, GPU 스케줄링·모델 배포 문제 경험
학부 팀 프로젝트에서 GPU 서버를 공유하는 ML 실험 환경을 구축했을 때, 자원 경합과 재현성이 가장 어려운 문제였습니다. 여러 팀이 같은 서버를 쓰다 보니 GPU 메모리 부족으로 실험이 중단되는 경우가 잦았습니다. 저는 실험 요청을 큐로 관리하고, 우선순위와 예상 소요 시간을 기준으로 자원을 배분하는 간단한 스케줄링 규칙을 만들었습니다. 모델 버전 관리도 문제였는데, 실험 설정 파일과 모델 가중치를 함께 저장하는 규칙을 정한 뒤 재현성이 훨씬 나아졌습니다. AI 플랫폼 운영에서는 컴퓨팅 자원 효율과 실험 추적 가능성이 성능 못지않게 중요하다는 걸 배웠습니다.
모델이 좋아도 인프라가 불안정하면 운영이 불가능하다는 걸 그 경험에서 실감했습니다.