이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
실제 서비스에 GPU 가상화를 도입한 경험은 없지만, 인턴 때 GPU 한 대를 여러 추론 작업이 공유하는 상황을 겪으면서 관련 자료를 찾아보았습니다.
당시 A100 한 장을 두 팀이 번갈아 사용하는 구조였는데, 한 팀이 작업을 오래 수행하면 다른 팀이 아무것도 하지 못하는 상황이 자주 발생했습니다. NVIDIA MIG를 사용하면 GPU를 파티션으로 나눌 수 있다는 사실을 그때 알게 되었습니다.
직접 설정을 건드리지는 못했지만, MIG 프로파일 문서를 보니 7g.80gb를 여러 개의 1g.10gb로 분할하여 소규모 추론에 고루 할당하는 방식이 유휴율을 줄이는 데 효과적일 것 같았습니다. 기회가 생기면 직접 적용해보고 싶은 기술입니다.
졸업 프로젝트에서 모델 추론 컨테이너 두 개를 같은 노드에서 돌렸는데, 둘 다 GPU 메모리를 전부 쓰려 해서 한 쪽이 OOM으로 죽는 문제가 반복됐어요.
처음엔 단순히 컨테이너 실행 순서를 조정해서 피하려 했는데, 근본적인 해결이 안 됐습니다. 결국 CUDA_VISIBLE_DEVICES로 컨테이너별로 보이는 GPU를 분리하고, --gpus device=0 / --gpus device=1 방식으로 물리 분리를 했어요.
단순 분리만으로도 OOM 재발이 없어졌고, 두 컨테이너 모두 안정적으로 올라왔습니다. GPU 가상화 기술을 쓴 건 아니었지만, 이 경험으로 GPU 자원을 명시적으로 격리하는 게 얼마나 중요한지 느꼈어요. 나중에 MIG나 vGPU 같은 기술로 더 세밀하게 제어해보고 싶다는 생각을 했습니다.
인턴 때 팀에서 GPU 서버 3대를 공유 풀로 운영했는데, 낮 시간대에도 실제 활용률이 40% 안팎이었어요. 문제를 보니 잡 하나가 GPU 전체를 예약하고 실제로는 30%만 쓰는 경우가 많았습니다.
당시 인프라 팀에서 time-slicing 방식을 실험적으로 적용하는 걸 옆에서 봤어요. GPU 한 장에 여러 컨테이너가 순서대로 접근하도록 해서, 실질 활용률이 75%까지 올라가는 걸 지표로 확인했습니다.
다만 time-slicing은 레이턴시가 중요한 실시간 추론에는 맞지 않았고, 배치 학습 잡에만 적용했어요. 이 경험에서 GPU 가상화 전략은 잡의 성격(배치 vs 실시간)에 따라 다르게 가져가야 한다는 걸 배웠습니다.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 토스 ML 인프라 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.