이 질문 뒤에 면접관이 확인하려는 것은 따로 있습니다.
제가 작은 규모지만 모델 추론 서버를 운영하면서 제일 중요하다고 느낀 것은 가용성과 장애 격리입니다. 인턴 때 GPU 메모리 할당이 잘못되어 추론 서버 하나가 OOM으로 죽었고, 같은 노드에 있던 다른 서비스까지 응답이 느려지는 문제가 발생했습니다.
그때 컨테이너별로 메모리 상한을 설정하고 서비스를 분리하는 것이 얼마나 중요한지 직접 느꼈습니다. 이후에는 resource limits 설정과 레플리카 분산 배치를 기본으로 챙기게 되었습니다.
또한 AI 인프라에서는 모델 버전 관리도 중요하다고 생각합니다. 같은 엔드포인트에서 모델을 변경했을 때 출력 포맷이 달라지면 downstream이 조용히 망가지기 때문입니다. 작은 팀이라도 모델 배포 시 스테이징 환경에서 출력 검증을 먼저 하는 습관을 들이게 된 계기가 되었습니다.
캡스톤 프로젝트에서 추론 서버를 띄웠는데, 처음에 GPU 활용률이 20% 아래로 내려가는 걸 보고 뭔가 잘못됐다고 느꼈어요. Prometheus로 지표를 보니 배치 크기가 너무 작아서 요청 하나 처리하고 GPU가 계속 놀고 있었습니다.
동적 배칭 설정으로 요청을 모아서 처리하도록 바꾸니 활용률이 65%까지 올라갔어요. 완전한 대규모 인프라는 아니었지만, AI 인프라에선 단순히 서버를 띄우는 것보다 GPU 리소스를 얼마나 효율적으로 쓰느냐가 비용에 직결된다는 걸 배웠습니다.
대규모 환경이라면 노드 오토스케일링 기준을 GPU 활용률 기반으로 잡아야 CPU 기반 스케일링보다 훨씬 정확하게 반응할 것 같다고 생각해요. 아직 경험이 많지 않지만 이 방향으로 공부 중입니다.
대규모 AI 인프라를 직접 설계한 경험은 없지만, 소규모 추론 서버를 운영하면서 관찰 가능성이 제일 먼저 갖춰야 할 것이라고 생각하게 됐어요.
인턴 때 모델 응답 시간이 갑자기 2배 이상 늘었는데, 로그가 부족해서 원인을 찾는 데 3시간 넘게 걸린 적이 있어요. 알고 보니 입력 토큰 길이가 급격히 길어진 배치가 들어온 게 원인이었는데, 메트릭이 없으니 추측만 하고 있었습니다.
그 이후엔 요청별 입력 크기, 추론 시간, 메모리 사용량을 기본 메트릭으로 수집하는 게 습관이 됐어요. 대규모라면 이 메트릭을 기반으로 한 알림 규칙이 없으면 장애가 나도 한참 뒤에 알게 된다고 생각합니다. 설계할 기회가 생기면 이 부분을 제일 먼저 챙길 것 같아요.
답변에서 흔히 빠지는 것들 — 빠져 있으면 꼬리질문이 깊어집니다.
이 질문에 이어 111퍼센트 백엔드 면접관이 던질 가능성이 높은 후속 질문.
이 페이지의 질문·답변·꼬리질문은 유사 직군 채용 시장의 공개된 면접 후기·커뮤니티 게시물을 분석해 구성한 학습 자료입니다. 특정 회사가 실제로 이 질문을 출제했다는 것을 보장하지 않으며, 모든 예시는 우문현답이 직접 작성한 창작물입니다. 해당 회사의 공식 입장과는 무관합니다. 회사 측의 정정 요청이 있을 경우 24시간 이내에 응답·수정합니다.