대규모 AI 인프라를 설계하고 운영하는 데 있어 가장 중요하게 생각하는 요소는 무엇인가요?

제가 작은 규모지만 모델 추론 서버를 운영하면서 제일 중요하다고 느낀 것은 가용성과 장애 격리입니다. 인턴 때 GPU 메모리 할당이 잘못되어 추론 서버 하나가 OOM으로 죽었고, 같은 노드에 있던 다른 서비스까지 응답이 느려지는 문제가 발생했습니다.

그때 컨테이너별로 메모리 상한을 설정하고 서비스를 분리하는 것이 얼마나 중요한지 직접 느꼈습니다. 이후에는 resource limits 설정과 레플리카 분산 배치를 기본으로 챙기게 되었습니다.

또한 AI 인프라에서는 모델 버전 관리도 중요하다고 생각합니다. 같은 엔드포인트에서 모델을 변경했을 때 출력 포맷이 달라지면 downstream이 조용히 망가지기 때문입니다. 작은 팀이라도 모델 배포 시 스테이징 환경에서 출력 검증을 먼저 하는 습관을 들이게 된 계기가 되었습니다.