경영진에게 AI 현황을 보고할 때 어떤 방식으로 정보를 전달하나요?

인턴 기간 동안 ML 모델 서빙 서버를 운영하면서 고가용성을 유지하는 방식을 처음 배웠습니다. 당시 서비스는 FastAPI로 감싼 추론 서버 2대를 nginx로 로드밸런싱하는 구조였는데, 가끔 한 서버가 응답을 멈추는 상황이 반복됐습니다. 멘토님과 함께 지표를 분석하면서 `GPU` 메모리가 특정 배치 사이즈를 넘을 때 OOM이 발생한다는 패턴을 확인했습니다. 이후 배치 사이즈를 64에서 32로 줄이고 추론 요청을 큐에 쌓는 방식으로 개선했고, OOM 재시작이 일주일 기준 5회에서 0회로 줄었습니다. 제 역할은 로그 수집과 지표 시각화 대시보드를 만드는 것이었는데, 실제 장애 원인을 데이터로 찾아내는 과정이 감에 의존하는 것과 얼마나 다른지 직접 느꼈습니다. 이 경험 이후 모니터링 지표를 먼저 설계하고 운영을 시작하는 것이 중요하다는 관점이 생겼습니다.