모델 응답 시간 최적화 경험
약 90초
AI 모델 서빙 서버에서 응답 시간이 느린 원인을 찾아 개선한 경험
졸업 작품으로 이미지 분류 모델을 서빙하는 API 서버를 만들었는데, 첫 요청이 항상 3초가 넘었습니다. 두 번째부터는 빠른데 첫 요청만 느렸습니다.
모델이 첫 요청 시 메모리에 로드되는 구조였습니다. 서버 시작 시 모델을 미리 로드해 두는 방식으로 바꾸니 첫 응답도 200ms 이내가 됐습니다. 메모리 사용이 늘었지만 서빙 응답성이 더 중요한 상황이었습니다.
실패도 있었습니다. 배치 크기를 1로 고정해 요청이 몰릴 때 처리량이 낮은 문제가 있었습니다. 동적 배칭을 도입해 짧은 시간 내 들어온 요청을 묶어 처리하는 방식으로 개선했습니다. AI 모델 서빙에서는 모델 로딩 전략과 배칭 설계가 응답성에 가장 큰 영향을 준다는 걸 그때 배웠습니다.
이 결의 특징
졸업 작품으로 이미지 분류 모델을 서빙하는 API 서버를 만들었는데, 첫 요청이 항상 3초가 넘었습니다. 두 번째부터는 빠른데 첫 요청만 느렸습니다. 모델이 첫 요청 시 메모리에 로드되는 구조였습니다. 서버 시작 시 모델을 미리 로드해 두는 방식으로 바꾸니 첫 응답도 200ms 이내가 됐습니다. 메모리 사용이 늘었지만 서빙 응답성이 더 중요한 상황이었습니다...
이 결이 통하는 자리
요한 상황이었습니다. 실패도 있었습니다. 배치 크기를 1로 고정해 요청이 몰릴 때 처리량이 낮은 문제가 있었습니다. 동적 배칭을 도입해 짧은 시간 내 들어온 요청을 묶어 처리하는 방식으로 개선했습니다. AI 모델 서빙에서는 모델 로딩 전략과 배칭 설계가 응답성에 가장 큰 영향을 준다는