추론 API 레이턴시 지표로 성능 고도화한 경험
약 120초
경험 중심 — p95 레이턴시를 기준으로 모델 최적화를 진행한 과정
인턴 때 추론 API를 배포한 후, 처음에는 단순히 에러율만 확인했습니다. 그러나 팀장님께서 p95 레이턴시가 800ms를 넘으면 서비스에 영향이 있다고 말씀하셔서 Grafana에 지표를 추가했습니다.
지표를 추가한 결과, 입력 길이가 긴 요청이 레이턴시 스파이크의 주원인임을 알게 되었습니다. 그래서 입력 토큰 512개 이상 요청을 별도 큐로 분리하였고, 일반 요청의 p95가 300ms로 떨어졌습니다.
고도화 과정에서 팀원이 모델 가중치를 FP16으로 변경하자고 제안했으나, 저는 정확도 저하를 우려하여 반대했습니다. 결국 스테이징에서 2주간 A/B 테스트를 진행하였고, 정확도 차이가 0.3%p 이하라는 것이 확인되어 전환하게 되었습니다. 의견 충돌이 데이터로 해결된 경험이 기억에 남습니다.
이 결의 특징
단순 에러율만 확인하다가 p95 레이턴시 800ms 기준을 제시받은 후 관점 전환이 있었던 흔적입니다. 입력 길이 512토큰 경계 설정으로 구체적 최적화.
이 결이 통하는 자리
정확도 0.3%p 차이를 A/B 테스트로 검증한 후 의사결정하는 데이터 기반 문화가 살아 있을 때 통합니다. p95를 800ms에서 300ms로 개선.