Streaming ASR과 엣지 처리로 저지연 달성
음성 환경에서 저지연을 달성하기 위해 Streaming ASR(음성 인식)과 엣지 사이드 처리를 조합하는 기술적 접근을 고려합니다. 클라우드 왕복 레이턴시가 수백ms에 달해 실시간 대화 경험을 저해하는 것이 핵심 문제입니다. 저지연 솔루션으로 Whisper의 스트리밍 버전을 활용해 발화가 완료되기 전에 부분 전사를 시작하고, 엔드포인트 감지(VAD)로 발화 종료를 신속하게 인식합니다.
고품질 음성을 위해 노이즈 억제(RNNoise), 에코 캔슬링, AGC(자동 이득 제어)를 클라이언트 사이드에서 처리해 서버 처리 부하를 줄입니다. 기술적 접근은 WebRTC로 저지연 P2P 음성 전송을 확보하고, 음성 환경 특징에 맞게 네트워크 품질에 따른 적응형 오디오 코덱(Opus)을 사용했습니다. 이 구조로 엔드투엔드 지연을 800ms에서 200ms 이내로 단축하면서 인식 정확도도 유지했습니다.