STT와 TTS 모델을 개발할 때 어떤 접근 방식을 사용하셨나요?

졸업 프로젝트에서 도메인 특화 STT 모델을 처음 파인튜닝해보면서 음성 처리 모델의 개발 흐름을 경험했습니다. 기반 모델은 공개된 사전학습 모델을 써서 범용 음성 인식 성능부터 확인하는 것부터 시작했습니다. 도메인에 특화된 어휘가 많은 경우 범용 모델의 단어 오류율이 예상보다 높다는 걸 실제 테스트로 확인했습니다. 파인튜닝을 위해 도메인 음성 데이터를 직접 수집하고 레이블링했는데, 데이터 품질이 모델 성능에 직접 영향을 준다는 걸 경험했습니다. 평가에서는 단순히 단어 오류율만 보는 게 아니라 도메인 핵심 어휘에서의 정확도를 별도로 추적했습니다. TTS는 직접 학습까지는 못 했지만, 오픈소스 모델의 자연스러움이 학습 데이터의 다양성에 달려 있다는 걸 논문을 통해 배웠습니다.

음성 처리 모델은 도메인 데이터가 성능 상한선을 결정한다는 걸 직접 느꼈습니다.