STT/TTS 모델 개발 접근 방식
약 70초
사전학습 모델 기반 + 도메인 단어 오류율 확인 + 직접 레이블링 + 핵심 어휘 평가 분리
졸업 프로젝트에서 도메인 특화 STT 모델을 처음 파인튜닝해보면서 음성 처리 모델의 개발 흐름을 경험했습니다. 기반 모델은 공개된 사전학습 모델을 써서 범용 음성 인식 성능부터 확인하는 것부터 시작했습니다. 도메인에 특화된 어휘가 많은 경우 범용 모델의 단어 오류율이 예상보다 높다는 걸 실제 테스트로 확인했습니다. 파인튜닝을 위해 도메인 음성 데이터를 직접 수집하고 레이블링했는데, 데이터 품질이 모델 성능에 직접 영향을 준다는 걸 경험했습니다. 평가에서는 단순히 단어 오류율만 보는 게 아니라 도메인 핵심 어휘에서의 정확도를 별도로 추적했습니다. TTS는 직접 학습까지는 못 했지만, 오픈소스 모델의 자연스러움이 학습 데이터의 다양성에 달려 있다는 걸 논문을 통해 배웠습니다.
음성 처리 모델은 도메인 데이터가 성능 상한선을 결정한다는 걸 직접 느꼈습니다.
이 결의 특징
도메인 특화 STT 모델을 파인튜닝한 구체적 경험이 기록되어 있습니다. 단어 오류율이 범용 모델 기준에서 높다는 발견, 도메인 음성 데이터 직접 수집·레이블링, 핵심 어휘 정확도 별도 추적이라는 단계별 실행이 드러납니다.
이 결이 통하는 자리
"음성 처리 모델은 도메인 데이터가 성능 상한선을 결정한다"는 명확한 원칙이 실제 파인튜닝 경험으로부터 나온 깨달음으로 보일 때 통합니다. 모델의 이론적 성능이 아니라 데이터 품질의 실제 영향을 체감한 사람으로 신뢰받는 자리가 만들어집니다.