메타가 실시간 음성 인식과 화자 분리, 발화 종료 감지를 모두 하나의 AI 모델에서 처리하는 새로운 음성 인식 기술을 공개했다. 스트리밍 음성 인식 벤치마크에서 단어 오류율 3.1%를 기록하며 최고 성능을 달성했으며, 80밀리초(ms) 단위로 속도와 정확도를 동적으로 조절할 수 있는 기능을 갖췄다.
메타는 1일(현지시간) 실시간 음성 인식 모델인 '뮤즈 보이스 트랜스크라이브(Muse Voice Transcribe)'를 출시했다.
메타 슈퍼인텔리전스 랩스(MSL)에서 개발한 첫 실시간 오디오 인식 모델로, 실시간 스트리밍 자동음성인식(ASR)을 기반으로 하면서 동시에 화자 분리(Diarization)와 발화 시점 감지(Endpointing)를 수행하는 것이 핵심이다.
이 모델에는 음성 인식의 정확도와 응답 지연 사이의 균형을 자동으로 조절하는 '적응형 지연(Adaptive Delay)' 기술이 탑재되었다. 모델은 80밀리초(ms) 단위로 들어오는 음성을 분석하면서 각 단어를 즉시 출력할지, 추가 음성 정보를 더 입력받을지를 스스로 결정한다. 인식이 까다로운 단어에는 더 많은 맥락을 수집한 후 결과를 내보내고, 상대적으로 명확한 단어는 빠르게 처리하는 방식을 취한다.
강화학습(RL)을 활용해 단어 오류율(WER)을 줄이는 보상과 지연시간을 최소화하는 보상을 동시에 최적화했다. 이를 통해 단순히 빠른 인식이나 높은 정확도 중 하나만 선택하는 것이 아니라, 최종 문장이 완성되는 시점을 기준으로 속도와 정확도의 최적 균형점을 찾아냈다.
화자 분리 기능은 20명 이상이 참여하는 긴 음성에서도 안정적으로 작동한다. 모델은 추가 처리 없이 발화가 바뀌는 순간을 감지하고 화자를 구분할 수 있으며, 1시간을 초과하는 오디오도 처리 가능하다. 한 문장 내에서 두 개 이상의 언어를 섞어 사용하는 '코드 스위칭'도 지원한다.
뮤즈 보이스 트랜스크라이브는 70개 이상의 언어를 학습했으며, 출시 초기에는 한국어·영어·중국어·스페인어 등 25개 언어를 공식 지원 언어로 지정했다. 특정 언어와 키워드, 대화 맥락을 활용한 바이어싱(Biasing) 기능도 제공되어 특정 단어나 표현의 인식 정확도를 높일 수 있다.
아티피셜 애널리시스의 스트리밍 음성-텍스트 변환 테스트에서 뮤즈 보이스 트랜스크라이브는 단어 오류율(WER) 3.1%를 기록해 1위 성능을 입증했다.
공개된 화자 분리 벤치마크에서도 평균 오류율 17.5%로 최우수 성능을 나타냈다.
메타는 이 모델을 메타 AI와 코딩 AI인 '뮤즈 코드(Muse Code)'의 음성 입력 기능에 적용했다. 사용자는 음성 명령으로 작업을 지시할 수 있으며, 화면에서 실행 중인 다양한 작업과 연계하여 활용할 수 있다. 메타 모델 API와 맥용 메타 AI로도 제공될 예정이다.
메타가 이 모델을 공개한 것은 최근 AI 모델과 서비스 개발을 빠르게 진행하는 흐름과 맞닿아 있다. 메타는 앞서 뮤즈 스파크 계열 모델을 확대했고, 소비자용 AI 에이전트 플랫폼 개발도 추진하고 있다. 내부 코드명 '해치(Hatch)'로 불렸던 프로젝트는 '뮤즈(Muse)'라는 정식 이름으로 출시될 예정이며, 대기자 명단을 운영할 계획이다.
다만 메타는 뮤즈 보이스 트랜스크라이브의 모델 가중치는 공개하지 않기로 결정했다. 오픈소스 모델 확대 정책과는 별개로, 실시간 음성 인식과 오디오 처리 분야에서는 자체 모델을 상용 서비스와 API 위주로 제공하는 방식을 채택한 것으로 해석된다.