오픈AI가 사람이 말하는 것을 귀로 들으면서 동시에 음성으로 응답할 수 있는 실시간 음성 AI 모델을 API로 선보였다. 이제 개발자들은 이를 이용해 통화 지연 없이 자연스럽게 소통하는 음성 상담 에이전트나 예약 시스템을 손쉽게 만들 수 있다.
오픈AI는 10일(현지시간) 사람과 실시간으로 주고받으면서 말을 들으면서도 동시에 답변할 수 있는 전이중(full-duplex) 음성 모델 'GPT-라이브-1(GPT-Live-1)'을 API로 출시했다.
기존 음성 에이전트에서 필요했던 음성인식·추론·음성합성의 복잡한 단계들을 하나의 모델로 묶어내 대화 지연을 크게 줄인 것이 이번 출시의 핵심이다. 덕분에 전화 상담, 예약 처리, 주문 관리 등 기업의 음성 업무에 광범위하게 활용할 수 있다.
지난 7월 공개된 GPT-라이브-1은 'ChatGPT'에 이미 탑재된 실시간 음성 모델로, 들어오는 음성과 나가는 음성을 하나의 모델이 함께 다룬다. 이전까지의 음성 에이전트는 음성을 글자로 바꾸는 음성인식(STT), 그 글자를 처리하는 대규모언어모델(LLM), 다시 음성으로 바꾸는 음성합성(TTS)을 순서대로 연결하는 방식을 썼다. 이렇게 되면 각 단계마다 시간이 걸리고, 사용자가 끼어들거나 조용히 있거나 대화 방향을 바꾸는 상황을 자연스럽게 처리하기가 어려웠다.
GPT-라이브-1은 사용자의 음성을 듣는 동시에 답변할 수 있어서 이런 한계를 극복한다. 사용자가 말을 중간에 자르거나 짧게 반응해도 즉시 대응하며, 어려운 추론이나 외부 도구 사용이 필요한 부분은 따로의 백엔드 모델에 맡기면서도 대화는 계속 이어간다. 개발자는 음성 인터페이스 뒤에 어떤 모델, 도구, 에이전트 환경을 연결할지 스스로 정할 수 있다.
식당 예약이나 주문 변경처럼 빠르게 처리해야 하는 업무에는 빠르고 저렴한 모델을 쓸 수 있고, 고객의 복잡한 질문에는 GPT-6 아스트라(Astra) 같은 고성능 추론 모델을 사용할 수 있다. 이를 통해 업무의 특성에 맞춰 속도, 추론 성능, 비용을 유연하게 조절할 수 있다는 설명이다.
개발자를 돕기 위한 기능들도 많이 보강됐다. 음성인식 결과와 응답 텍스트를 기본으로 제공하며, 숫자와 글자 섞인 조합을 정확하게 이해하고 특정 단어가 먼저 인식되도록 설정하는 기능도 포함했다. 정해진 턴 구조는 아니지만 사람이 말을 마치는 순간을 스스로 감지할 수 있으며, 배경음과 침묵도 더 자연스럽게 처리한다. 시스템 프롬프트로 에이전트의 말투, 속도, 대화 방식을 조절하는 것도 가능하다.
긴 대화에서도 맥락을 유지하며, 통화용 전이중 음성 에이전트도 지원한다. 이덕분에 음식점 예약, 고객 지원, 주문 수정, 상담 등 다양한 음성 통화 업무에 적용할 수 있다. 언어 학습 플랫폼 스피크(Speak)가 초기에 평가한 결과, GPT-라이브-1을 도입한 뒤 사용자가 에이전트의 말을 끊는 횟수가 기존 턴 기반 시스템 대비 80% 감소했다고 발표했다.
성능 향상도 두드러졌다. '풀듀플렉스 벤치(Full Duplex Bench)' 평가에서 'GPT-리얼타임-2.1'보다 30%포인트 높은 성능을 기록했으며, 'GPT-6 아스트라'를 중간 수준의 추론 능력으로 함께 사용할 때 음성 에이전트의 실제 업무 수행 능력을 측정하는 '타우3-뱅킹' 벤치마크에서 1위를 차지했다.
API 요금은 음성 프론트엔드 계층 기준으로 분당 0.05달러다. 백엔드 추론 모델과 에이전트 환경 사용료는 별도로 청구된다. 공개 초기에는 다양한 억양, 방언, 언어를 아우르는 12가지 음성을 지원하며, 맞춤 음성은 별도 상담을 통해 이용할 수 있다.
오픈AI는 기업이 자신들의 시스템에 접근해 질문에 답변하고, 인가된 작업을 실행하며, 필요할 땐 사람에게 업무를 넘길 수 있는 실시간 음성 워크플로를 구축할 수 있도록 '오픈AI 프레즌스(Presence)'도 함께 발표했다.