阿里发布实时语音模型Qwen-Audio-3.0-Realtime:懂倾听、更聪明,能聊天更能办事
7月15日,阿里巴巴正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime,在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步升级,力求实现“又快又聪明”的语音交互体验。模型推出推理更强的Plus版本和速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。
实时语音模型通常为压低时延而牺牲推理深度,导致“智商衰减”。Qwen-Audio-3.0-Realtime针对日常对话等对时延敏感的场景,能够毫秒级直接生成回复。在语音问答基准VoiceBench上,以书面化和口语化prompt测试,Plus版本得分分别为92.5和90.5,仅下降2.0,证明模型能扛住真人说话的随意性。
该模型打破了语音模型“能聊天不能办事”的局限。用户无需明显说出“帮我打开XX”才能触发工具,模型即可自行调用外部工具,且调用结果会自动融入对话记忆,后续追问可无缝衔接。例如用户先问“附近有什么川菜馆”,再追问“评分4.5以上的哪家最近”,模型会自动衔接地图工具的上一次返回结果继续检索。
Qwen-Audio-3.0-Realtime可根据对话语境动态调整语气、节奏、音调与情感:在辩论中快速组织反驳并保持适当语气强度,在情感陪伴中通过语调与笑声、叹息等副语言信号进行共情回应。在专门考量“AI说得像不像人”的S2S语音指令遵循基准VStyle上,模型达到SOTA水平。
双工交互方面,模型能“边说边听”,支持随时打断、插话,而非一问一答的对讲机模式。其内置的多模态感知双工控制子模型,可在嘈杂环境中锁定主说话人、在多人讨论中不被旁听者干扰,并支持多说话人之间的智能切换。
该模型采用On-Policy Distillation(在线策略蒸馏)框架,将文本大模型的完整推理能力蒸馏至语音模型,同时引入多教师蒸馏策略——口语多轮偏好教师保障口语化表达,通用教师负责推理问答,Agentic教师锁定工具调用,音频理解教师处理副语言信息,确保四条主线均衡发展。在Artificial Analysis评测中,该模型综合排名第一,超越OpenAI GPT-Realtime-2。目前,Qwen-Audio-3.0-Realtime已在阿里云百炼平台上线。