阿里发布实时语音模型Qwen-Audio-3.0-Realtime:懂倾听、更聪明,能聊天更能办事

2026-07-15 17:55:07   |   微观猎人   |   3503

7月15日,阿里巴巴正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime,在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步升级,力求实现“又快又聪明”的语音交互体验。模型推出推理更强的Plus版本和速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。

实时语音模型通常为压低时延而牺牲推理深度,导致“智商衰减”。Qwen-Audio-3.0-Realtime针对日常对话等对时延敏感的场景,能够毫秒级直接生成回复。在语音问答基准VoiceBench上,以书面化和口语化prompt测试,Plus版本得分分别为92.5和90.5,仅下降2.0,证明模型能扛住真人说话的随意性。

该模型打破了语音模型“能聊天不能办事”的局限。用户无需明显说出“帮我打开XX”才能触发工具,模型即可自行调用外部工具,且调用结果会自动融入对话记忆,后续追问可无缝衔接。例如用户先问“附近有什么川菜馆”,再追问“评分4.5以上的哪家最近”,模型会自动衔接地图工具的上一次返回结果继续检索。

Qwen-Audio-3.0-Realtime可根据对话语境动态调整语气、节奏、音调与情感:在辩论中快速组织反驳并保持适当语气强度,在情感陪伴中通过语调与笑声、叹息等副语言信号进行共情回应。在专门考量“AI说得像不像人”的S2S语音指令遵循基准VStyle上,模型达到SOTA水平。

双工交互方面,模型能“边说边听”,支持随时打断、插话,而非一问一答的对讲机模式。其内置的多模态感知双工控制子模型,可在嘈杂环境中锁定主说话人、在多人讨论中不被旁听者干扰,并支持多说话人之间的智能切换。

该模型采用On-Policy Distillation(在线策略蒸馏)框架,将文本大模型的完整推理能力蒸馏至语音模型,同时引入多教师蒸馏策略——口语多轮偏好教师保障口语化表达,通用教师负责推理问答,Agentic教师锁定工具调用,音频理解教师处理副语言信息,确保四条主线均衡发展。在Artificial Analysis评测中,该模型综合排名第一,超越OpenAI GPT-Realtime-2。目前,Qwen-Audio-3.0-Realtime已在阿里云百炼平台上线。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字、图片等内容的真实性、完整性、及时性本站不作任何保证或承诺,请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时发送相关信息至bireading@163.com,本站将会在48小时内处理完毕。

阿里发布实时语音模型Qwen-Audio-3.0-Realtime:懂倾听、更聪明,能聊天更能办事

2026-07-15 17:55:07 浏览量: 3503 作者: 微观猎人

7月15日,阿里巴巴正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime,在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步升级,力求实现“又快又聪明”的语音交互体验。模型推出推理更强的Plus版本和速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。

实时语音模型通常为压低时延而牺牲推理深度,导致“智商衰减”。Qwen-Audio-3.0-Realtime针对日常对话等对时延敏感的场景,能够毫秒级直接生成回复。在语音问答基准VoiceBench上,以书面化和口语化prompt测试,Plus版本得分分别为92.5和90.5,仅下降2.0,证明模型能扛住真人说话的随意性。

该模型打破了语音模型“能聊天不能办事”的局限。用户无需明显说出“帮我打开XX”才能触发工具,模型即可自行调用外部工具,且调用结果会自动融入对话记忆,后续追问可无缝衔接。例如用户先问“附近有什么川菜馆”,再追问“评分4.5以上的哪家最近”,模型会自动衔接地图工具的上一次返回结果继续检索。

Qwen-Audio-3.0-Realtime可根据对话语境动态调整语气、节奏、音调与情感:在辩论中快速组织反驳并保持适当语气强度,在情感陪伴中通过语调与笑声、叹息等副语言信号进行共情回应。在专门考量“AI说得像不像人”的S2S语音指令遵循基准VStyle上,模型达到SOTA水平。

双工交互方面,模型能“边说边听”,支持随时打断、插话,而非一问一答的对讲机模式。其内置的多模态感知双工控制子模型,可在嘈杂环境中锁定主说话人、在多人讨论中不被旁听者干扰,并支持多说话人之间的智能切换。

该模型采用On-Policy Distillation(在线策略蒸馏)框架,将文本大模型的完整推理能力蒸馏至语音模型,同时引入多教师蒸馏策略——口语多轮偏好教师保障口语化表达,通用教师负责推理问答,Agentic教师锁定工具调用,音频理解教师处理副语言信息,确保四条主线均衡发展。在Artificial Analysis评测中,该模型综合排名第一,超越OpenAI GPT-Realtime-2。目前,Qwen-Audio-3.0-Realtime已在阿里云百炼平台上线。

,

Copyright ©2018 铋读网 All Rights Reserved.

京ICP备18051707号

京公网安备 11011302001633号