蚂蚁百灵开源 Ming-3.0 语音系列:三系列五款模型覆盖合成、理解与识别
10月20日,据报道,蚂蚁百灵宣布开源 Ming-3.0 语音系列,分别提供语音合成、音频理解与对话、语音识别三个系列共五款模型,开发者可以按任务选择,也可以把不同能力组合进自己的工作流。
语音合成方面,Ming-3.0-tts 的 Voice Design 支持用文字描述目标音色,也支持参考音频的音色设定。更有特色的是导演模式,创作者可以说明台词的表演方式,描述情绪如何变化、哪些词需要重读、节奏怎么处理。在蚂蚁内部,这套能力已用于阿福 App 的主对话与语音通话、医生音色克隆、小虎智能办公等业务,既可以独立配音,也能与 Ming-3.0-asr-tiny 组合,串起语音输入和回答播报两个环节。
音频理解为 Ming-3.0-audio-flash 与 audio-tiny,能直接对长音频做转写、总结和观点分析,并给出结构化输出。相比先做逐字稿再分析的传统流程,它能保留对话中的情绪、说话人身份和环境信息,同时对长上下文序列的推理速度要求很高。
语音识别为 Ming-3.0-asr-tiny,通过构建普通话、英文、方言、领域热词等高质量语料并合理控制分布,再结合语言模型基座的上下文理解能力,利用候选热词列表和对话上下文信息提升识别效果,目前已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。