蚂蚁百灵开源 Ling-3.1-flash 模型:最高支持 1M 上下文

2026-10-16 17:56:06   |   棠糖   |   5170

10月16日,据报道,蚂蚁百灵宣布开源 Ling-3.1-flash 模型,该模型总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41,输出速度约为每秒 210 Token。

针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡,让具备服务器级 GPU 的团队以更少卡数运行模型。针对长资料处理,团队提供长上下文并行推理方案,工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。

团队通过算子融合与 DSpark 投机解码减少推理开销。在平均输入约 25.47K Token、输出约 224 Token、缓存命中率 76% 的模拟生产请求中,8 卡 Hopper 配置下的平均首 Token 时间为 604 毫秒,相邻输出 Token 平均间隔 3.28 毫秒。在平均输入约 8.5K Token、输出约 800 Token 的 4 卡 Hopper 吞吐测试中,模型达到约 1.36 QPS,同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的约束。

在线体验方面,Ling-3.1-flash 目前提供限时 2.5 折优惠,OpenRouter 输入 0.075 美元、输出 0.225 美元、缓存读取 0.015 美元;Ling Studio 输入 0.5 元、输出 1.5 元、缓存读取 0.1 元。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字、图片等内容的真实性、完整性、及时性本站不作任何保证或承诺,请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时发送相关信息至bireading@163.com,本站将会在48小时内处理完毕。

蚂蚁百灵开源 Ling-3.1-flash 模型:最高支持 1M 上下文

2026-10-16 17:56:06 浏览量: 5170 作者: 棠糖

10月16日,据报道,蚂蚁百灵宣布开源 Ling-3.1-flash 模型,该模型总参数约 560B,每个 Token 激活约 25B,最高支持 1M 上下文。在 Artificial Analysis 的公开评测中,Ling-3.1-flash 的智能指数为 41,输出速度约为每秒 210 Token。

针对本地部署,团队对 routed experts 采用 MXFP4 量化、dense 层保持 block-FP8,权重占用从约 534GB 降至 292GB。在对应的 Hopper GPU 测试配置中,服务部署由 8 卡降至 4 卡,让具备服务器级 GPU 的团队以更少卡数运行模型。针对长资料处理,团队提供长上下文并行推理方案,工具调用也加强了对 JSON Schema 的支持,方便与现有业务接口对接。

团队通过算子融合与 DSpark 投机解码减少推理开销。在平均输入约 25.47K Token、输出约 224 Token、缓存命中率 76% 的模拟生产请求中,8 卡 Hopper 配置下的平均首 Token 时间为 604 毫秒,相邻输出 Token 平均间隔 3.28 毫秒。在平均输入约 8.5K Token、输出约 800 Token 的 4 卡 Hopper 吞吐测试中,模型达到约 1.36 QPS,同时满足首 Token 时间 P50 小于 3 秒、相邻输出 Token 间隔 P90 小于 70 毫秒的约束。

在线体验方面,Ling-3.1-flash 目前提供限时 2.5 折优惠,OpenRouter 输入 0.075 美元、输出 0.225 美元、缓存读取 0.015 美元;Ling Studio 输入 0.5 元、输出 1.5 元、缓存读取 0.1 元。

,

Copyright ©2018 铋读网 All Rights Reserved.

京ICP备18051707号

京公网安备 11011302001633号