MiniMax开源M3.1 Flash权重:428B总参数、23B激活
10月23日,据报道,MiniMax稀宇科技宣布开源MiniMax M3.1 Flash的模型权重,总参数428B,激活参数23B。
相较于上一代M3模型,M3.1 Flash的模型能力实现了全面提升。通过全模型稀疏注意力、量化感知训练和功耗感知调度等优化工作,推理效率进一步提升:前三个全注意力层替换为稀疏注意力;路由MoE专家迁移到W4A4,共享专家除外,稀疏注意力索引器和主分支从Q8KV8迁移到Q8KV4;通过对计算卡功耗的精细分配,让计算卡持续维持算力高位,尽可能压榨硬件效率。
M3.1 Flash于10月19日上线,72小时内真实用户处理超过100万亿token。
MiniMax宣布携手华为昇腾、平头哥、昆仑芯、摩尔线程、壁仞、海光、沐曦、天数、英伟达、AMD等海内外芯片厂商,以及Together AI、Fireworks、Nebius、Baseten、Modal、DigitalOcean等推理和云服务平台,共同推进M3.1 Flash的开源首日接入。此外,vLLM、SGLang、智源FlagOS和Hugging Face、魔搭等推理框架与开源社区也将一同推动模型在不同芯片、云平台和开发环境中的应用。