微软完成 SOTA 基模 MAI-Base-2 预训练:性能强于所有参测开源权重模型
10月16日,据报道,微软宣布已完成新一代 SOTA 基础模型 MAI-Base-2 的预训练工作,该模型在性能方面强于所有参测开源权重模型。
MAI-Base-2 总参数规模达 2.8T,活跃参数规模 80B,在 6000 个 NVIDIA GB200 GPU 上历经 38 天训练而成,整个训练过程中平均浮点算力利用率为 21%、有效吞吐量为 89%。按微软的说法,MAI-Base-2 的预训练算力效率是 DeepSeek-V4-Pro-Base 的 4 至 12 倍。
微软表示,科学规模化、模型-基础设施协同设计、数据规模化这三项举措对 MAI-Base-2 的成功预训练尤为重要。在完善 MAI-Base-2 的同时,这家科技巨头已启动 MAI-Base-3 的准备工作。