昆仑万维发布并开源 Matrix-Game 2.0、Matrix-3D 模型

2025-08-12 15:44:41   |   唐薇   |   1624

8月12日,昆仑万维 “SkyWork AI 技术发布周” 已于 8 月 11 日正式开启,将连续五天发布覆盖多模态 AI 核心场景的自研模型。今日,昆仑万维带来了自研世界模型 Matrix 系列的重要升级版本——Matrix-Game 2.0,并宣布该模型全面开源,成为业内首个在通用场景下实现实时长序列交互生成的世界模型开源方案。

据介绍,Matrix-Game 2.0 在实时生成与长序列能力上实现了“质的飞跃”,专注于低延迟、高帧率的交互性能,能够在复杂多样的虚拟场景中以 25 FPS 的速度稳定生成连续视频内容,生成时长可扩展至分钟级。相较上一版本,新模型在连贯性与实用性上显著提升,同时保持了对物理规律与场景语义的精准理解,用户可通过简单指令自由探索、操控并实时构建结构清晰、细节丰富且规则合理的虚拟环境。

在同日发布中,昆仑万维还宣布开源 Matrix-3D 大模型,该模型可从单张图像生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞团队 WorldLabs 的生成效果,支持更大范围的虚拟世界探索。

Matrix-3D 包含三大核心模块:轨迹引导的全景视频生成:以场景 Mesh 渲染图为条件输入,结合视频扩散模型生成符合给定相机轨迹的全景视频,显著改善空间结构一致性,减少遮挡与伪影。双路径全景 3D 重建:提供超分与 3DGS 优化路径,以及基于 Transformer 的前馈网络路径,可在保证精度的同时快速预测 3D 几何属性,实现高效重建。Matrix-Pano 数据集:包含 11.6 万条带有相机轨迹、深度图与文本注释的静态全景视频序列,为模型训练提供大规模高质量数据支撑。

随着 Matrix-Game 2.0 与 Matrix-3D 的开源,昆仑万维在交互式世界模型与三维生成领域的技术布局进一步加速,也为实时虚拟世界构建、AI 游戏内容生成等应用打开了更大想象空间。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字、图片等内容的真实性、完整性、及时性本站不作任何保证或承诺,请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时发送相关信息至bireading@163.com,本站将会在48小时内处理完毕。

昆仑万维发布并开源 Matrix-Game 2.0、Matrix-3D 模型

2025-08-12 15:44:41 浏览量: 1624 作者: 唐薇

8月12日,昆仑万维 “SkyWork AI 技术发布周” 已于 8 月 11 日正式开启,将连续五天发布覆盖多模态 AI 核心场景的自研模型。今日,昆仑万维带来了自研世界模型 Matrix 系列的重要升级版本——Matrix-Game 2.0,并宣布该模型全面开源,成为业内首个在通用场景下实现实时长序列交互生成的世界模型开源方案。

据介绍,Matrix-Game 2.0 在实时生成与长序列能力上实现了“质的飞跃”,专注于低延迟、高帧率的交互性能,能够在复杂多样的虚拟场景中以 25 FPS 的速度稳定生成连续视频内容,生成时长可扩展至分钟级。相较上一版本,新模型在连贯性与实用性上显著提升,同时保持了对物理规律与场景语义的精准理解,用户可通过简单指令自由探索、操控并实时构建结构清晰、细节丰富且规则合理的虚拟环境。

在同日发布中,昆仑万维还宣布开源 Matrix-3D 大模型,该模型可从单张图像生成高质量、轨迹一致的全景视频,并直接还原可漫游的三维空间,对标李飞飞团队 WorldLabs 的生成效果,支持更大范围的虚拟世界探索。

Matrix-3D 包含三大核心模块:轨迹引导的全景视频生成:以场景 Mesh 渲染图为条件输入,结合视频扩散模型生成符合给定相机轨迹的全景视频,显著改善空间结构一致性,减少遮挡与伪影。双路径全景 3D 重建:提供超分与 3DGS 优化路径,以及基于 Transformer 的前馈网络路径,可在保证精度的同时快速预测 3D 几何属性,实现高效重建。Matrix-Pano 数据集:包含 11.6 万条带有相机轨迹、深度图与文本注释的静态全景视频序列,为模型训练提供大规模高质量数据支撑。

随着 Matrix-Game 2.0 与 Matrix-3D 的开源,昆仑万维在交互式世界模型与三维生成领域的技术布局进一步加速,也为实时虚拟世界构建、AI 游戏内容生成等应用打开了更大想象空间。

,

Copyright ©2018 铋读网 All Rights Reserved.

京ICP备18051707号

京公网安备 11011302001633号