地平线发布LoFT原生视频几何基础模型 多项指标达到SoTA

2026-11-19 14:58:14   |   小助手   |   2505

11月19日,据报道,地平线机器人实验室发布原生视频几何基础模型 LoFT,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合。第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,再结合双循环特征预测逐帧深度及其置信度。

为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景。评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与代表性模型比较,LoFT 在多项深度估计指标上达到 SoTA。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字、图片等内容的真实性、完整性、及时性本站不作任何保证或承诺,请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时发送相关信息至bireading@163.com,本站将会在48小时内处理完毕。

地平线发布LoFT原生视频几何基础模型 多项指标达到SoTA

2026-11-19 14:58:14 浏览量: 2505 作者: 小助手

11月19日,据报道,地平线机器人实验室发布原生视频几何基础模型 LoFT,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合。第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,再结合双循环特征预测逐帧深度及其置信度。

为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景。评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与代表性模型比较,LoFT 在多项深度估计指标上达到 SoTA。

,

Copyright ©2018 铋读网 All Rights Reserved.

京ICP备18051707号

京公网安备 11011302001633号