地平线发布LoFT原生视频几何基础模型 多项指标达到SoTA
11月19日,据报道,地平线机器人实验室发布原生视频几何基础模型 LoFT,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合。第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算,再结合双循环特征预测逐帧深度及其置信度。
为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景。评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与代表性模型比较,LoFT 在多项深度估计指标上达到 SoTA。