AI 快讯地平线LoFT重做视频三维重建
模型上新

地平线LoFT重做视频三维重建

2026-11-19T02:07:28.672Z
地平线LoFT重做视频三维重建

LoFT用双循环Transformer联合估计相机位姿、内参与逐帧深度。真正值得关注的不是多任务输出,而是把几何状态反馈和迭代优化直接写进模型架构。

地平线发布 LoFT:把位姿、深度和三维重建放进同一个循环

地平线机器人实验室于 11 月 18 日发布原生视频几何基础模型 LoFT,试图用一个双循环 Transformer,从连续 RGB 视频中同时预测相机位姿、相机内参、逐帧深度及置信度,并据此恢复场景的可见三维结构。

**LoFT(Looped Foundation Transformer for Video Geometry)是一个面向连续视频的几何基础模型。**它处理的不是单张图片“哪里近、哪里远”,而是相机在移动过程中“我在哪里、镜头参数是什么、每一帧看到了怎样的三维空间”这一组相互依赖的问题。

这次发布最值得关注的地方,不是 LoFT 能同时输出多少种几何结果——VGGT、Depth Anything 3 等模型已经展示过类似的联合预测能力——而是地平线把传统三维视觉中的“反复估计、校正、再估计”过程,显式写进了 Transformer 的计算结构。

换句话说,LoFT 不满足于看完视频后一次性猜出答案,而是让视觉特征和相机状态在模型内部互相修正。这种设计更像一个学习化的几何求解器,而不只是增加了几个输出头的视觉编码器。

LoFT双循环Transformer架构示意图,展示LB1跨帧特征聚合、LB2相机状态更新,以及深度和三维结构输出

双循环不是重复算两遍

**循环 Transformer 是通过重复使用共享模块,让模型以较少的独立参数执行多轮推理和状态更新的架构。**普通 Transformer 通常把第 1 层到第 30 层设计成不同参数的模块;循环 Transformer 则更像让同一组模块连续工作数轮,每一轮都基于上一轮的中间结果继续求解。

LoFT 的架构包含两个职责不同的循环,官方分别称为 LB1 和 LB2。

**第一循环 LB1 负责把分散在不同视频帧中的视觉证据聚合起来。**它结合局部与全局时序注意力,从相邻帧的运动连续性入手,再逐步扩大时间感受范围,寻找更远帧之间的重复纹理、视角变化和多视图几何关系。

相邻两帧之间通常变化较小,匹配相对容易,但只能提供有限的运动线索;距离较远的帧拥有更大的观察基线,更有利于判断空间结构,却也更容易出现遮挡、动态物体和匹配失败。LB1 的价值就是让模型不必在“短距离稳定”和“长距离信息丰富”之间二选一。

**第二循环 LB2 负责显式更新相机位姿与内参,并把更新后的相机状态反馈给下一轮特征计算。**相机位姿是相机在三维空间中的位置和朝向,相机内参则描述焦距、主点等成像参数;两者一旦估错,逐帧深度即使单独看起来合理,拼接后的三维场景也可能扭曲、漂移甚至彻底错位。

这种反馈机制是 LoFT 与常见前馈式几何模型之间最明显的差异。视觉特征帮助模型估计相机状态,相机状态又反过来约束下一轮视觉特征,深度预测因此不再是一条与位姿估计相对独立的支线。

LoFT 最终会结合两个循环产生的特征,预测每一帧的深度及置信度,再将深度、内参和相机位姿转换到统一空间中,恢复视频覆盖区域的可见三维结构。

它更像“神经网络版 BA”

**Bundle Adjustment(光束法平差,简称 BA)是通过联合优化相机参数和三维结构,降低多视图重投影误差的经典几何算法。**传统 SfM、SLAM 与三维重建系统往往先匹配特征点,再估计相机运动、三角化三维点,最后通过 BA 反复校正相机和地图。

LoFT 并不等同于传统 BA,因为它没有公开宣称使用完全相同的目标函数或显式求解过程,但两者的思想高度相似:当前相机估计会影响几何重建,而新的几何证据又应该继续修正相机估计。

传统三维视觉流水线的优势是约束明确、结果可解释,缺点是组件多、调参复杂,并且容易在弱纹理、反光、动态遮挡和大视角变化下中断。纯前馈神经网络的优势是端到端、推理直接,但一次性输出往往缺少继续修正的机会。

LoFT 选择了两者之间的一条路线:保留端到端学习的统一接口,同时让网络具备迭代求解器的工作方式。这个思路如果成立,影响可能不止是提高几个深度指标,而是为视觉基础模型引入一种可扩展的“思考步数”。

不过,目前官方尚未披露循环次数能否在推理阶段自由调整,也没有给出不同循环深度对应的精度、延迟和显存曲线。因此,LoFT 是否真正具备类似测试时计算扩展的能力,仍需等待论文、代码或更完整的技术报告确认。

9.62亿帧训练数据是关键筹码

**视频几何数据平台是用于统一清洗、标定、筛选和采样多来源三维训练数据的基础设施。**地平线表示,LoFT 使用约 297 万条有效训练序列,涉及约 9.62 亿帧图像记录,覆盖真实与仿真、动态与静态等不同场景。

这个数据规模意味着 LoFT 的训练单位不是随机图片集合,而是保留了时序关系和几何联系的视频序列。对于视频几何模型来说,帧数只是表面指标,更重要的是序列是否具有可靠相机轨迹、深度或三维监督,以及不同数据源能否被转换到一致的坐标和尺度定义中。

训练视频几何模型比训练单图深度模型麻烦得多。单图深度数据即便存在尺度差异,仍可以使用相对深度或尺度不变损失进行训练;多帧模型还必须面对时间戳错位、滚动快门、动态物体、镜头畸变、相机内参变化和轨迹噪声。

因此,297 万条有效序列背后的数据清洗平台,可能比模型中的某一个注意力模块更难复制。地平线长期处理自动驾驶视频、相机标定和动态道路场景,这种工程积累确实适合迁移到通用视频几何模型上。

与VGGT、DA3相比,LoFT赢在哪里

**几何基础模型是能够从一种或多种视觉输入中统一预测深度、相机、点云等空间属性,并迁移到不同场景的通用视觉模型。**过去两年,这一方向已经从 DUSt3R 的多视图点图预测,发展到 VGGT、Depth Anything 3 等能够处理更多视图和更多几何任务的模型。

LoFT 在官方评测中对比了 VGGT-Ω、DA3-Giant 等代表性模型,并在多项深度估计指标上达到 SoTA。相关测试包括 SpatialBench、ClassicBench 和 VRBench:SpatialBench 覆盖 12 个数据集与 98 个连续视频场景,ClassicBench 汇集 7 个经典视频重建基准,VRBench 则包含机器人、自动驾驶和通用视频场景。

| 模型 | 主要输入 | 主要输出 | 核心架构思路 | 参数规模 | 当前公开状态 | |---|---|---|---|---:|---| | LoFT | 连续 RGB 视频 | 相机位姿、内参、逐帧深度、置信度、可见三维结构 | 双循环 Transformer,特征聚合与相机状态反馈 | 未披露 | 已发布项目介绍与评测结果,代码和权重信息尚不明确 | | VGGT / VGGT-Ω | 单张、少量或大量视图 | 内外参、深度、点图、三维点轨迹 | 前馈式统一视觉几何预测 | 原版公开模型约 10 亿参数 | 原版 VGGT 已开放代码及部分权重,VGGT-Ω 为后续版本 | | DA3-Giant | 任意数量图像或视频帧 | 深度、置信度、相机参数,可选三维高斯 | 统一深度—射线表征,简化多任务结构 | 11.5 亿参数 | 代码和模型已公开,Giant 权重采用非商业许可 | | 传统 SLAM / SfM | 连续视频或多视图图片 | 相机轨迹、稀疏或稠密地图 | 特征匹配、PnP、三角化、BA 等显式模块 | 不适用 | 工具链成熟,但复杂场景通常需要大量工程调优 |

LoFT 的优势不是“首次联合预测位姿和深度”,而是原生针对连续视频组织计算。VGGT 的代表性突破是将多个三维属性压缩进一次前馈预测,DA3 则进一步强调简洁的统一深度—射线表征;LoFT 更强调时间展开和状态迭代,把模型从静态多视图估计器推向视频几何求解器。

LoFT 的短板同样明显:官方目前没有披露参数规模、输入分辨率、最大视频长度、推理速度、显存占用和许可证。没有这些数字,开发者还无法判断它是适合离线高质量重建,还是能够进入机器人或车辆的在线感知链路。

官方公布的 SoTA 结果也需要谨慎解读。多项指标领先说明双循环设计有效,但如果缺少完整评测协议、输入帧数、后处理方式和硬件配置,不同模型之间的绝对数字仍可能存在采样策略或计算预算差异。

动态场景才是真正的压力测试

**动态视频几何是同时存在相机运动和场景物体运动的三维估计问题。**静态房间里移动相机时,所有像素大体服从同一个相机运动模型;在道路或机器人操作场景中,车辆、行人、机械臂和手部都可能独立运动,单一刚体假设会迅速失效。

地平线展示了 LoFT 在高频动态场景、道路车辆、室内生活环境以及细小文字区域中的重建效果。文字边缘能否保持清晰,是判断深度预测有没有过度平滑的直观测试;运动中的车辆能否保持稳定,则关系到模型有没有把物体运动错误解释成相机运动。

LoFT在动态驾驶场景中的三维重建效果,对比RGB视频、逐帧深度、相机轨迹和重建点云

动态场景表现也是地平线最可能形成差异化的方向。互联网图像模型擅长物体外观和语义,但机器人和车辆面对的是连续变化的真实空间,几何错误会直接传导到导航、避障、抓取和轨迹规划。

不过,演示视频中的视觉稳定不等于可用于控制。机器人需要的是尺度、时序和局部结构都足够可靠的几何结果,而不只是看起来完整的点云。LoFT 后续如果要进入真实系统,还需要公布尺度误差、轨迹漂移、动态物体分离能力和实时性等工程指标。

对机器人和世界模型意味着什么

**空间表征是机器对物体位置、距离、形状、运动及相互关系的内部描述。**视觉语言模型可以回答桌上有什么,却未必知道杯子距离夹爪多少厘米、桌沿在相机移动后位于哪个方向;这些问题正是几何模型要补上的能力。

LoFT 可以为机器人提供连续相机轨迹和逐帧三维结构,使第一人称视频不再只是一串二维图像,而成为带有空间关系的训练数据。对于模仿学习,这有机会帮助模型区分“手靠近杯子”和“杯子在画面中变大”之间的差异。

LoFT 也可以成为视觉语言模型的几何前端。VLM 擅长语义判断与任务拆解,几何模型则负责距离、视角和空间一致性;两者结合后,机器人才能把“拿起右侧杯子”转换成更可靠的观察和动作约束。

LoFT 对世界模型的意义可能更大。视频生成模型能够预测下一段画面,但画面连贯不代表三维空间正确;如果生成结果中的门框宽度不断变化、桌面深度来回漂移,下游机器人就无法据此规划动作。一个稳定的视频几何表征可以成为生成模型的空间约束或训练监督。

LoFT是一条正确路线,但还不是可用产品

LoFT 最有价值的判断,是承认视频几何不能只靠一次前馈计算解决。相机、深度和三维结构本来就是互相约束的变量,把状态反馈和循环求解放进 Transformer,比简单堆叠更深网络更符合问题本身。

LoFT 目前仍更像一项研究发布,而不是开发者可以立即部署的模型产品。截至 2026 年 11 月 19 日,公开信息集中在架构说明、演示和官方评测结果,尚未见完整论文、独立代码仓库、模型权重以及明确的软硬件需求同步发布。

下一步真正决定 LoFT 影响力的,不是再增加几段效果演示,而是回答三个问题:它能处理多长的视频,循环计算的成本有多高,以及在第三方复现中能否保持官方展示的动态场景稳定性。

如果地平线后续开放代码与权重,并证明 LoFT 能在有限显存下处理长视频,它会成为 VGGT、DA3 之外很有竞争力的几何底座;如果模型只能以高成本离线处理短片段,那么双循环架构更可能停留在高质量重建研究,而难以进入实时机器人系统。

无论最终工程表现如何,LoFT 已经指出了一个清晰趋势:下一代视觉基础模型不会只识别画面中的内容,还需要持续维护一个能够被修正、被更新的三维世界状态。

参考来源

相关推荐

查看全部