北大、VGI Labs和加州大学联合提出DynStream：首个大规模无位姿流式动态场景的高斯前馈重建框架

随手拍一段街景，镜头在移动，行人在穿行，街道上的车也在开。如果要边拍边重建这个变化的三维场景，麻烦就来了：未来画面还没到，如何分清哪些变化来自相机移动，哪些来自物体运动？随着镜头不断向前，如何将前一分钟重建的街道与后一分钟看到的路口准确拼接，避免场景错位或动态物体留下重影？当视频源源不断地输入时，系统又如何避免重复计算，让重建始终跟得上拍摄速度？

这些问题指向在线 4D 重建的三个核心挑战：增量处理、跨时间的全局一致性，以及动态场景的高保真表达。在线系统只能利用已经到达的画面持续更新场景，不仅需要准确重建局部几何，还必须保持相机轨迹、几何尺度和动态信息的一致性。

然而，现有方法往往难以兼顾这些要求：基于逐场景优化的方法需要反复迭代更新场景参数，速度太慢；离线前馈方法通常联合处理有限帧，计算与显存开销随输入规模增长，难以扩展到长视频；而许多前馈几何模型主要输出点云或深度，难以直接实现高保真渲染。

北京大学王选计算机研究所王勇涛团队通视智能（VGI Labs）、UC Merced联合推出的工作 DynStream 围绕这一问题提出在线流式 4D 高斯前馈重建框架。输入未提供相机位姿的 RGB 在线视频流，模型前馈输出相机轨迹，以及持续更新的可用于渲染的动态场景表示。方法按时间分块处理视频，通过前馈推理完成局部重建，再将各块接入统一的世界坐标系，推理时无需重跑全部场景或针对每个场景重新优化。

• 论文链接：https://arxiv.org/pdf/2610.09720

图 1｜DynStream 的输入与输出。模型将连续视频输入逐步转化为统一高斯场景表示，同时支持室内室外动静态场景重建。右上为论文展示的 2206 米驾驶场景。

图 2 | DynStream 在线前馈重建的室内外场景展示

视频链接：https://mp.weixin.qq.com/s/V7rOcTnKlqLIOY3fSj42Jg

KITTI 长驾驶序列在线前馈重建 demo

方法拆解，从局部重建到全局场景

图 3｜整体流程。视频按时间顺序分块，因果注意力骨干网络预测相对位姿与局部高斯表示；局部场景逐步对齐到全局场景，动态高斯则在对应时刻参与渲染。

DynStream 主要通过以下三个模块解决长视频在线 4d 重建问题：

局部在线重建模块。由于输入是一段可长达几分钟横跨数千米的长视频，网络中的 attention 层计算开销会随输入帧数快速上升，DynStream 首先将输入视频帧按照时间顺序分成若干固定长度的块（chunk），对于到来的视频帧，先通过在线网络在对应视频块内做前馈重建，重建出局部的场景。分块重建的好处在于网络不再需要实现困难的长视频全局信息融合，而是先专注于重建局部场景，再通过场景融合模块把局部场景聚合成一致的全局场景。

无需额外计算的全局聚合模块。对于大规模场景的前馈重建，由于网络在不同视频块预测的局部场景存在一个 SIM (3) 的任意变换，导致前一段路和后一段路重建出来的场景在自己的坐标系里面都能正常渲染，可放在一起就会明显错位。针对这个问题，传统方法往往使用耗时的优化方法，利用重叠帧的点云对应关系进行 SIM (3) 变换估计。与传统方法不同，DynStream 在训练时将每个局部场景输出的相机位姿语义从绝对位姿预测改成了相对位姿预测，输出每帧相机相对于当前块第一帧的位姿，再通过相邻视频块之间重叠的一帧关键帧，将局部场景通过相对位姿变换到全局坐标系；为消除不同局部重建场景的尺度差异，网络额外为每一个局部场景预测了一个正的尺度变换因子，将场景尺度统一映射到米制尺度，实现了无需任何额外计算的全局场景聚合。

动静分离的场景累计模块。DynStream 除了重建场景高斯基元的基本参数，还为每一个高斯预测了动态概率，根据一个固定的阈值区分出动静态高斯，静态高斯将逐步纳入全局场景，而动态高斯将保留在对应时间步，在渲染时根据时间步来选择对应的动态高斯和全局静态场景组合进行渲染。

实验结果，更高质量场景渲染与长程轨迹重建

图 4｜五个数据集上的 PSNR 对比。

论文在 Waymo、SpatialVID 等涵盖室内外动静态场景的 5 个数据集上进行了场景渲染指标评测，与 AnySplat、MVSplat、NeoVerse 等前馈的场景重建方法进行了详细对比，结果显示，与当前前馈高斯重建 SOTA 方法相比，DynStream 在五个数据集的所有指标上均取得最优结果。

同时，进一步的定性实验表明，DynStream 在车辆边缘、路面结构、动静态物体边缘等方面的重建显著优于基线方法，同时有效抑制了动态部分的重影，整体重建与渲染质量更高。

图 5｜Waymo 场景定性对比。从上到下为参考图像（GT）、DynStream、DGGT 和 NeoVerse；每列对应同一场景。

图 6｜多种场景的渲染对比。从上到下为参考图像、DynStream、AnySplat、STORM 和 MVSplat

在长程相机轨迹重建方面，论文也在 KITTI 数据集总计23201 帧、最长序列长度达5km的 11 个视频序列进行了评测，相较于现有 streaming 方法，DynStream 的 Sim (3) ATE 从数百米降低到了 40m ，多项指标达到最优，在长序列中相机轨迹重建能力明显更强。

图 7｜KITTI 轨迹误差。Sim (3) 对齐允许额外校正一个全局尺度，SE (3) 对齐则只校正旋转和平移，因此会保留模型自身的尺度误差。两种误差均为序列长度加权平均，单位为米，越低越好。

作者介绍

该论文的第一作者和通讯作者均来自北京大学王选计算机研究所的 VDIG (Visual Data Interpreting and Generation) 实验室，第一作者为北京大学本科生先鼎巍，通讯作者为博士生导师、智源学者王勇涛副研究员。VDIG 实验室近年来在 TPMAI、IJCV、ICCV、CVPR、NeurIPS、ICML 等顶刊顶会上有多项重量级成果发表，多次荣获国内外 CV 领域重量级竞赛的冠亚军奖项，与国内外知名科研机构和企业广泛开展合作。通视智能（VGI Labs）是该实验室团队孵化的新创科技企业，致力于探索与回答如何实现物理 AGI 终局问题。