中科院计算所高林：视频生成与三维几何，谁能真正构建数字世界？| CNCC 2026

在数字世界中保持几何形状和物理运动准确，光照阴影真实是充满挑战的问题。

作者丨马晓宁

编辑丨张 驰

给一张照片，它可以生成一段在场景中漫游的视频。可如果镜头转了一圈，再回到原来的位置，建筑、树木和纹理还能保持正确吗？

这恰恰是视频生成走向可探索数字空间时需要解决的问题。画面真实，不等于背后有一个稳定的三维世界。

10月22日，在CNCC 2026上，中国科学院计算技术研究所研究员高林以《显式几何表征与隐式生成模型双擎驱动的数字空间建模方法》为题，介绍了团队在三维数字人、高斯泼溅、场景重光照、视角可控视频生成和视频世界模型方面的探索。

在报告开头，高林研究员从渲染器、模拟器和规划器三个角度解释世界模型：渲染器关注观察画面的视觉保真度，模拟器关注结构与物理状态，规划器则面向行动决策。沿着这一框架，数字世界的价值不仅在于画面逼真，还在于能否支撑仿真和交互。

围绕数字空间建模，重点比较了两类方法：以视频生成模型为代表的隐式方法，扩展能力强，却容易出现时空不一致、物理约束不足；以高斯泼溅为代表的显式方法，几何结构清晰、便于解释，但扩展到复杂场景时又受到限制。

怎么办？他的答案不是二选一，而是“显隐结合、双擎驱动”：用生成模型帮助几何重建，也用几何信息引导视频生成。

01

一张照片，

如何重建一个能驱动的三维数字人？

从二维照片还原三维人物，首先面对的是信息不够。正面照片看不到背面，单一视角也无法完整呈现人物的轮廓和细节。

高林团队提出基于高斯网的高真实感三维人体重建方法HumanLift，尝试利用视频扩散模型生成相互一致的多视角人物图像，再结合三维人体先验与高斯表示完成重建。其关键不只是补出更多视角，而是让这些视角尽量对应同一个人、视角之间具有三维一致性。

还发现人脸在全身照片里只占很小的区域，仅使用多视角全身图片做三维重建很容易丢失细节、人物身份特征也会受到影响。因此提出专门增强面部区域，改善重建结果的真实感与身份一致性。

为让重建对象能够变形和驱动，团队采用了高斯网表示：用网格提供几何与拓扑约束，将高斯与网格关联，用于表达外观。网格便于处理变形，高斯则支持高效渲染，两者共同构成数字人的表示基础。

这一工作以单张图像为输入，展示了从2D照片获得可从各个视角观察、能够驱动的三维数字人的可能性。以多视角人像重建的方法虽然可以保证静态数字人的重建质量，但驱动时一些遮挡部位会暴露出来会导致高斯渲染时出现一些瑕疵。于是这一工作使用前馈生成模型的先验来优化遮挡区域的高斯，进一步提升驱动的质量。。

另外，高林研究员指出重建的数字人手指会彼此遮挡，关节动作复杂，换一个方向观察，外观就可能发生很大变化。针对这一问题，团队在FLASHand中引入手部几何先验，融合二维图像与三维空间特征，输入单张照片以前馈方式预测人手的高斯属性。

“前馈”的意义在于，不必针对每一只手都重新进行漫长的逐对象优化。重建后的人手还可以调整姿态、改变光照，在不同条件下重新渲染。

还展示了高真实感全身数字人的研究效果：基于高斯网格表示，人物的脸、眼球和手能够分别驱动，观察视角也可以自由改变。

这些工作都表明：三维重建不应只得到一张“换个角度看”的图片，还要形成可驱动、可编辑的数字对象。

02

重建了形状，

还能重新打光吗？

有了三维形状，不意味着就能随意改变光照。

一面墙看起来偏暗，可能是材质本来就深，也可能是没有被阳光照到。如果模型把颜色和阴影混在一起记下来，那么换一个光源，旧阴影就可能仍留在墙上。

在户外场景重光照工作ROS-GS中，高林团队把问题拆成两步。

第一步先把几何做好。团队利用单目法向估计作为先验，改善高斯表示的表面几何质量，并通过外观迁移减轻不同拍摄条件造成的干扰。

第二步再分开处理材质和光照。太阳光方向性强，天空光则比较分散，因此使用球面高斯（SG）表示高频的太阳光，用低阶球谐函数（SH）表示刻画低频天空光，使用预计算辐射传输（PRT）作为低频漫反射光照模型，使同一场景能够在不同光照条件下重新渲染。

随后介绍了面向自动驾驶场景的前馈式逆渲染探索

这也是图形学方法的优势：有了明确的几何和材质，光照就不必完全依靠模型“猜”。

在应用层面，数字人技术已用于某公司智能驾驶仿真环境。例如，用生成的行人构造横穿道路、隧道等场景，为自动紧急制动训练提供仿真数据，避免让真人承担危险测试。

团队还展示了与合作团队共同建设的“计图高斯库”，将高斯表示、变形、渲染和应用等相关算法的代码都集成为一个可用算法库https://github.com/IGLICT/JGaussian。

03

视频可以换视角，

为什么还需要“记忆”？

显式几何并非万能。对于大范围场景和复杂运动，视频生成模型仍然有更好的扩展潜力。

但视频一旦允许用户控制镜头，就会遇到新的问题：相同场景从不同路径生成，内容能否保持一致？

团队的CameraSquad尝试同时生成多条相机轨迹下的视频。它将内容生成与相机控制相对分开，再利用双模式跨视角注意力机制，让不同轨迹交换信息，减少同一场景在不同视角下发生变化的问题。

相比直接建模相机的绝对外参，显式学习相机之间的相对位姿关系更为简洁有效， CameraSquad 将相机间的相对几何关系与视频内容特征共同融入生成模型，以提升视角变化过程中的几何一致性与内容稳定性。

这也关系到自动驾驶的多摄像头仿真：同一辆车从侧方驶到前方时，相关摄像头中的内容应保持一致，不能在切换观察方向后凭空消失。目前，团队正在把相机变换的建模方法用于这类场景。

不过，可控视角不等于实时仿真。高斯表示可以实现实时甚至高帧率渲染，所展示的视频生成方法在速度上仍有差距；视频画面的视觉效果，也不能直接作为其适用于驾驶仿真的证明。

如果只是生成几条轨迹，一致性已经很重要；如果要长时间漫游，甚至绕一圈回到原地，就更难了。

高林研究员介绍了两种直接方案的局限。

一种是利用三维点云或几何代理，把历史画面投影到新视角。问题在于，一旦深度或相机位置估计有误，投影就会出现偏差，导致重影、细节错位。另一种是尽量不用几何，直接依赖隐式特征，但这类特征的空间表达较粗，难以精细还原局部细节。

核心思想是：“3D信息好我用，3D信息不好，我用图片的、残留的，哪怕是一些碎片的信息。”

训练数据同样重要。

高林研究员指出，真实拍摄的视频很少专门围绕一个场景反复进行闭环观察。在介绍这类任务的训练难点时，他还强调了利用计算机图形学合成可控相机轨迹及闭环视角数据的思路，以补充普通实拍视频缺乏的空间一致性训练信号。

从一张照片出发，模型可以生成道路、建筑及植被等场景的漫游画面。高林表示，相比部分同类方法，团队的结果具有更好的稳定性，并展示了不同风格场景中的效果。

这并不是说单张照片能准确还原所有没有拍到的真实物体，而是模型能够依据已学到的信息生成新的观察视角。

04

不靠专门建模，

视频也能重新布光

沿着“用几何引导生成”的思路，团队还探索了视频模型的重光照能力。

通过利用图形学引擎合成大量不同光照条件下的视频，同时获得法向、辐照度等信息，作为训练生成模型的依据。

这里的关键是辐照度。法向告诉模型物体表面朝向哪里，辐照度则提供物体表面接收光照的信息，能进一步帮助模型决定明暗和阴影该怎样变化。

不过，光照先验也不是越精确越好。几何估计可能比较粗糙，根据几何渲染的辐照度也会存在各种瑕疵，如果模型完全依赖这些中间信息，误差也会传到最终视频中。

针对这一问题，团队在JointLight中联合生成RGB视频与辐照度信息，并采用异步加噪调度策略，允许两类信息按照不同进度更新。推理时，对粗糙几何引导的辐照度先加噪以去除高频瑕疵，再联合去噪，共同完善细节。

通过展示不同场景的重光照结果。认为视频模型的一个优势在于泛化能力：不必针对每种对象都单独建立精细的高斯模型，只要训练数据能够提供相应的经验，就有机会处理更丰富的场景。

这条路线并没有抛弃几何，而是不再要求几何信息独自负责最后的画面质量。

05

结语：

显式与隐式，谁也不能包办一切

回到演讲最初的比较，显式几何擅长提供结构和约束，隐式生成擅长学习复杂外观并向不同内容扩展。

高林研究员的判断是，目前还没有哪一种方法能够“通吃”。

因此希望两条路线继续互补：生成模型通过数据和前馈预测支持三维重建，显式几何则把空间与光照信息带回生成过程，让视频更加稳定、可控。

从数字人到自动驾驶，再到可探索视频世界模型，问题已经不只是能不能生成一幅逼真的画面。更重要的是，当镜头移动、光源改变，甚至再次回到旧位置时，这个世界还能不能自圆其说。

CNCC 已经结束，AI科技评论在参会过程中了解到很多新的技术进展，也收获了不少同行交流的心得，欢迎参会的研究者、学生，以及关注计算机领域前沿进展的读者加入我们的 CNCC 交流社群。

在这里，你可以认识同行、交流研究，分享招生信息、科研合作、约饭、投稿、组队参会等，寻找潜在的合作伙伴。

大会期间，我们持续带来了现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华，后续也会继续分享相关内容。

群里见。

进群传送门：扫码进群或添加微信Qvv0909777，备注：CNCC + 单位/学校+姓名+方向。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。