Gemini 4 Argon能将视频变成三维仿真场景，XR的空间计算会变天吗？

文/VR陀螺 Wickey

随着多模态AI的发展，模型对现实世界的理解正逐渐从二维视觉识别，向三维空间推理与物理交互延伸。

10月14日凌晨，Google正式发布Gemini 4 Argon，并展示了其在空间理解与物理仿真方面的能力。其中，Real2Sim技术能够结合机器人摄像头画面、人类第一人称操作视频等信息，重建包含物体几何结构、空间关系及物理属性的三维仿真环境，并借助MuJoCo模拟物体运动与交互过程。

这项技术虽然主要面向机器人领域，但也让XR行业看到了更深层次虚实融合的可能性。目前，PICO 4 Ultra、Quest 3、Apple Vision Pro等设备已经能够将虚拟物体放置在真实环境中，并模拟基础的碰撞与交互。而随着Gemini 4 Argon等模型对物理世界理解能力的提升，未来XR设备有望进一步理解真实物体的属性与运动规律，让虚拟内容更加自然地融入现实环境，进一步提升MR体验。

一、虚拟世界想要“落地”，XR首先得摸清现实空间

对于XR行业而言，让虚拟物体与现实世界自然融合，一直是技术发展的重要方向。

在Meta Quest 3的MR游戏《First Encounters》中，虚拟生物能够撞破现实墙壁，并围绕家具移动、弹跳；借助Apple Vision Pro的RealityKit，开发者可以让虚拟方块落在真实桌面上，并通过手势推动产生模拟碰撞的效果。

Apple RealityKit物理模拟示例。图源：Apple

这些体验已经能够让虚拟内容参与现实空间中的互动，而支撑它们的基础，正是XR行业长期积累的空间感知技术。

早期部分VR设备主要依靠惯性测量单元（IMU）实现3DoF追踪，仅能感知头部的俯仰、偏航和翻滚等旋转动作。随着6DoF追踪技术的普及，进一步增加了前后、左右及上下三个方向的位移感知。借助外部光学追踪、视觉惯性里程计（VIO）或SLAM等技术，设备能够实时估计自身位置与姿态，使虚拟内容在用户移动时仍能保持相对稳定的空间位置。

而要进一步实现虚实交互，XR设备还需要了解周围环境的几何结构。通过摄像头、深度传感器及场景重建算法，设备能够识别墙壁、地面、桌面等结构，生成空间网格，为虚拟内容提供碰撞、遮挡以及空间锚定等能力。

以《First Encounters》为例，Meta利用Scene API和Scene Mesh获取房间的几何信息，让虚拟生物与用户所在的真实环境产生互动。Apple的RealityKit也能够利用场景重建生成的空间网格，让虚拟物体与现实表面发生物理碰撞。

不过，目前这些体验仍然高度依赖空间几何信息、物理引擎以及开发者预先配置的交互逻辑。例如，当一个虚拟乒乓球落在真实桌面上，XR设备可以根据桌面的几何位置判断碰撞发生的时间，并利用预设的物理参数计算弹跳轨迹。但面对木桌、玻璃或地毯等不同表面，系统并不一定能够自动判断它们的弹性、摩擦等物理属性，从而生成符合现实规律的交互效果。

这种局限也让虚实融合在很大程度上依赖开发者对场景的预先设计。虚拟物体可以按照设定的规则与现实空间互动，但要面对千差万别的真实环境，自动理解物体属性并生成合理的物理反馈，仍然有很长的路要走。随着多模态AI向三维空间推理和物理理解延伸，这一问题开始出现新的解决思路。

二、Google让AI重建物理世界，虚实融合迎来新变量

近年来，AI与XR的结合已经从传统的语音问答，逐渐向结合现实环境的智能交互发展。

早在2024年，Google Research提出XR-Objects研究原型，结合物体识别与多模态大模型，让用户能够直接围绕现实物体获取信息或生成虚拟内容。今年1月，Meta进一步推出MR语言学习应用Spatial Lingo，通过Quest识别并定位现实物体，再利用Llama模型生成对应的语言学习内容。

Meta Spatial Lingo技术架构 图源：Meta Developers

上述探索展示了AI将物体识别、空间定位与语义理解相结合的能力。但要进一步理解现实世界，AI还需要掌握物体之间的空间关系，甚至推断其运动规律与物理交互过程。

Google最新发布的Gemini 4 Argon进一步展示了AI的空间理解与物理推理能力。该模型在具身推理（ERQA）基准测试中取得87%的成绩，并通过Real2Sim技术，将第一人称视频等视觉信息重建为包含碰撞、摩擦等物理属性的三维仿真环境，用于模拟机器人的抓取、移动等操作。

Real2Sim将第一人称视频重建为三维物理仿真环境

另一项演示则更加值得XR行业关注。Google利用人类第一人称视角拍摄的操作视频，识别其中的物体和手部动作，将人类操作轨迹映射到具有灵巧手结构的虚拟人形机器人，并借助MuJoCo完成物理仿真。

这意味着，真实世界中的一段操作过程，可以在AI辅助下转化为一个具有三维结构和物理交互能力的数字环境。

虽然这项技术目前主要面向机器人及物理AI研究，尚未直接应用于XR设备，但这也为XR设备的空间感知提供了思路，或许能够借助普通摄像头采集的视觉信息，通过AI完成部分空间重建与物体关系识别，降低对复杂传感器的依赖。在部分MR应用场景中的结合，特别3D物体+实际平面材质的碰撞与接触上可能会得出不一样的效果。

另一方面，AI目前尚难替代高精度多摄像头的实时空间追踪，但其空间理解能力的提升，也可以为XR设备轻量化提供一条新的技术路径。当然，空间感知与三维重建技术采集的数据也是AI模型训练的重要数据源， CVPR 2026收录的VLM-3R研究，将三维重建与视觉语言模型结合，构建了超过20万组空间理解训练问答，涵盖物体位置、距离、方向及空间关系等信息，为提升模型的三维空间推理能力提供了新的训练方法。

图源：VLM-3R

由此来看，空间感知与AI也形成了双向促进的关系。SLAM、深度感知及环境建图为AI提供几何信息与空间约束，而空间重建产生的三维数据也可用于模型训练，进一步提升AI的空间理解与推理能力。

三、算力与重量的博弈，XR设备如何分配空间计算能力

当空间感知与AI理解能力的不断丰富，也对XR设备的硬件配置提出了更高要求。但相比VR、MR头显，AR、AI眼镜受到更严格的体积、重量及功耗限制，因此需要根据实际应用场景，对空间感知能力与计算资源进行合理取舍。

一般基础信息显示可能只需3DoF姿态追踪，而空间导航、虚拟内容锚定及AI环境交互，则需要结合6DoF定位、物体识别与空间信息，实现数字内容与现实环境的准确关联。

针对不同场景的定位精度与功耗需求，厂商开始探索更灵活的感知方案。今年5月，Google在ARCore for Jetpack XR中引入低功耗定位模式，仅通过IMU和GPS实现基础地理定位，使部分应用无需依赖复杂的空间感知系统，从而降低计算开销。

Google为ARCore for Jetpack XR引入低功耗定位模式，仅依靠IMU与GPS获取地理定位信息。图源：Google

并且空间追踪算法本身也在向低功耗发展。今年公布的LEVIO研究，针对智能眼镜等资源受限设备优化视觉惯性里程计，在功耗低于100mW的条件下实现了20 FPS的6DoF追踪。通过算法与硬件协同优化，复杂的空间追踪任务可以在更低功耗的平台上运行。

LEVIO视觉惯性里程计架构，通过摄像头与IMU数据融合，实现低功耗6DoF空间追踪 图源：LEVIO研究团队

上述探索表明，XR眼镜的空间计算轻量化，可以通过按需选择定位模式实现，也可以依靠算法优化降低持续追踪的功耗。不过，空间追踪、环境感知及AI处理仍需要大量的计算资源，如何在有限的镜身体积内承载这些任务，也促使厂商探索不同的计算架构。

目前，分体式架构成为厂商降低镜身重量的首要选择。10月7日正式公布售价的XREAL AURA便采用这一方案。设备重量约95克，镜端搭载X1S空间协处理器，承担低延迟空间显示与传感器处理。外置计算单元则搭载Snapdragon Reality Elite平台，负责Android XR运行及复杂计算任务。通过这种分工，AURA能够在相对轻量的镜身中保留6DoF空间追踪、手势交互及AI视觉感知等能力。

图源：XREAL

Meta近期发布的VR Glasses同样将部分计算组件和电池转移至外置单元，使眼镜本体重量控制在约100克。不过，两款设备在显示及环境感知方案上存在差异。其中，XREAL AURA采用光学透视，用户可以直接观察现实环境；Meta VR Glasses则采用视频透视，需要通过摄像头实时获取并呈现外部画面。

图源：Meta

相比之下，Snap SPECS选择将计算、传感器、显示及电池集成在眼镜内部，SPECS重量约132至136克，官方标称混合使用续航最长约4小时。通过双处理器分别承担计算机视觉和AR应用等任务，支持独立运行的空间交互。这种一体式设计无需依赖外置计算单元，但需要在镜身内部平衡硬件集成、重量与续航。

无论采用何种架构，空间感知的轻量化更应该思考的是哪些任务必须实时运行，哪些计算可以交由外部设备处理，以及AI能否利用更少的传感器获取足够的空间信息。

四、写在最后

AI正在拓展XR空间感知的应用价值，让设备不仅能够确定虚拟内容的位置，还可以理解其与现实物体的交互关系，使数字内容更自然地融入现实环境。

不过，三维仿真能力距离实际应用仍有一定差距。面对动态变化的现实环境，XR设备不仅需要保证空间追踪与AI推理的准确性和实时性，还要解决算力、功耗及硬件集成等问题。

随着相关技术逐渐成熟，XR设备有望结合用户位置、环境信息及具体任务，提供更加自然、实用的空间交互体验，让空间计算进一步融入日常生活。