英伟达机器人手术世界模型，开源了，单卡可跑

机器人前瞻（公众号：robot_pro）
作者 周加琦
编辑 漠影

机器人前瞻10月21日报道，昨天，英伟达发布并开源实时生成式手术世界模型Cosmos3-H-Dreams。该模型能够根据输入的机器人操作指令，实时生成对应的手术画面，模拟手术器械移动、组织牵拉及形变等过程。

与此前主要面向桌面缝合任务的Cosmos-H-Dreams不同，该模型将生成式仿真扩展至真实临床手术场景，能够模拟腹腔镜胆囊切除术中的器械操作和组织变化。

Cosmos3-H-Dreams基于160亿参数的Cosmos3-H-Embodied-Nano开发，训练数据从4792段手术记录中筛选而来，最终使用约526分钟真实手术视频进行训练。

通过教师-学生模型蒸馏和FlashDreams流式推理加速框架，该模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互。

一、160亿参数基础模型，支持28维动作输入

今年7月，英伟达曾推出Cosmos-H-Dreams，其基于Cosmos-Predict2.5开发，主要用于dVRK桌面缝合。该模型通过学习同步记录的视频与机器人运动学数据，直接预测器械操作后的场景变化。Cosmos3-H-Dreams沿用了这一生成式仿真思路，但在基础模型、动作控制能力及实时生成方式上进行升级。

该模型基于Cosmos3-H-Embodied-Nano开发，这是一个在Open-H-Embodiment上完成预训练的160亿参数模型。在此基础上，英伟达针对临床胆囊切除术视频和对应的机器人运动学数据，对双向教师模型进行微调，使其学习手术器械操作与人体组织变化之间的关系。

该模型支持28维动作输入，包括双臂的位置与姿态、夹持器状态、能量控制、摇杆轴及摇杆按钮等信息。据此，Cosmos3-H-Dreams不仅能生成手术画面，还能根据器械的移动、旋转、夹持等动作，预测相应场景变化。

为实现实时生成，研发团队采用教师-学生蒸馏方案。

首先，该团队对双向教师模型进行微调，将未来视频预测长度从24帧扩展至72帧。按照10Hz的数据采样频率计算，分别对应2.4秒和7.2秒的未来画面，使模型能够学习更长时间的手术场景变化。

随后，通过因果教师强制训练（Causal Teacher Forcing）和自强制蒸馏（Self-Forcing），将教师模型的能力迁移至能够连续生成视频的学生模型。其中Self-Forcing让学生模型在训练时使用自己生成的历史画面，并接受教师模型及判别器的指导，减少连续生成过程中逐渐累积的误差。

英伟达此次开源了4步和2步去噪两个学生模型版本。其中，2步版本在4步模型基础上进一步训练，通过减少去噪步骤提高推理速度，但生成画面质量有所下降。

推理阶段，Cosmos3-H-Dreams采用英伟达FlashDreams流式推理框架，并通过改进的FadeMem模块，优化长时间视频生成过程中的历史信息缓存，降低持续生成的计算与存储负担。

因此，模型能够持续接收新的器械操作指令，并逐段生成对应的手术视频，而不需要每次都从头生成完整序列。

二、基于真实临床手术数据，模拟胆囊切除操作

在具体手术应用中，英伟达选择腹腔镜胆囊切除术，验证Cosmos3-H-Dreams对真实手术场景的生成和交互能力。

相比桌面缝合任务，人体内部手术环境更复杂。为此，英伟达使用了来自CMR Surgical Versius手术机器人平台的临床胆囊切除术记录。

原始数据包含4792段手术记录，总计约1700万帧视频，采样频率为60Hz，分辨率为1080p。这些手术由外科医生远程操作机器人完成，器械动作标签由机器人遥测数据自动生成，器械可见性则由人工标注。

经过筛选，研发团队最终使用64段手术录像、约526分钟视频作为训练数据，并将视频处理为832×480分辨率，动作数据按10Hz对齐。

在数据筛选过程中，团队仅保留两种手术器械同时出现并操作的画面，分别是左侧抓钳和右侧电钩。

此外，该团队还留出约10.6分钟、来自10段手术录像的数据进行验证，通过画面质量、动作控制、器械旋转及连续生成等测试，评估模型生成效果。

实际演示中，Cosmos3-H-Dreams能够根据抓钳的动作，模拟抓取、提起胆囊以及相应的组织形变。随着抓钳向上移动，画面中的胆囊及周围组织也产生相应的位移和形变。

另外，在这两组模拟视频中，初始画面相同，但由于输入的器械动作数据不同，最终生成了不同的手术画面。

结语：距离实际临床应用仍有距离

从桌面缝合到腹腔镜胆囊切除术，英伟达正在将生成式世界模型应用于更复杂的手术场景，为手术机器人的交互式训练和测试提供新的仿真方式。

不过，生成画面符合视觉预期，并不意味着模型能够准确模拟真实组织的物理变化。 如何保证器械运动与输入动作一致、组织形变合理，以及长时间生成过程中解剖结构的稳定性，仍是需要进一步验证的问题。