![]()
本文是“洞悉 Omniverse” 系列文章,此系列重点介绍开发者、3D 从业者与企业如何使用 OpenUSD 以及 NVIDIA Omniverse 的最新进展深入改变他们的工作流。
物理 AI 要理解和预测结果,而不仅仅是表象。
为了实现这一点,世界模型需要学习物理环境的行为方式、接下来可能发生的情况以及哪些后续行动是合理的。它们能够生成物理基础世界和动作数据,模拟未来状态,并为团队提供一个其可以根据机器人、智能汽车或视觉 AI 系统进行专业化的基础。
开放世界模型已被用于生成训练数据、测试策略和专业化的物理 AI 系统。NVIDIA Cosmos 3 将这些功能整合到一个开放模型系列中,在基准测试中取得了领先的结果,并在机器人、智能汽车和视觉 AI 领域获得广泛采用。
此外,NVIDIA Omniverse 库作为 NVIDIA Agent Toolkit 的一部分,为构建面向仿真的世界提供预构建功能,物理 AI 团队可以在现实世界部署之前使用这些功能来训练、测试和验证系统。
将智能体就绪的仿真引入 Blender
世界模型是物理 AI 的基础
物理 AI 背后的数据很难收集且在所需规模下成本高昂。罕见事件和长尾场景尤其难以安全、反复地重现。
世界模型能够实现:
- 通过从大规模多模态场景中学习物理关系,获取更多有用数据。
- 更具多样性的环境,包括不同的天气、光照、物体和轨迹。
- 更好的基础,以便在此基础上进行构建和适配特定的机器人、车辆、传感器配置、任务或操作环境。
通用模型并未针对特定团队的机器人、传感器或运行环境进行过训练。要缩小这一差距,需要获取模型权重、获得允许进行适配的许可证,以及后训练所需的工具。
NVIDIA Cosmos 世界基础模型在 Linux 基金会的 OpenMDW 1.1 许可下可用,使团队能够在自己的数据和硬件上对模型进行后训练。专业化方面,开放性已成为一项切实的技术要求。
模型专业化只是工作流的一部分。团队还需要环境来生成数据、运行仿真和测试行为。
Omniverse 库可帮助开发者构建面向仿真的环境,同时 OpenUSD 为跨数字孪生、仿真和合成数据生成工作流组合、重用和交换复杂的 3D 数据提供了开放框架。Omniverse 和 OpenUSD 协同工作,减少了每次资产、传感器配置或环境条件发生变化时可能累积的重复性工作。
以上为摘要内容,请点击链接阅读完整内容:洞悉 Omniverse:开放世界模型如何推动物理 AI 的前沿发展 | NVIDIA 英伟达博客
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.