北京
Skild AI展示了一种新的自我博弈训练方法，该方法可以让机器人在不依赖人类示范的情况下发展出物理技能。该公司利用其S1机器人基础模型，通过超过140年的模拟对抗学习踢足球。
该公司表示，这项技术最终可以让机器人在工厂、建筑工地、家庭等物理环境中逐步获得越来越复杂的技能，而无需人类演示每一个动作。
Skild使用Nvidia Isaac Sim创建了模拟环境，为模型设定了一个单一目标：进球得分。
研究人员没有specify具体行为，比如运球、抢断或摔倒后恢复，而是让该策略与逐渐变强的自身版本进行对抗训练。
Skild表示："该策略通过与近期版本的自己对战来学习如何得分。随着其能力提升，对手也随之变强——这使得每一次能力提升都转化为更难对付的对手。"
在模拟训练的最初几个月中，机器人几乎无法行走。随着训练的持续，它学会了摔倒后恢复，随后发展出包括绕过防守者运球、护球和抢断对手等行为。
据Skild介绍，这些能力是从得分这一目标中自然涌现出来的，而不是通过为每个行为单独设计奖励机制而产生的。
经过超过140年的模拟对抗训练后，Skild将得到的策略从模拟环境迁移到实体人形机器人上，并展示了其踢足球的能力。
该公司表示："我们认为从模拟到人形机器人的成功迁移，以及该任务本身的巨大复杂性，是自我博弈通向物理通用人工智能道路上的一个积极信号。"
这项工作是Skild机器人基础模型S1的后训练扩展，该公司于8月推出了S1模型。
S1使用包括人类视频、手套数据、模拟数据和远程操作数据等多种数据进行预训练，旨在通过情境化示范来学习任务。
然而，Skild认为，主要依靠人类生成的数据进行训练，最终会将模型的能力局限在这些数据所代表的范围之内。
该公司表示："然而，由于S1类模型是基于人类数据进行预训练的，它们的能力上限被限制在人类能力水平。我们相信物理自我博弈将使机器人远超人类能力。"
自我博弈此前已在基于软件的AI系统中带来重大进展。
DeepMind在其AlphaGo系统中广泛使用了这种方法，随后自我博弈也助力开发出了能够玩StarCraft II和Dota 2等多人游戏的系统。
Skild正尝试将同样的原理延伸到物理AI领域，在这一领域中，机器人不仅需要学习策略，还需要学习在现实世界中执行这些策略所需的实际动作。
足球是一项极具挑战性的测试任务，因为它结合了移动、操作、从物理干扰中恢复以及与对手进行策略互动等多种要素。
该公司表示，这种方法并不局限于体育领域，目前已经开始扩展到日常机器人任务中。
Skild还在尝试更大规模的智能体群组。据该公司介绍，早期的四智能体足球实验已经开始产生包括传球和协作等行为。
未来的研究工作预计将探索协作操作和导航任务，随着相互协作的机器人数量增加而展开。
Skild表示："这次模拟运行了超过一个世纪，目标却十分简单。如果我们在虚拟建筑工地、工厂或家庭环境中将其运行时间延长几个数量级，又会发生什么？"
这项研究指出了扩展机器人学习的另一种方式：利用人类数据和示范建立广泛的基础能力，然后让机器人通过大量模拟经验自主提升这些能力。
如果这种方法能够成功迁移到实际任务中，它可能会缓解物理AI领域面临的一个主要瓶颈——教会机器人掌握日益复杂行为所需的人类生成数据量。
Q&A
Q1：Skild AI的自我博弈训练方法是什么？
A：这是一种让机器人在不依赖人类示范的情况下学习物理技能的方法。研究人员只设定一个目标（如足球比赛中的进球得分），让机器人策略与逐渐变强的自身版本对抗，从而自主发展出各种复杂行为。
Q2：机器人通过自我博弈学会了哪些足球技能？
A：机器人逐步学会了行走、摔倒后恢复，以及绕过防守者运球、护球和抢断对手等行为。这些能力都是从"进球得分"这一单一目标中自然涌现出来的，而非通过单独编程设计的。
Q3：自我博弈训练对未来机器人发展有什么意义？
A：Skild认为这种方法能让机器人突破人类能力上限，因为依赖人类数据训练的模型能力会被限制在人类水平内。该技术目前已开始扩展到日常机器人任务，未来可能应用于工厂、建筑工地和家庭等场景。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
