AI不实用！？有新技术解决了！即时生成15000FPS的角色动作新技术

家人们，美好的假期已经结束，接下来的日子里让我们进入沉浸式工作模式 。来来来，都让一让！科技界的卷王来了！！

说谁呢？当然是内部员工自己卷，外部带动全行业跟着卷的NVIDIA了！

现在，大佬又开始卷游戏动画师了。数月前，NVIDIA的AI团队打造了一款，面向机器人和游戏动画的实时动作生成器- MotionBricks。

过去这几年，AI生成角色动作的进步大家有目共睹，但也必须要承认，绝大部分生成结果还只是停留在“演示动画”的阶段，受限于运行时实时交互动作控制，始终难以落地到产品中。

此前的实时交互动作控制主要有两个办法：直接把控制指令喂给AI模型；要么就是用文字生成动作，但二者都存在硬伤。MotionBricks则将强大的底层潜在神经骨干网络和灵活通用的高层行为系统（智能移动和智能物体）无缝结合，把“会生成角色动作的AI模型”，变成了真正能用在游戏和机器人上的工具。

MotionBricks

目前，没有哪个现成的方案能够同时做到实时够快、控制够细、技能库够大； MotionBricks的出现，恰好 填补了“生成模型效果好但太慢”和“工业管线够快但无法扩展”之间的那条鸿沟。

它解决的不再是AI能不能生成动作，而是AI生成的动作能不能直接进入产品。

团队目标明确，在不打标签的前提下，实现细粒度、可扩展、鲁棒的运行时动作控制，同时服务于虚拟角色和人形机器人。做法也是“简单粗暴”，思路相当“朴素”：底层采用一个够大够快的通用生成模型，上层封装美术和策划能直接上手的接口。

整体架构：四阶段流水线

智能基元模块（Smart Primitives）

输入：角色状态（State）+用户指令/游戏事件（ Command ）；输出：目标关键帧约束T（Target/Constraints）

根节点模块（RootModule）

输入：关键帧约束；输出：动作帧数T（Timing）、根轨迹r（Root）

姿态模块（PoseModule）

输入：根轨迹+约束+帧数；输出：多头姿态token

解码器（TokenDecoder）

输入：token+根轨迹+关键帧；输出：连续动作

游戏引擎每帧从缓冲队列里抓取动作播放，AI则在后台持续预判往队列里“塞”新动作。一旦玩家改操作/队列快空了，就立刻重新规划路径补齐新动作；因为生成速度远超播放速度，能够做到随时打断、无风险件，怎么操作都跟得上。

核心技术

底层--时间维度的编解码器

MotionBricks先压缩动作（T帧压成T/4个离散token），每帧记录全局根节点、局部根节点、关节位置、旋转、速度、接触标签；思路类似于视频压缩，去掉时间冗余以换取计算效率。

离散化环节则放弃超大单码本和按身体部位手动划分的传统做法，改为沿特征维度切分K个码本分别量化，让网络以数据驱动方式自主学习动作的组合性。

生成侧分为三步：时间-路线-姿势

01

定时长。网络自己预测一段动作做几帧，使用一组可学习的“帧槽”加上关键帧全局与时序嵌入，输出帧数分布，推理时可以采样也可以取最大值。同时这一分布还能人为规定合法帧数范围，强制动作落在指定时长区间内

02

定路线。确定帧数后，能够屏蔽掉超出部分，时序Transformer接着输出角色重心的移动路径；每个槽位解码成连续4帧，再转成局部根节点值交给下游。

03

定姿势。整个系统最大的网络，将根轨迹、姿态关键帧约束和token嵌入一起读入，一次性前向输入整段姿势token。训练时采用的是掩码建模配合余弦调度混合真值做课程学习，推理时不跑扩散迭代，因此能做到2ms延迟、15000FPS吞吐。

最后， 一边把token还原成连续动作，一边把根轨迹和关键帧特征做二次精修。

最外层--面向内容生产的接口

前面解决的都是“怎么生成动作”的问题，到了这一层就要回答“怎么用”了。为此，NVIDIA团队用到了Smart Locomotion（智能移动）和 Smart Object（智能交互）两个工具。

前者只需要告诉它角色的速度、方向和风格偏好，就能产出一连串导航关键帧；后者只需要在场景里摆放若干代理关键帧，就能自动连线、将基元拼接，形成全连通的动作图。角色从走到跑、从跑到抓取的所有过渡，都由神经骨干实时生成，不再需要动画师手动制作状态机或调过渡动画。

MotionBricks最根本的改动，是把训练和下游控制彻底解耦。骨干网络在训练时对控制模态完全“无知”，不预定义控制类型，也不需要任务专属标签，只负责把约束变成动作，新增行为只需配置基元，不用微调，也不用重新标注。

这套框架还能适应可变约束密度。导航任务只需一两个关键帧，刻意不过度约束；物体交互只要一串连续的手部位置，缺失的约束统一由可学习掩码嵌入替代，配合补间范式与上下文及目标双关键帧的设计。系统在30FPS下就能处理12到64帧的可变长度片段，长动作与短动作共用同一套逻辑。

中间结果透明可见且支持手动修改，固定姿态token不动，只用插值出来的轨迹覆盖根节点，就能实现精确的全局关键帧匹配。完美对应动画师需要的能改动且不必重抽的灵活性。

MotionBricks可不只是被用来做“游戏动画研究”，它已经成为NVIDIA GR00T Whole-Body Control的核心组件之一。

除了要让虚拟角色动得更自然，NVIDIA还把同一套动作生成思路接入到了实体机器人控制中。在机器人端，系统采用自回归加惰性重规划的策略，只在指令变化时或按10Hz触发重规划，避免与延迟敏感的底层控制策略争抢算力。

与同类技术相比，MotionBricks最直观的差距是速度，单次推理延迟压到2ms，吞吐做到了15000FPS；规模上同样拉开身位，单个模型覆盖35万条片段、约700小时数据、9300种技能、36类、163位表演者，横跨动画与机器人两套骨骼形态。更难能可贵的是，速度和规模狂飙的同时，控制精度上却没有一丝妥协，在所有数据集上表现都优于基线。

当然，一般重头戏都要留到最后。最后小编想说的是：MotionBricks，它开源！开源！开源！

https://github.com/NVlabs/GR00T-WholeBodyControl/tree/main/motionbricks