小米开源Xiaomi-Robotics-U0：机器人训练数据，也开始“工厂化生产”了

7月15号，小米把Xiaomi-Robotics-U0开源了。

这是一个380亿参数的多模态自回归具身生成模型。

首次将多项具身世界建模能力与通用图像生成能力，统一到一套多模态自回归架构中，为机器人训练数据的生成、迁移和扩增提供统一底座。

给我一个很强的信号是：具身智能终于也迎来了「GPT-Image时刻」。

项目主页：https://robotics.xiaomi.com/xiaomi-robotics-u0.html

之前打开项目主页和GitHub仓库，把技术报告从头到尾翻了一遍。

这一个模型，能完成三类具身任务：具身场景生成（文生图）、具身迁移（图像编辑）、机器人交互视频生成；

还具备通用文生图和图像编辑能力。

几项能力拼在一起，就构成了一条完整的数据生产流水线。

所有输出都能直接喂给下游策略模型做训练，不需要人工干预，不需要重新采集。

说是「具身数据工厂」也不为过：低成本、高效率、可控生成……

这套链路跑通之后，具身智能的数据瓶颈就多了一个解法。

01U0在做的，是一个可控、高效、低成本的「具身数据工厂」

不像LLM可以用互联网上海量的文本数据，机器人的数据，来自真实物理世界。

行业里有个测算：训练机器人学会一个动作，大概需要1000到5000条数据；

学会一个由多个动作组成的任务，需要1万到2万条数据；

完成某个垂直行业80%的人类工作，至少需要1亿条数据。

图片引自：Xiaomi-Robotics-U0: Unified Embodied Synthesis with World Foundation Model

1亿条，每条都得是真实物理世界里的操作记录。

单纯扩大采集规模，成本会线性上涨……采集本身就是钱，存储是钱，清洗标注是钱，训练是钱。

Xiaomi-Robotics-U0要解决的核心问题，就是如何低成本地生产有效数据。

它做的事可以这样理解：基于少量真实数据，用模型可控地放大成大规模的训练数据。

过去具身生成是「一个任务一个模型」。

场景生成用一个，轨迹迁移用一个，视频生成再用一个。模型之间彼此割裂，很难规模化。

U0实验视频

U0用统一的多模态自回归框架，把四类任务全部覆盖：

具身场景生成、具身迁移、机器人交互视频生成，外加通用的文生图和图像编辑。

这种统一架构，创新的难点在于，场景生成、轨迹迁移、视频生成这三类任务对模型的要求本质上相互冲突——一个要空间想象力，一个要几何约束力，一个要时序连贯性，硬塞进同一个模型里，搞不好就哪个都做不好。

U0的核心突破，是把图像和动作映射到同一个表示空间，用统一的next token prediction方式训练，再通过五维解耦的结构化控制让不同任务各取所需、互不干扰。

这样一来，场景生成的结果可以直接喂给迁移做增广，迁移后的数据又能作为视频生成的初始帧，数据在同一个模型里自动流转，形成一条完整的数据生产线，维护成本和开发门槛，都比维护三个独立模型低得多。

具身场景生成，是会根据文本描述，生成指定机器人的多视角初始场景；

具身迁移，是把已有轨迹迁移到新环境，改变光照、背景、物体等，同时保持机械臂位姿和布局一致；

机器人交互视频生成，则是基于初始观测和指令生成连贯动作视频，支持零样本泛化；

以及通用文生图与图像编辑，和单纯的视觉模型不一样，这是将互联网视觉知识迁移到具身任务。

一个模型，从初始场景到各种延伸，完成多种生成任务，定制化、场景化、动态化，为机器人训练提供可控、可扩展的合成数据。

很创新的价值在于：对已有的真机数据，可以换物体、换光照、换背景、加干扰，全部通过语言描述完成，不需要重新采集。

也能从零生成全新的场景，覆盖那些真机根本采集不到的危险环境、极端条件、长尾场景。

但这里面有个关键问题：通用图像生成模型也能做类似的事情，为什么不能用？

因为具身生成，和通用图像生成有本质区别。

通用图像生成只需要看起来合理就行。

但机器人训练数据必须在几何上严格一致：同一个物体在不同相机视角下的位置必须对齐，机械臂的位姿不能因为换了背景就发生错位。

如果数据在几何上不一致，下游的机器人策略，根本没法用。

U0解决这个问题的办法是，「五维解耦的结构化控制」。

把生成过程分解成五个维度：工作台布局、前景操作物体、前景无关杂物、光照条件、背景信息。

每个维度都可以用自然语言独立调控。

比如说：“把光照改成夕阳，背景换成厨房，其他不变”，模型就能精准执行，同时保持多视角的几何一致性。

这种可控性是统一架构能用的前提。

而最让我觉得欣喜的，是U0已经开源，为整个行业，提供了一座统一、可控、高效的「具身数据工厂」。

这也将进一步推动机器人训练数据，从分散生成走向规模化生产，推动机器人训练效率及规模化落地。

02实战数据，比榜单更有说服力

WorldArena的排名也值得一提。

这是清华大学、北京大学等联合打造的评测基准。

U0在全球126个参评模型中拿了总分第一，指令遵循、交互质量、视角一致性三个子项都是第一。

关键是，U0可以生成连贯的抓取、放置、形变交互长时序视频，还支持虚拟相机运动仿真——这对于机器人策略的离线验证和场景预演，很有广泛的实用价值。

匿名代号UNIS，榜单时间是2026年7月15日。

但我更关注的是真机验证的结果。

在精细操作（耳机收纳）、可变形物体（毛巾折叠）、长程任务（物品装箱）这三类任务上，团队做了对照实验。

在未知光照、陌生背景这些分布外场景下，使用U0扩增数据训练的策略，任务完成进度平均提升了26.3%。

具体数字是：pi_0.5这个基线模型在干扰条件下的任务完成进度从36.9%提升到了63.2%。

这就意味着，从远远不及格到及格以上；从几乎不可用到可用。称得上是一个milestone了。

叠毛巾任务对比视频

这组真机数据，很有现实环境里的验证价值：生成的数据，真能帮机器人干活。

U0挑的三类任务很有代表性：精细操作、可变形物体、长程任务，覆盖了具身操作的主要难点，哪个都不好对付。

而且面对反光、彩色灯光这些极端干扰，模型不会卡死，能自校正，再次证明生成数据是真的符合现实环境，是真的能转化成机器人在物理世界里的干活能力。

这个结果说明，U0生成的数据不只是看起来像，不只能提升视觉多样性，是真的能转化成机器人的实际泛化能力。

实打实地通过Transfer能力，实现了首个能在复杂光照和强背景干扰下，保留大部分成功率的VLA模型。

还有一个对比值得注意。

在300样本的测试集上，U0在深度一致性、结构保真、语义对齐三个维度上大幅超越了GPT-Image-2.0。

GPT-Image-2.0生成的图片在物体和场景上符合文本描述，但普遍出现跨视图物体错位、空间畸变。

机械臂的位姿没有被保留，这样的数据对应不回原始轨迹，不能用于下游训练。

具身迁移效果的对比，很直观：

灰色框中GPT-Image-2.0生成的结果，场景布局信息不对，机械臂位置也都错了，没保留原始多视角的机械臂位姿。

导致迁移后的多视角观测无法对应到原始轨迹中的动作信息。

Xiaomi-Robotics-U0生成的结果，同时做到了保留多视角场景布局和根据描述进行修改，因此可被用于下游数据增广。

差距不在画质，在几何。

能够显著对比GPT-Image-2.0有优势，这是挺让我惊喜的。

03业界福音：速度快，成本低，还开源

模型再厉害，跑不动也是白搭。

U0基于多模态自回归架构，采用IBQ作为图像tokenizer。

传统自回归模型逐token生成，能利用丰富的前驱信息逐步完善图片，但面对高分辨率图片时效率大幅下降。

小米团队提出了FlashAR+高速推理加速方案。

在FlashAR文生图适配的基础上扩展，适配了图像编辑、具身迁移等任务，结合vLLM进一步提升效率。

效果是：1024*1024分辨率的单样本吞吐量从450.77秒每图提升到5.44秒每图，生成效率提升了82.9倍。

从七分半钟一张图，到五秒多一张图。

这个速度给我的体感很直观。而且意味着，可以在较少的算力资源上部署使用，也就是说生成大规模训练数据的成本大幅下降。

对于一个“数据工厂”定位的模型来说，这个速度是关键基础设施级别的优化。

意味着效率真的上去了，可以低成本、批量化生产可用的机器人数据了。

关键是，小米这次把代码和模型权重全部开源了。

项目主页、GitHub仓库、HuggingFace模型权重，全部公开。

这不是小米第一次在具身智能领域开源。

今年二月，他们就开源了Xiaomi-Robotics-0，一个47亿参数的VLA模型，核心解决了传统模型推理延迟高、真机动作不连贯的问题。

GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-0

在消费级显卡RTX 4090上推理延迟压到80毫秒，控制频率达到每秒30次。

如果说Robotics-0解决的是“机器人怎么动起来”的问题，那U0解决的是“机器人拿什么数据来学”的问题。

两个模型拼在一起，一条从数据生成到实时执行的完整技术链路正在成型。

小米在机器人赛道上的策略越来越清晰：不是做封闭的技术堡垒，是把基础设施层的东西开源出来，让更多人能参与。

这个逻辑在移动互联网时代已经被验证过。

安卓开源，然后催生了整个移动终端及移动互联网生态。

机器人赛道要真正爆发，也不能只靠几家大厂自己玩，需要整个生态先活起来。

从行业竞争的角度看，释放的信号也很明确：机器人赛道的竞争正在从「拼硬件」转向「拼算法」。

开源生态的建立会加速行业洗牌，没有自研模型能力的硬件厂商，未来可能会面临更大的压力。

当然，挑战依然存在。仿真和榜单的成绩再漂亮，真机部署时还会遇到各种没见过的状况。

合成数据能否完全替代真实数据，尤其是在精密操作这类需要精确力控的场景，还需要更长时间验证。

但U0至少证明了一件事：用生成模型来规模化生产训练数据，这条路是走得通的。

04一些个人的判断

我在想，具身智能的数据瓶颈，一定不是靠多买几台机器人、多雇几个采集员能解决的。

物理世界的复杂度和多样性，决定了真机采集，永远覆盖不完所有场景。

必须让模型具备主动「造数据」的能力。

在掌握有限真实分布的前提下，合成大量高可用的训练数据，尤其是那些现实中极难采集到、却决定可靠性和安全性的场景。

U0做的事情，本质上正是把「数据采集」从一个物理问题，变成了一个生成问题。

这个范式转换如果被验证成功，影响会非常深远。

Digital AI和Physical AI之间的次元壁，似乎也正在被小米打破。

从技术路线来看，U0选择的是统一架构而非专用模型。

一个模型覆盖四类生成任务，保留了预训练世界模型的泛化能力，同时适配到具身场景。

这种大一统的思路在成本上更有优势，也更容易规模化。

但从工程角度看，统一架构的维护和优化难度更高，需要在不同任务之间做权衡。

从行业格局来看，小米连续开源两个模型：一个管执行，一个管数据，正在搭建一套完整的技术栈。

如果这套体系被社区广泛采用，小米在具身智能领域的影响力会从一家公司扩展成一个生态的核心。

这种生态位一旦形成，后来者想要挑战的成本会非常高。

从更长的时间尺度来看，具身智能最终要解决的，是机器人在开放世界中的泛化能力。

U0在视频生成上展现出的泛化性让我很惊喜：

面对完全没见过的初始帧和指令，仍能准确遵循指令生成视频，保持物体材质、动力学和背景一致性。

这说明模型在保留世界知识的基础上，注入了机械臂动力学和物体交互模式。

这种「世界模型+具身生成」的结合，可能是通往通用机器人智能的一条重要路径。

开源链接放在这里，很值得去看看。

也许这背后，就藏着一个百亿级别的具身数据行业机会。

项目主页: https://robotics.xiaomi.com/xiaomi-robotics-u0.html

GitHub: https://github.com/XiaomiRobotics/Xiaomi-Robotics-U0

HuggingFace: https://huggingface.co/collections/XiaomiRobotics/xiaomi-robotics-u0

代码和权重都在那，是骡子是马，拉出来跑跑就知道了。

朋友圈会发一些具体的案例和商业化日常～

AI交流，欢迎加我本人微信：FrankGPTs