对话COCO Matrix高宇翔：难以提前穷举世界，不如「学习适应」世界

文｜白鲸实验室，作者 | 刘培，编辑｜柳嘉

8月20日，当国内诸多企业的机器人在2026年世界机器人大会上，忙着展示物流分拣、装卸、切菜、做早餐等任务时，太平洋的另一端，具身智能突然掀起一个技术新风向。

当天，美国机器人基础模型公司Generalist AI发布了最新模型GEN-1.5，展现出很好的In-Context Learning（上下文，ICL）能力。几天后，Skild AI也开始把ICL放到具身智能的核心叙事中。

ICL可以简单理解为，机器人应该像人类一样高效利用观察到的上下文，来适应和学习新的环境与任务。而现在流行的范式是，机器人每次学习一个任务，都要针对性地为这个任务提前采集数据并重新训练。这完全像刷题库取得高分的学生，一旦测试题超出题库的内容，就无法胜任了。

尽管现在两家公司展现的机器人长上下文学习能力仍处于早期，但他们在ICL上的展示成果，让高宇翔异常兴奋。他说，“机器人的ICL范式会成为主流共识”，就像当初 ICL 能力的出现，标志语言模型从“BERT时代”走向“GPT-3”，机器人现在也看到自己的GPT-3时刻的曙光。

早在2021年GPT-3展现出上下文学习能力时，仍在约翰斯·霍普金斯大学（JHU）读博的他，就开始思考怎样把这种学习能力迁移到具身智能中。5年后，具身智能的变化，更像是对他判断的回应。

95后高宇翔出身西交大少年班，现在是COCO Matrix可可矩阵的CEO。在具身行业，高宇翔一直隐身于聚光灯之外。他甚至都没有像绝大部分机器人的研究员，建一个展示个人履历的网站，也没有在社交平台上分享过任何对行业的看法。

实际上，很难给这位创业者分类。他看起来像是乖乖的学霸，却在过去五年，接连做了四次有些“叛逆”的选择，约翰斯·霍普金斯大学（JHU）博士辍学、回国创业、加入工业界、再次创业。如果不是具身大脑上的进化加速，高宇翔有可能会成为一名青年教授，在学术上一年发表几篇论文。而他的每一次跳出常规，也都是让自己离终局更近。

高宇翔是个学习天赋极高的学霸。2024年加入工业界后，一个人，两台机器，硬是花了3个月，成为业内最早跑通全尺寸人形机器人遥操数据采集工作的人之一，还因此拿到了和全球头部大厂的VLA模型上的合作。

2025年Q3，他仅花一百多万元，在全尺寸双足人形机器人上训练出具备一定泛化能力的世界模型。但是这些工程能力，在任何地方都鲜有报道。

决定创业前夕，傅利叶创始人顾捷听完高宇翔的想法，告诉他："如果能从模型范式上有根本变化，这真的会改变行业，看到AGI机会" 。2026年春节后，高宇翔在连办公室都没有的阶段，仅凭In-Context Learning 这个技术理念和个人热情，陆续搭建好了主创团队。

创业以来，当团队有了超预期的进展后，他首次站出来，同步COCO Matrix在In-Context Learning上的进展。他的用词也非常谨慎，这算是“初步验证”。

“通过训练方式的改变和多样任务数据的构建，模型涌现出超预期的适应和上下文理解能力。”高宇翔说。如果这种能力能够在更大规模、更多任务和更多真实场景中稳定复现，意味着机器人学习新任务的方式可能发生变化：不再每遇到一个新任务，都依赖重新采集大量数据、重新训练模型，而是可以更多地利用现场提供的示范、纠正和历史经验完成适应。相应地，机器人的部署门槛和新任务适配成本，也有机会被显著降低。

目前，COCO Matrix是个20余人的小团队，成员基本来自海内外顶尖高校和实验室。核心成员有来自学术界ICL方向顶级研究员，也有来自top实验室的技术小天才们。

我们的对话，从下午两点持续到晚上八点，高宇翔首次全面复盘了他在具身科研及工业行业十余年的思考沉淀，也尝试用最直白的语言告诉大家他未来想做的事。

01 除了Scale数据，是否有更巧妙的解法？

白鲸实验室：现在具身行业给我的感受是大家都在往各个方向摸奖，不知道谁能摸中。咱们上一次聊，你讲了很多边界，在具身数据、模型探索以来，你觉得比较重要的一个边界或者反共识是什么？

高宇翔：单纯依靠现有具身数据Scaling非常困难。具身模型没办法照搬大语言模型经验，因为任务复杂度不一样、数据分布不一样。具身数据不仅少，分布是不均匀的（有些数据好收集，有些数据采集难度非常大），很难单纯在已有数据上完成内插（模型看到 A 轨迹、B 轨迹，直接猜中间状态），实现泛化。

大家很明显也都逐渐看到了这一点。前几天，我看到一个访谈，苏度科技的韩铮讲到，具身如果按照传统数据收集，大概需要100万亿美元的投入。

白鲸实验室：100万亿美元？

高宇翔：在单一任务上，具身数据需要规模差不多相当于自动驾驶的十几万倍，甚至更多。

具身会比大语言模型率先遭遇数据枯竭和探索效率的问题，会更快来到离线数据和RL（强化学习）能力提升的边际效应递减。我们要更早考虑之后模型迭代问题，这是我们所有思考的出发点。

白鲸实验室：今年世界模型其实很火，视觉生成领域、自动驾驶、3D仿真引擎都在加入世界模型行列。市场上也有一些理性声音认为，真正的世界模型，必须有数据Scaling或者大量的算力才能做，其他的世界模型都是假概念。你怎么看？

高宇翔：世界模型是个umbrella term（统称）。本质上，世界模型就是对世界状态的一个预测，是比较简单的定义。热门的原因，是大家在VLA做数据Scaling时遇到瓶颈。

因此我希望能找到更好的Scaling方式。目前还没有哪种数据Scaling方式，能把世界模型的能力（基于预测的能力）Scaling和机器人的泛化操作能力Scaling挂钩，哪种数据Scaling能实现这一点，现在依然是个未知数。不少人看到这一点，开始做新的尝试。

白鲸实验室：现在的Scaling方式都有哪几种？

高宇翔：现在Scaling主要三类，数据、参数和算力（测试时的算力）。在对延迟和pace都很敏感的物理世界中，算力Scaling和参数的Scaling带来的延迟和推理效率限制了它们的上限。

白鲸实验室：但是现在LLM的竞赛还都在往大参数上堆，我了解到，一些国产模型现在接近3t的参数，还要往10t规模训练，为什么？

高宇翔：大语言模型Scaling law是否会一直生效，至少学术界没有一个定论。

大语言模型的Scaling还可以在液冷服务器中推理，但是具身完全没办法这么搞。机器人不仅需要看，还要听、摸，这些都是连续、高频的信息，对带宽的频率要求也远超过LLM，如果不能达到最基础的十几赫兹，人就能感受到AI的反应很慢。在聊天框里对话，人可以等，如果机器人反应慢，端杯水，杯子可能就掉地上了。

白鲸实验室：这是通用Scaling的一些问题，在具身上只有数据可以Scaling，其他两项是失效的。

高宇翔：对，具身上算力和参数Scaling失效，主要是因为物理规律的限制。

白鲸实验室：这让我想起梁文锋最近私下对投资人的分享，他觉得让语言智能实现自我迭代之后，让AI直接做具身智能，会更轻松，而在这之前做具身，会非常辛苦。

高宇翔：大语言模型展现出强大的能力，很多人可能会觉得只要等等，大语言模型会把所有的能力覆盖。我不确定这是有点技术乐观还是技术悲观。

因为技术本身是动态的，甚至还超乎预料的。它最终会在哪个方向产生突破，产生什么新能力，最终是由做技术的人来决定的。你不投入精力研究，技术之神永远也不会降临。

即使大语言模型哪一天能把具身能力覆盖掉，我们希望是自己做出来的。我坚信，能做出技术突破的地方，肯定属于对问题理解最深，有足够多数据经验的团队。

02

白鲸实验室：2024年上半年加入傅利叶时，你当时写了一封很长的proposal。为什么？

高宇翔：我加入傅利叶纯属意外，傅利叶最初来找我时，是想和我读博的JHU实验室合作的。聊到一半，我说，不然我加入你们好了。对方说，好啊，要不你写份材料，讲讲自己想干什么。

当时具身刚刚起步，还不像现在这么热，数据采集还属于全新行业，大家都不知道怎么做。我回去就按照自己在JHU摸索机器人的经验，手动写了一份几千字的材料，主要就是围绕数据采集，需要多少机器人。

我原本计划回去把博士读完，但是具身行业的号角已经吹响了，我根本停不下来。业界和学界的差距太大了。我记得非常清楚，第一次走进傅利叶实验室时，看到20多台机器人，眼睛都看傻了。以前在JHU，从未见过这么多机器人，就很眼馋。

我是一个直觉+结果导向做事的人。我觉得在业界能做出的成果，肯定会超过学界。我随后就决定不继续在JHU深造了。

白鲸实验室：当时都没有数采厂落地，你入职后给傅利叶手绘一份数采厂的规划图，他们为什么相信你？

高宇翔：肯定是做出点事情，才可以要更多的资源。刚开始在我的proposal里，只需要一台机器人就可以采集。我也是基本上花了两三个月，一个人、一台机器就把遥操作系统跑通了，基于遥操作数据还把模型训练出来了。

这之后我才想把采集规模化。我们从灵巧手的遥操作入手，很快打通了很多东西，比如全身遥操、策略的接管、人机共控等。这在当时都是非常领先的尝试。

白鲸实验室：当时业内还没有打通全身遥操，你们跑通的关键是什么？

高宇翔：核心关键是从搭建遥操系统的第一天，就考虑模型的需求，设计一个足够简单，容易扩展的系统，让它能够适配很多的数据需求。

第二个是要能根据预判的需求给系统做减法。机器人系统本质很简单，就是读传感器，写执行器，怎么高效的干这两个事，是我们的核心。我设计了一个多进程编排，有一个简单中间件，相比于主流的ROS，去掉了很多功能，相对更精简。因为我们人员有限，所以这种简单的系统，更有利于适配新的机器人。我们当时适配一台新的机器人，只需要半天。

第三个是，模型触发能力的设计上，不仅要支持单纯的遥操，还要支持模型上机，因为模型和遥操之间的切换是支持dagger、人机共控的前提。

白鲸实验室：如何在数据上物尽其用？

高宇翔：物尽其用前提就是要知道不同数据中能学到什么。从遥操数据里学泛化的环境和泛化的物品信息，是不make sense的，因为遥操的多样性是非常昂贵的，完全不如从互联网视频和仿真视频里学习这种多样性。

白鲸实验室：不依靠单一数据Scaling，这是你什么时候想明白的？

高宇翔：这个其实是在我创业初始才想明白。刚开始想的很简单，后来落在具身的场景上时，哪些数据我们是可以持续获取，哪些数据没办法获取才更加清晰。这个想明白，我们实现物理AGI的技术路线才能想明白。

03

白鲸实验室：怎么理解ICL（In-Context Learning）？这里的Context（上下文）到底指什么？

高宇翔：简单理解，ICL就是机器人遇到一个新任务时，不一定要重新训练模型，而是可以根据你现场给它的信息，也就是“context”——比如一句指导、几次示范，或者一次纠正——直接调整接下来怎么做。

其实“让机器人从人的纠正里学习”并不是一个全新的想法。现在很多具身模型在真机上的迭代，本质上也有类似的过程。机器人学习里有一个很经典的方法叫DAgger（Dataset Aggregation，一种模仿学习算法）。简单来说，就是先让机器人自己做，做错了或者做得不好，人就介入，告诉它正确的做法。把这些新的数据收集起来，再重新训练模型。

我们觉得ICL很重要的一个变化，是希望把这个学习闭环变得更短。以前你纠正机器人一次，这条经验要经过数据整理、重新训练、模型部署，才可能体现在下一版模型里。我们希望未来机器人被你纠正之后，能够直接理解“刚才发生了什么”，把这段新的经验作为上下文，用在接下来的任务里。

所以对普通用户来说，区别其实很简单：以前你教机器人，是在给工程师提供下一轮训练的数据；未来你教机器人，是在直接教眼前这台机器人。这就是我们理解的ICL最有价值的地方。

白鲸实验室：为什么要押注ICL？

高宇翔：因为我们觉得，真实世界最大的问题就是它不可能被穷举。所以我和我的联创一直都在讨论Adaptation的问题，也就是让机器人去“适应”物理世界。

今天很多具身智能的路线，核心还是希望通过更多数据、更大的模型，让机器人在训练阶段学会尽可能多的东西。这个方向肯定是必要的，我们自己也做大规模预训练。但如果机器人真的要进入酒店、养老院、商业空间甚至家庭，仅靠预训练一定是不够的。

原因很简单。每个地方都不一样，每个人也不一样。同样是收拾房间，不同酒店的流程不同；同样是递一杯水，不同的人可能有不同习惯。这些东西不可能全部提前变成训练数据。

所以我们的判断是，预训练决定机器人出厂的时候有多聪明，ICL决定它到了一个新地方以后，能多快适应。

最终用户不会关心这个模型用了什么训练算法。他真正关心的是：我能不能像教一个新来的同事一样教它？我做一遍，它能不能看懂；它做错了，我告诉它哪里不对，下一次能不能改；相处久了，它能不能逐渐知道我的习惯。

我们是从这个最终形态往回倒推技术路线，所以把In-Context Learning放在了非常核心的位置。

白鲸实验室：ICL和现在大家讲的机器人“泛化”有什么区别？

高宇翔：我觉得可以把它理解成两种不同的问题。一个问题是，机器人训练完以后，到底会多少东西？ 这是今天很多泛化研究在解决的问题。另一个问题是，碰到真的不会的东西，它要多久才能学会？这是我们更关心的问题。

比如一个机器人从来没有见过某种咖啡机。第一种思路是希望训练数据足够丰富，让它以前见过类似的咖啡机，所以第一次就能操作。这个能力当然非常重要。但总有一天它会遇到一个真的没见过的东西。这时候怎么办？

如果旁边的人操作一遍，它就能模仿，然后告诉它“这个按钮要最后按”，它下一次就能修正。我们认为这种能力对于机器人进入开放世界同样重要。

所以我们认为机器人不可能靠预训练解决未来遇到的所有问题。

我们的初衷是，希望能够泛化它的学习能力本身，而不只是机器人已经学到的任务。

白鲸实验室：那怎么衡量ICL做得好不好？

高宇翔：这个问题我们想得很朴素。它可以简化为，给机器人一个从来没见过的新任务，教几次，它才能学会？

这其实可以变成一个很直接的技术指标。假设第一次机器人完全不会。给它一次示范以后，成功率提高多少？三次、五次以后，又提高多少？如果做错了，人纠正一次，它能不能马上改正？

今天可能一个任务需要收集几百条数据、重新训练才能做好。未来如果变成十次示范，再往后变成两三次，甚至看一遍、纠正一次就会，那就是学习效率在不断提高。所以我们很关注learning efficiency。传统 benchmark更多是在模型训练完成以后，评测它会不会。我们希望增加一个更深的维度，看它学得有多快。

我觉得这可能会成为未来衡量机器人智能非常重要的一个维度。

白鲸实验室：大语言模型发展了这么多年，现在才开始越来越关注记忆、持续学习这些能力。具身智能还处在更早期的阶段，为什么你们反而认为现在就必须做ICL？

高宇翔：我们对这个方向的押注主要来自两个判断。

第一，我们判断，具身可能比大语言模型更早遇到数据问题。

大语言模型有一个非常重要的前提。互联网上已经积累了几十年的人类语言、知识和代码数据。过去四五年，大模型一直在快速消化这些存量数据，再叠加后训练和强化学习，已经把模型推到了一个能够真正产生经济价值的阶段。

但具身不一样。机器人真正可用的高质量交互数据非常少，而且新数据的生产速度和规模，也远远比不上互联网数据。所以我们判断，具身可能会更早遇到一个瓶颈，离线数据继续增加、训练规模继续扩大，带来的能力收益开始递减，但模型本身还没有达到足够通用、足够好用的程度。

这其实是一个很危险的gap。大语言模型是在已经“很好用”之后，开始越来越关注记忆和持续学习。具身有可能在还“不够好用”的时候，就先碰到数据和学习效率的瓶颈。具身也会更早面临这个问题，如果不能靠提前收集更多数据、训练更多任务来解决，机器人如何在进入真实世界以后继续学习？这也是我们为什么现在就开始布局ICL、交互数据和持续学习能力。

第二，具身其实天然比语言更需要上下文。

语言模型面对的上下文主要是文字、图像这些数字世界的信息，但机器人面对的是一个持续变化的物理世界。它看到什么，刚刚做了什么，人做了什么示范，哪一步被纠正了，物体发生了什么变化，这些其实全部都是上下文。所以具身的上下文不仅信息量更丰富，而且和行动直接相关。怎么表示这些信息，记住重要的经验以及从一次示范或者纠正中快速学习，我觉得这里还有非常大的模型创新空间。

好的一点是，我们不需要从零开始。过去几年大语言模型和视频生成模型已经帮我们验证了很多东西，包括上下文学习、长上下文、记忆以及推理能力、流式生成。具身过去一直跟在大语言模型和视频模型后面两三步，但现在这个距离正在缩短。

在ICL和持续学习这件事上，我甚至认为具身的需求会更加紧迫。因为语言模型答错一个问题，你可以再问一次。而机器人真正进入一个新的物理环境以后，它必须不断面对训练数据里没有出现过的东西。

我们的判断是，持续学习对大语言模型可能是能力的进一步延伸，但对具身智能，它更可能是走向真正通用和落地所必须补上的一块。

04

白鲸实验室： 这次你为什么决定要创业？这应该是你的第二次创业了。

高宇翔：是，上一次是当CTO，但这次是CEO了。我觉得当下是一个非常少见的范式转换的窗口机会。

另一个原因是，我在行业探索上有了眉目，终于可以放开手做这件事了。25年大家把VLA数据Scale上去发现效果没想象那么好，开始找其他路。但这个过程也没那么容易。

PI（Physical Intelligence )决定具身VLA的范式，现在回看它的设计似乎非常简单。但每一步为什么这么设计，为什么有效，都非常依赖经验。而世界模型目前还没有这样一个范式存在，需要从头探索。这也是我在傅利叶主要做的方向，我们在自己机器人上做了实验和探索，得到了比较正向的结果。

白鲸实验室：过去三年，你从创业公司做CTO，到具身公司的模型负责人，再到现在CEO。身份变化还挺大，会不适应吗？

高宇翔：一开始肯定不适应，但最近好多了，毕竟我也需要“ICL”我自己。当然，也是因为最近团队搭建快速走上正轨，也看得到自己的想法被一点点验证。

白鲸实验室：你有焦虑过吗？

高宇翔：每天都会焦虑一会会。（笑）

白鲸实验室：焦虑什么？

高宇翔：看到行业里的新论文，我就很焦虑，他们怎么这么快。

白鲸实验室：你会怎么平衡这种焦虑？

高宇翔：我自己有一个小技巧，我从CEO的角度跳出来变成研究者，去看他们的工作是不是solid的，研究他们的发布逻辑是什么，宣传了什么能力，一旦进入分析和学习的过程，其实就没有那么容易焦虑。

白鲸实验室：你缓解焦虑的方式就是读论文？

高宇翔：对。（笑）