新任务还要重训机器人？下一步，让它像好学生一样一教就会

从视觉—语言—动作模型（Vision-Language-Action Model，VLA）到世界动作模型（World-Action Model，WAM），端到端机器人模型借助大规模数据与训练算力，获得了越来越广泛的基础能力。

但在许多具体任务的部署中，团队仍要采集目标场景的示范、训练或微调模型，让策略能够应对这一任务的物体、布局与执行变化。新增一种工艺，往往也意味着新一轮采数、训练和验证。

机器人部署的下一步，是把更多新任务交给现场教学：像掌握基础知识的好学生，机器人看过少量示范、得到关键提示，就能调动已有能力处理新的要求。

机器人上下文学习（Robot In-Context Learning，Robot ICL）旨在让机器人利用少量示范与现场指导，以 few-shot transfer learning 的方式将已有能力迁移到新的任务与工况，实现快速部署。

围绕这一课题，来自 Knowin AI、香港科技大学（广州）、香港中文大学、同济大学、清华大学、哈尔滨工业大学（深圳）、西湖大学和天津大学 8 家机构的 39 位研究者联合开展研究，完成了 100 页综述《In-Context Learning for Robots: Methods and Applications》。截至 2026 年 10 月 22 日的作者更新版已引用并梳理 548 条相关文献。

综述首页局部｜论文标题、作者名单与 8 家机构署名。

论文题目：
In-Context Learning for Robots: Methods and Applications
论文链接：
https://arxiv.org/abs/2609.36012
项目主页：
https://jethrojames.github.io/awesome-robots-icl/
文献库：
https://github.com/JethroJames/awesome-robots-icl

综述以 context-to-control（从上下文到控制）为主线建立四类方法的 Taxonomy，覆盖操作（Manipulation）与导航（Navigation）。分类依据是教导进入控制系统的方式，VLA、WAM 等模型则可以承载其中不同环节。

这份文献清单呈现出明显的近期集中趋势：427 条文献首次公开于 2024 年及以后，占总数的 77.9%。其中，2024 年为 51 条，2025 年为 56 条；据不完全统计，2026 年截至 10 月 22 日公开的相关文献为 320 条。图 1 将首次公开时间与方法分布放在一起，呈现这批研究近年的快速扩展。

图 1｜综述调研涉及的公开文献的时间分布与方法构成。左图为全部 548 条参考文献；右图为其中 351 条方法与对比文献，包含支撑机制及参数适配比较。按首次公开年份作不完全统计，2026 年数据截至 10 月 22 日。来源：2026 年 10 月 22 日作者更新版，综述图 9。

这些路线首先在教导的表示方式上有所不同。有的让示范直接参与动作推断，有的先提取空间关系、预测未来状态，或生成技能调用。中间表示不同，模型需要学习的对应关系、能够保留的任务信息也随之不同。

一、机器人如何从少量教导中适应新任务

在零件配套任务中，桌面图像能告诉机器人板件和轴套在哪里，却不能单凭物体位置决定哪种零件先放。新示范补上了这一信息。现场教导的作用，是让机器人理解这次任务的具体要求，并据此调整行为。

这些信息可以通过不同机制进入控制：固定参数的上下文推断把教导作为决策输入；测试时训练（Test-Time Training，TTT）则通过更新快权重或轻量记忆吸收新信息，代表工作包括 RoboTTT（Test-Time-Training Robot Policies）与 WAM-TTT。它们都在利用已有基础能力，区别在于新信息如何被吸收与保存。

感知、抓取和理解示范的能力来自此前的训练。部署时，示范负责交代这次任务的要求，后续纠正则修订执行中的偏差。基础能力与现场教导承担不同的工作。

图 2｜机器人学习的六层能力框架：从编程与策略学习，到利用交互历史、理解任务教导，再到长期自我改进与跨机器人知识交换。综述图 1。

图 2 中的 S3 与 S4 进一步区分了两种信息：History-based adaptation 从交互结果判断物理条件，例如零件刚才是否卡住；In-context task learning 从教导中确定要求，例如板件必须先放。前者帮助判断“怎样做得成”，后者规定“这次要做什么”。

二、同一段示范

为什么会走出四条技术路线

一段视频可以直接参与动作推断，也可以先转成接触参考、未来预测或技能序列。这套 Taxonomy 按上下文通向执行的路径分类，图 3 给出了四条路线的代表实现。

四条路径可以在同一系统中配合：未来预测评估候选动作，程序安排执行步骤，几何迁移把接触参考对齐到新对象。分析这类组合系统时，需要沿中间表示追踪同一项任务要求，看它如何从示范传到规划，再落实到接触和运动。

图 3｜四条从上下文到控制的路径。从左至右分别经过动作解码、接触参考迁移、未来预测和技能序列进入执行。综述图 12。

2.1 直接生成动作：把示范作为策略的输入

Context-conditioned policies

上下文条件策略，是以示范、指令和交互历史为条件，结合当前观测直接生成或复用动作的方法。它把模仿学习中“从示范学策略”的思路，扩展为“执行时依据新示范决定动作”。技术重心随之从识别任务，转向理解示范中的步骤、空间关系与当前进度。

这推动了示范表征从整体任务编码走向细粒度对应。图 3（a）的 Vid2Robot 通过交叉注意力关联人类视频与机器人观测，ICRT（In-Context Robot Transformer）将示范和执行历史纳入因果序列建模；Instant Policy 则用几何图组织示范与现场的空间关系。它们从时间或空间上回答同一个问题：当前动作该依据示范中的哪一部分。

基础模型进一步把通用动作能力与本次教导分开。Knowin AI 的 GLOW（Generative Learning of World）将人类视频编码为 Reusable Skill Context，由自回归策略结合当前场景生成动作。长任务则要求教导持续可用：RoboTTT 在推理时通过梯度更新快权重，将视觉与运动上下文扩展到 8K 时间步。前者为动作生成提供可复用的技能条件，后者研究如何把长时序经验留在策略中，供后续决策使用。

2.2 迁移运动参考：让示范对齐新场景

Geometric demonstration transfer

几何示范迁移，是将示范中的运动或接触参考对齐到新场景，再由控制器执行的方法。它继承了视觉伺服、轨迹重放与运动重定向的思路，把泛化问题转化为：场景变了，哪些空间关系仍要保持。显式的运动参考连接感知与控制，坐标和轨迹随场景调整，交互关系得以沿用。

早期重放思路首先要恢复动作适用的相对配置，DINOBot 以示范检索和腕部视角对齐实现这一点。跨到人类视频后，迁移对象可以从手部运动转为物体之间的相对运动。DITTO（Demonstration Imitation by Trajectory Transformation）从单段 RGB-D（Red-Green-Blue-Depth）示范重建物体轨迹，将其变换到机器人现场，再通过抓取预测与运动规划实现。人手与夹爪的动作不同，仍可完成相同的物体交互。

物体形状变化，又把对应关系从整体位姿推进到功能部位。图 3（b）的 SemAnCorr（Semantic Anchored Correspondence）用语义表面锚点迁移接触区域与局部坐标系，再复用相对运动。把手换了形状，关键是找回能实现同一交互的接触位置；任务跨越多个阶段时，则要分别对齐拿取和插入所依赖的对象。这条路线保留的参照由整段轨迹细化到局部接触与对象关系，使更多场景变化能够通过几何变换处理。

2.3 先预测再控制：把期望的未来变成动作

World-model-based control

世界模型控制，是根据上下文预测未来观测、状态或转移，再利用预测规划、选择或解码动作的方法。它延续了基于模型的控制“先预测后行动”的思路，并将任务教导引入预测过程：既判断动作会带来什么，也从示范中确定这次应当实现怎样的变化。

这种中间表示把任务过程与身体动作分开。图 3（c）的 Zero-WAM 结合人类视频和机器人当前观测、历史，预测机器人视角下的后续画面，再通过学得的动作分支连接控制。Demo-JEPA（Joint-Embedding Predictive Architecture）则把示范转为潜在目标，由 Cross-Entropy Method（CEM）规划器依据学得的动力学搜索动作。前者侧重学习预测与动作的映射，后者用在线规划实现预测目标；两者都让机器人用自身的运动能力复现示范指向的状态变化。

从固定目标下的动力学预测，走向教导条件下的过程预测，难点在于预测必须响应新要求。同一场景里，示范改变了装配顺序，预测也要跟着改变。Zero-WAM 用 in-context future chunk prediction 训练模型读取这种差异，部署时以固定参数根据新示范调整预测。对这条路线而言，未来表示既要保留任务要求，也要能被机器人的动作实现，才能真正连接教导与控制。

2.4 编排技能与工具：让已有能力完成新要求

Skill- and agent-based execution

技能与智能体执行，是把上下文转成带参数的技能、程序或工具调用，再由已有执行器完成动作的方法。它源于任务分解与技能组合，将“组织新任务”同“完成底层运动”分开。图 3（d）的 UniSkill 将这一思路用于跨具身视频，从人类示范推断技能序列，再交给机器人侧策略执行。

语言模型将可组合的单元从技能序列扩展到程序逻辑。Code as Policies、ProgPrompt 把感知调用、条件判断与动作编排放进程序，使流程可以依据观察继续展开。RACaP（Reasoning, Acting, and Coding as Policies）以带类型的策略 API（Application Programming Interface）组织操作，让 ReAct（Reasoning and Acting）智能体结合记忆和现场反馈选择调用、填写参数及安排恢复。预先生成的接口代码保持固定，任务适应发生在接口的使用过程中。

程序进入真实场景后，还要把任务语义落实为可靠的空间参数，工具因此从动作接口扩展到感知与检查。Robo-Harness K1 提供深度、空间测量、视觉锚点与抓取候选；WAA（World Action Agent）将候选位姿显示在交互视角下，结合运动学规划反馈修正后执行，并可向 Skill Agent 查询示范中的步骤与完成条件。技能编排由此发展为带反馈的执行过程：教导组织任务，工具提供现场依据，执行结果决定下一次调用。

三、真正难的

是知道什么该变、什么不该变

四类方法都围绕同一个目标展开：让教导中的要求持续影响执行。几何迁移与程序调用通过显式参考组织接触和顺序，学习式策略通过训练建立示范与动作的对应。数据组织帮助模型读懂任务差异，记忆机制则让这些要求在后续步骤中继续发挥作用。

3.1 给模型看示范，不等于教会模型用示范

同样是使用示范，监督动作、学习如何读取教导，以及在部署时指定任务，训练目标和使用阶段各不相同。综述据此区分了三种用途：

Motor supervision｜监督运动。示范动作充当训练目标，让模型获得抓取、移动等能力。

Context-conditioned supervision｜学习使用教导。训练把教学样本与执行样本配对，使模型学会依据前一段教导决定后一段行为。

Task conditioning｜指定当前任务。以固定参数的条件推断为例，新的示范在部署时作为输入，说明这次应当怎样做。

训练配对决定了模型能从示范中学到什么。以零件配套为例，可以把“先放板件、后放轴套”的教学视频与遵循同一顺序的执行轨迹配成一组，再为相反顺序组织另一组。两组都在“收好零件”，但示范规定了不同的正确动作。保留这种对应，模型才能获得根据教导区分执行顺序的训练信号。

在配对之外，训练还需要覆盖足够多样的任务要求。BPP（Behavior Prompting Policy）绘图实验比较了同样 10,000 条训练示范的不同分配方式：覆盖 500 个任务、每个任务 20 条时，平均 Chamfer 误差为 9.5 像素；覆盖 2,000 个任务、每个任务 5 条时，误差降至 3.4 像素（三个随机种子平均，综述图 15a）。

Chamfer 误差衡量绘图结果与目标图形的接近程度，数值越小越好。在这项对照中，把相同数据预算分配给更多任务，取得了更好的绘图表现。

配对让每段教导与相应执行建立联系，任务多样性则提供不同要求下的决策练习。二者一起为模型学习如何根据新示范选择动作提供训练信号。

3.2 一句“改放托盘 B”，不该推翻整项任务

综述用图 4 的零件配套概念示例，把任务理解拆成可观察的变化。图（a）同时提出“板件先放”和“两块板件、三个轴套”；图（b）只把目的地改为托盘 B；图（c）则先问清该用哪个托盘。三种情况分别要求组合信息、局部修改和补充缺失信息。

图 4｜零件配套中的任务教导示意。（a）组合示范顺序与新数量；（b）只修改目的地；（c）先澄清目的地。综述图 25。

只看最终托盘，两块板件和三个轴套都在，顺序错误可能完全看不出来。中间状态才说明机器人是否先放了板件。同样，“改用托盘 B”只应更新目的地，不能顺带忘记数量和顺序。

这涉及对应关系（Correspondence）与记忆（Memory）：前者将教导中的对象、功能和接触映射到新场景，后者保留仍然有效的要求、替换过时信息。旧托盘坐标该更新，“板件先放”却应继续有效。

物体替换与导航中的迁移，同样需要保留任务指定的关系。“把液体倒入容器”允许更换容器形状；“握住把手”则要求替代对象具有可用把手。导航中，如果教导指定“先经过某个地标”，后续路线也需要保留这一经过关系。任务含义决定了哪些变化可以接受。

四、怎样判断机器人真正用上了教导

判断 Robot ICL 的作用，需要把教导响应与物理迁移分开测试。前者检验行为是否受新示范影响，后者检验示范中的要求能否跨场景保留。

场景不变，只改变教导中的目标或顺序，观察行为是否相应调整。视频背景和视角保持相当，可以减少无关视觉变化的干扰。

教导要求不变，替换对象或调整布局，观察机器人能否重新组织运动，同时保留目标、数量、顺序与接触关系。

图 5｜两种互补测试：（a）同一机器人场景、不同示范下的 UniSkill 未来预测，结果列展示预测画面；（b）LIBERO-PRO 评测基准替换物体后的目标选择测试。综述图 22。

图 5 中的预测响应与目标选择，分别呈现任务解释和对象识别的结果。结合实际执行成功率，可以进一步分析这些中间结果与动作完成之间的联系。

无上下文对照有助于分清预训练能力与新示范的贡献，训练数据、示范量、参数更新和重试机会则影响结果的可比性。对于部署，示范、纠正、人工接管及等待时间同样重要，它们反映操作者为获得这一成功率付出的代价。

五、未来研究方向及其下游应用

综述第 8 章讨论的未来方向，重点在于把少量教导转化为可迁移的任务理解。RoboCoach 对应有效教导：找出机器人尚未理解的要求，用示范与反馈补足。RoboRSI 对应机器人递归自我改进（Robot Recursive Self-Improvement）：从执行结果中提炼经验，改进后续的学习与决策。关系推断、物理迁移和长期记忆，是这两类能力共同依赖的基础（图 6）。

图 6｜面向可迁移任务理解的研究方向：从示范中学习关系，组合任务步骤，跨物理变化保留功能，并通过纠正反馈改善后续执行。综述图 24。

5.1 从选中熟悉任务，到推断没见过的规则

从识别熟悉任务走向新规则推断，是 Robot ICL 要跨越的一步。机器人既要能根据示范选中已知料箱，也要能从几次摆放中推断新的尺寸与槽位关系，再处理未演示的物体。评测可以保留熟悉的底层动作，将这些关系留到现场教学时再交代，观察机器人如何从例子中学会新规则。

这一差别直接关系到按单配套与柔性分拣。新订单常常改变分类和组合规则，拿取、搬运、放置等动作本身却没有变化。训练数据除了覆盖更多运动，也需要覆盖更丰富的任务关系，并保留教导与执行的配对。规则还应能通过文字、视频或两者结合来表达，使机器人从不同形式的教导中提取同一要求。

5.2 RoboCoach：把关键要求教清楚，让机器人少走弯路

RoboCoach 把研究重点放在教导的质量上。一段完整示范混合了目标、顺序、接触方式和操作者的习惯，机器人需要从中辨认必须遵守的关系。先放板件再放轴套，可能是工艺要求，也可能只是演示者当时的选择。对照示范、明确提示和局部纠正，可以澄清单次演示留下的歧义。

有效教导还应当支持双向交互。机器人拿不准顺序时，一句“这次也必须先放板件吗”，就能把问题限定在尚未明确的要求上。难点在于发现这种信息缺口，并选择能消除歧义的提问或示范。回答进入上下文后，应当修订相关要求，同时延续已经明确的数量、对象与完成条件。

现场教学可以围绕机器人遇到的具体困难展开。要求不清楚时，补充提示最直接；接触方式不明确时，关键动作的演示更有用；技能本身不足时，则需要练习。柔性装配与实验室辅助都有大量这样的现场经验。教学界面应让操作者方便地指出关键差异，学习机制则负责将这些差异用于新的对象和步骤组合。后续任务所需的重复纠正和返工，是教学效果的重要体现。

5.3 换了物体，仍然保留教导中的关键关系

更换夹爪、材料或接触阻力后，同样的轨迹可能产生不同结果。跨物体与跨具身迁移要把教导中的任务关系落实到新的物理条件下：围绕指定接触调整运动，结合对象功能和实际反馈选择执行方式。世界模型预测与实际接触结果之间的差异，可以为这种调整提供依据。

多型号零件装配和工具使用尤其依赖这种分工。上下文推断保留任务要求，控制器或额外运动学习适应新的身体与物理条件。评测可同时记录任务要求的保持情况、动作完成情况，以及适应过程消耗的交互和训练资源，呈现从任务理解到物理执行的迁移过程。

5.4 记住一条纠正，也知道它何时不再适用

长期记忆需要分别管理规则和状态。“板件先放”是可以跨批次沿用的工艺规则，上一批零件是否已经装好则属于本次执行状态。新坐标应替换旧坐标，修改后的工艺也应覆盖原有顺序。Memory 需要记录这些信息的适用范围，并根据新教导确定更新优先级。

后续纠正有时需要重新解释早先的经历。一次起初不起眼的停顿，可能在操作者补充要求后成为理解示范的关键。因此，记忆压缩需要保留关键片段，让摘要能够追溯到可检索的原始证据。长期家庭服务和跨区域移动操作都依赖这类记忆：用户习惯持续有效，物品位置、局部地图和任务进度则随现场更新。

5.5 RoboRSI：把执行中的反思，变成下一次的举一反三

RoboRSI 将学习延伸到任务完成之后。示范和纠正记录了要求，执行轨迹记录了机器人实际做了什么，两者的偏差为反思提供了依据。对 Robot ICL 而言，有价值的反思应当改善下一次读取教导和组织行动的方式。

例如，机器人放对了零件数量，却违反了先后顺序。对照教导与中间状态，可以找出被忽略的约束。进一步的改进，是让它在接受新任务时主动识别步骤间的依赖，并在关键动作后核对结果。经验因此从“这次板件先放”，上升为“如何从新教导中提取并遵守顺序要求”。

这种经验可以保存在上下文、可复用程序或模型的适应过程中，并带上适用条件和执行证据，供新任务检索与修订。后续可以用未练过的任务检验这种积累：看机器人是否需要更少的示范、纠正和试验，同时保留已有能力。研究由此聚焦于经验怎样提高学习新任务的效率。

教导与反思由此接续起来。人的指导提供任务依据，执行中的得失帮助机器人决定下次该关注什么、何时求助。多工位协作还可以共享这些经验，由接收方按自己的身体和现场条件验证、调整。让一次指导持续服务后续批次与相似任务，是减少重复教学与试错的重要方向。

六、Robot ICL 的产业影响

可能先从企业交付开始

Robot ICL 对面向企业（To Business，ToB）的机器人交付具有直接意义。工位换了零件、订单或流程，变化的常常是任务要求，而非全部动作能力。对于这类业务，通过现场示范与纠正完成适配，有望减少针对每个场景重新采数、训练的投入。

6.1 从为场景准备训练集，到把新任务教清楚

依赖场景微调时，新工艺通常要经过示范采集、数据整理、策略更新和验证。Robot ICL 把其中的任务差异交给上下文处理：模型复用已有能力，现场示范说明此次的对象关系、操作顺序与完成条件。新增信息的作用，从构造一套训练样本转向交代一项具体工作。

这让操作人员的经验有了更直接的表达方式。示范怎样对齐部件、指出哪一面朝上，或纠正一次错误顺序，都是在传递工艺要求。机器人再结合当前几何和执行反馈生成动作，把已经掌握的本领用于这项新任务。

6.2 把新任务教清楚，成为部署的一部分

图 7 展示了纠正如何延续到后续批次：“板件先放”被保留下来，运动则随新布局重新组织。对现场人员而言，这种复用意味着此前教过的要求能够继续使用，新一轮指导集中在变化的部分。

图 7｜纠正信息复用的机制示意。固定策略保存“板件先放”的反馈，再结合新布局完成配套；中间托盘状态呈现零件的放置顺序。综述图 26。

教学界面（Teaching interface）因此是产品的重要组成部分。操作者需要看得出机器人理解了哪些要求，能方便地修改出错的部分，并检查执行结果。系统分别管理工艺规则与场景状态，操作者修改目的地或数量时，已明确的其他要求继续保留。

6.3 竞争重点可能转向新增场景的交付成本

现场教导为机器人企业提供了一种交付思路：在策略之外，将可复用的教学和验证流程一并交给客户。客户换单时补充变化部分，让已掌握的任务经验继续使用。对于频繁换单的小批量、多品种业务，减少重复开发有望降低自动化的部署成本。

交付成本可以从新要求提出算到连续合格执行，将示范、试验、人工接管和返工一并记录。现场教导负责复用已有能力，超出现有能力的新材料、工具或动作则通过补充数据与训练来掌握。分别核算这些投入，便能看清新增场景的适配工作花在哪里，以及现场教学节省了哪些重复开发。

下一次工艺变化到来时，交付团队需要的是把差异教清楚，经过验证后继续生产。让机器人逐步学会这种工作交接，是“一教就会”在企业现场最实际的含义。

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈