机器人记忆出错怎么办？MIT让它学会自我纠错，补充两个视角，九成问题得到解决

机器人在路上行走时，看到屋顶上有一个灰色物体。由于距离较远、画面不够清晰，它最初没能准确描述这个物体，随后又将它认成了一只松鼠。但随着机器人继续移动，摄像头从新的角度拍下了这个物体，系统最终发现，它其实是一根烟囱。

那么，在获得更多信息后，机器人能不能像人一样，回头修正之前的判断？

近日，麻省理工学院的研究人员介绍了一套新的机器人记忆系统 UQ-DAAAM，试图解决这个问题。它能够检查记忆中哪些物体描述可能不可靠，再从已有画面中寻找更清晰的视角，补充信息并更新记忆。

在测试中，对于被标记为不确定的物体，系统最多补充两个观察视角，就使 92.3% 的物体描述的不确定性降到了设定阈值以下。在一项时空问答测试中，与原有系统相比，它回答描述性问题的准确率从 71.1% 提高至 76.1%，对物体位置和出现时间的判断也有所改善。

对于未来需要长时间在家庭、医院或工厂工作的机器人来说，记住环境中的物体及其位置，是完成复杂任务的基础。研究人员希望，机器人不仅能记录自己看到的东西，还能判断这些记忆是否可靠，在信息不清楚时主动寻找线索，避免最初的错误影响后续任务。

机器人记住环境，也可能记错

设想一个场景：紧急情况下，有人让机器人去走廊拿一台挂在墙上的除颤器。但如果机器人此前经过时，误把除颤器记成了灭火器，那么当它真正需要寻找这台设备时，错误的记忆就可能妨碍它完成任务。

机器人要回答“东西在哪里”“上次是什么时候看到的”这类问题，需要将不同时刻观察到的信息记录下来，并与物体在环境中的位置关联起来。尤其是在长时间运行的过程中，机器人需要不断积累和调用这些信息，才能完成跨越多个步骤的任务。

此前，MIT 研究团队开发过一套名为 DAAAM 的机器人记忆系统。机器人在移动过程中，通过摄像头拍摄周围环境，再利用视觉语言模型（VLM）为画面中的物体生成文字描述，并将这些描述与物体在三维地图中的位置关联起来。这样，机器人就拥有了一套可以随时查询的环境记忆。当人们询问相关问题时，它便可以从中寻找答案。

但机器人的摄像头并不总能拍到理想的画面。远处的物体可能只占据几个像素，近处的物体可能被遮挡；光线、拍摄角度以及移动过程中产生的模糊，也都会影响模型的判断。屋顶上的烟囱被认成松鼠，就是研究团队展示的一个例子。

“如果没有办法修正，错误的记忆可能随着机器人继续移动而保留下来，并影响之后的应用。”论文共同第一作者、MIT 研究生 Harry Zhang 表示。

为了解决这一问题，研究团队在 DAAAM 的基础上加入了一套不确定性评估机制：当模型为物体生成描述后，系统还会进一步判断，这条描述是否可靠。

判断的线索来自机器人一路拍摄的画面。同一个物体往往会出现在多帧图像中，虽然拍摄距离和角度不同，但这些画面都可以为识别提供信息。如果模型在不同画面中对同一物体给出了差异很大的描述，就说明系统可能还没有真正看清楚它。

在 UQ-DAAAM中，系统会综合两方面的信息：一是模型生成描述时的内部置信度信号，二是同一物体在不同视角下的描述是否一致。研究人员据此为每个物体计算一个不确定性分数。分数超过预设阈值，就意味着系统对这个物体的判断还不够稳定，需要寻找更多线索。

图 | UQ-DAAAM 概览（来源：上述论文）

例如，同一个物体在不同画面中，一会儿被描述成垃圾桶，一会儿又被描述成花盆，说明模型对它的理解可能存在较大分歧。即使不同画面给出了相似的描述，如果模型生成的文字本身不够连贯，系统也会将其纳入不确定性评估。只有综合这些信息，才能更好地判断一条记忆是否值得信任。

论文资深作者、MIT 航空航天系副教授卢卡·卡尔洛内（Luca Carlone）认为，让机器人知道自己有哪些信息不确定，是推动这项技术安全应用的重要一步。

从已有画面中寻找更多线索

发现一条记忆可能不可靠后，下一步该怎么办？

UQ-DAAAM 会回到机器人已经拍摄的画面中，为这个物体挑选更合适的观察视角。系统会考虑物体是否被遮挡、在画面中占据多大面积等因素，优先选择更清晰、可见度更高的画面，再让视觉语言模型根据这些画面生成补充描述。

对于最初被误认成松鼠的烟囱，后续画面提供了更清晰的观察视角。系统综合多次观察后，最终将它描述为“一个深灰色的圆柱形烟囱，顶部略微收窄，表面光滑”。

机器人在一路移动时可能拍下大量图像，如果将每一张图片都重新交给模型处理，计算开销会很大。因此，这套系统先根据已有的视角质量评分，挑选可能有帮助的画面，再进行补充识别。研究人员还给出了理论分析：在特定假设成立的条件下，质量更高的候选视角更有可能降低系统对物体的不确定性。这样，系统就不必对每个候选画面都重新调用视觉语言模型进行测试，从而减少计算开销。

获得更多观察结果后，系统还需要把新旧信息整合起来，形成一条可以保存的描述。为此，研究团队引入大语言模型（LLM），将不同视角下的描述融合起来。

如果新增描述与最初的描述发生冲突，系统会优先考虑补充观察后获得的信息；如果已有信息仍不足以消除分歧，则可以保留不同可能性。例如，无法确定一个物体究竟是白色还是灰色时，系统可以保留“白色或灰色”的表述，而不是强行给出唯一答案。与此同时，大语言模型也受到约束，只能使用已有描述中出现的信息，避免自行补充未经观察证实的细节。

更新后的描述会被存入记忆，供机器人之后查询使用。这样，当人们再次询问屋顶上的物体时，系统就可以参考经过补充观察后的信息，而不是只依靠最初那张模糊的画面。

为了测试这一方法，研究团队使用户外场景数据构建机器人记忆，并通过 OC-NaVQA 基准评估机器人对物体、位置和时间信息的理解能力。实验覆盖 7 段场景序列，共处理 98,866 帧画面。

在描述性问题上，原有 DAAAM 系统的准确率为 71.1%，加入不确定性评估和补充识别后，UQ-DAAAM 达到 76.1%，提高了 5 个百分点。在另外两项指标上，新系统的平均位置误差从 41.75 米降至 37.84 米，平均时间误差从 1.792 分钟降至 1.589 分钟。

研究人员还限制了补充识别的次数，避免系统不断调用模型。在主要实验中，每个被选中的不确定物体最多增加两个观察视角。在这一条件下，92.3% 原先被判定为不确定的物体，经过补充观察后，其不确定性分数降到了设定阈值以下。作为对比，随机选择补充视角的方法，这一比例只有 5.6%；仅依据原有视角质量进行筛选的方法，则为 34.2%。

不过，这并不意味着 92.3% 的错误都得到了修正。按照研究团队的评估指标，这些物体经过补充观察后，系统对它们的描述变得更加稳定，但不确定性降低并不必然代表识别正确。论文也展示了一个失败案例：即使获得了更清晰的画面，机器人仍然将一个自行车停车架误认为电话亭。如果视觉语言模型从多个角度都把同一个物体认错，系统仍可能得到一条错误但看起来一致的记忆。

目前，UQ-DAAAM 主要从机器人已经拍摄的画面中寻找补充视角。如果手头的画面都不够清楚，机器人能否主动回到原处，再看一眼？这也是研究团队正在探索的方向。

未来，他们希望将这一方法应用于能够移动和操作物体的机器人，让机器人能够主动寻找环境中不确定性较高的区域，重新观察并完善记忆。此外，研究团队也在探索将不确定性量化方法用于预测机器人所处环境未来的变化。

1.https://news.mit.edu/2026/clearing-up-robot-fuzzy-memory-1105

注：封面/首图由 AI 辅助生成