IROS 2026最佳论文奖，颁给了刚成立一年多的实验室：机器人有了长期记忆新框架

“让机器人不只记住物体现在在哪，还记得它一路挪过哪些位置。

IROS 2026的最佳论文奖，颁给了一篇关于机器人长期记忆的工作。

这项研究提出的框架名为LT-Mem，出自韩国DGIST（大邱庆北科学技术院）机器人与机电工程系，作者是Yumin Lee、Hyoseok Ju和通讯作者Giseop Kim。它要解决的事情可以用一句提问概括：机器人反复进出同一个房间十次，能不能说清其中某一把椅子这十次里都去过哪儿。

还有个值得一提的细节。作者所属的APRL实验室2024年12月才建立，两位领衔作者2025年7月入学。从实验室建组到这篇最佳论文，只用了一年九个月。

01.

机器人只记得"现在"，记不住"曾经"

先交代一个前提：本研究论文把机器人在不同时间各自独立完成的一次建图运行称为一个session，下文统一叫"轮次"。

论文里举的例子就建立在这个设定上——同一间实验室被机器人先后建图十轮，第3轮时机器狗在白色桌子旁，那么到了第9轮，它在哪？

现有系统大多答不上来。几何路线的长期建图如LT-mapper、Pomerleau等人的工作，会比对地图与新观测的差异，删掉或修正过时部分；Khronos这项工作则进一步构建统一短期动态与长期变化的稠密时空度量语义地图。但它们处理"物体挪位"的方式是删掉旧实例、新建一个——物体从A移到B，A处的记录被覆盖，没有作为轨迹的一段留下来。即便给每个物体维护静止性概率的方法，最终也是丢弃历史来刷新地图。

另一条路线把长期记忆建在语义表征上，难点则出现在"认人"这一步。ReMEmbR这类视图级系统累积每次观测的特征向量来做检索增强推理，ConceptGraphs这类方法把基础模型特征融入三维表示，如点云或场景记忆，则把记忆建在物体层面。问题在于，视图级记忆并不要求在不同轮次之间建立明确的物体对应关系——两次看到的"椅子"是不是同一把，系统本身不作判断。而反复重新处理积累的历史视频流，开销会随部署时间一路上涨。

作者把这种物体状态历史的系统性丢失称为temporal amnesia（时间性失忆），并先梳理出需要支持的查询类型：物体级事件分APPEAR、DISAPPEAR、MOVE、NONE、RE-APPEAR五类，之上还有轨迹、波动性、变化时间点、以及指定两个轮次做状态对比，这四类必须跨多个轮次才能回答。

02.

用一个"波动性分数"决定记忆怎么更新

感知层负责把多轮建图对齐到同一坐标系。基础是MASt3R-SLAM，一套用三维重建先验从单目视频估计相机位姿和稠密点图的系统。跨轮次对齐沿用MR.ScaleMaster的做法，每轮设一个锚节点、用带尺度的相似变换估出该轮尺度并映射到全局坐标系；闭环靠跨轮关键帧的图像匹配。轮内里程计边与轮间闭环边构成因子图，交由图优化库g2o联合求解。随后每个关键帧用分割模型SAM3配文本提示得到掩码，投影回全局坐标系算出质心、体积和视觉特征。

推理层处理的是身份和更新。跨轮次认身份光比距离不够，因为物体本来就会动。论文给了五路归一化证据：空间邻近性、时间连续性、特征相似度、以波动性为条件的运动一致性、抑制误判消失的遮挡处理。

权重依次0.05、0.20、0.45、0.15、0.15，特征相似度是主信号。候选先用向量检索取出最相似的5个，如果检索没有得到置信度足够高的候选，则考虑所有语义标签兼容的跨轮次轨迹。首次观测、类别不符等简单情形由硬规则判定，含糊的交给输出受限的大模型裁判，只能回"匹配"、"新建轨迹"、"暂缓"之一，且不得改动已算好的分数。写入记忆前另设对齐检查：锚点平均偏移超0.3米即整轮挂起，只记一条对齐失败事件。

波动性分数在0到1之间逐轮迭代，事件似然被设为它的固定单调函数，是个不含学习的证据累积器，初值由大模型按语义标签一次性给出；即使先验估偏也能在几轮内收敛，无需逐物体调参。随后由确定性策略三选一：保持、覆盖、多假设（并存多个带置信度的候选位置，需连续多轮领先才升为主状态）。

三类动作对应三重记忆：当前状态记忆存现状，事件记忆存带轮次索引与位移的时间戳日志，统计记忆累积波动性与变化频次并反哺运动容差。以Lab-S的机器狗为例，第6、9轮的4.6米与5.1米位移记为移动，第4、8、10轮的小幅漂移落在容差内记为无变化，最终被归类为半静态。用户提问时，检索模块按问题类型分流到对应记忆，位移与频次直接在事件日志上确定性计算，不经大模型生成。

03.

3B小模型也能赢，token开销比最强视觉基线少一个数量级

配套数据集LT-VQA同时提供全局对齐的多轮次几何、持久的物体实例身份、事件级标注，以及带轮次索引的时序问答对。两个室内环境各跟踪10个物体、各10轮；室外的停车场场景同样10轮，分布在不同日期与时段。

三项指标依次为事件检测F1、事件问答准确率、频次问答准确率。纯几何基线靠距离阈值取得0.630的事件检测F1，但它不保留事件日志，两类问答在结构上无法回答。逐帧描述再汇总比对的文本批处理基线为0.460、0.300、0.267。视觉语言模型批处理基线把某物体在所有轮次的关键帧一次性打包喂给模型，取得0.790、0.680、0.333，代价是约711万token（模型处理文本或图像的基本计量单位）。

具备智能体式检索能力的STAR系统烧掉约4586万token，事件检测F1为0.420，QA-Event为0.460，QA-Freq无法回答——它缺少持久身份与事件日志，临时检索到的零散记录拼不出连贯的物体历史。

LT-Mem搭配Gemini 2.5 Pro取得0.910、0.820、0.600，仅用约43.8万token；换成可本地运行的小模型Qwen2.5-3B，仍有0.885、0.800、0.567，约35.2万token，依然全面超过所有基线，说明提升来自结构化的记忆设计而非大语言模型本身的能力。原因是感知阶段已把视觉转为结构化表征，推理层只收紧凑文本，每轮的词元预算与帧数无关，轮次越多差距越大。

消融实验更干脆：去掉跨轮次身份匹配后三项塌到0.140、0.120、0.070，持久身份是全部时序推理的前提；把波动性条件更新换成固定阈值则退到0.615、0.640、0.130。所有实验中锚点偏移均未超门限，无一轮被拒。

停车场场景展示另一类能力：统计记忆逐轮聚合车辆数，第3轮（早8:00）0辆最空，第8轮（13:03）34辆最满，"几点去能找到车位"查表即答。

项目主页：https://lt-mem.github.io/