网易首页 > 网易号 > 正文 申请入驻

VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆

0
分享至



来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。



  • 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
  • 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
  • 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
  • 论文:https://www.preprints.org/manuscript/202607.1539

一、为什么 VLM 需要记忆

近年来,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上飞速发展,并逐渐扩展到更为复杂、大体量的长程任务和真实应用。这些任务要求模型在更长的时间跨度、更多轮的交互中持续积累并调用过往信息,单纯扩展上下文窗口往往难以满足这一需求。为此,研究者用不同的方法尝试为 VLM 引入记忆机制,例如外部记忆库、层级化记忆、长短期记忆等。

然而,已有的设计多从特定的任务场景以及架构出发,对于记忆的实现和优化也往往专注于与任务相关的维度,术语和设计各不相同,缺少一个统一的视角来理解和比较这些方法。另一方面,已有的记忆相关的综述大多聚焦于 LLM,对于 VLM 方面的描述只包含特定的任务形式,有一定的局限性。

在这篇综述中,作者提出了全新的 4D 分类框架,系统刻画 VLM 中的记忆机制。基于这一框架,作者梳理了 300 余篇相关工作,总结出八种典型的记忆形态,整理了近 70 个评测基准,分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景中的作用,并讨论了当前面临的挑战与未来方向。



图 1|VLM 记忆相关研究的发展时间线。图中从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度展示代表性研究及其发展脉络,中间标注了同期主要基础模型的发展节点。

二、核心框架:4D 记忆分类



图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。

作者提出对于记忆的视角应从单纯的信息储存单元扩展到整个生命周期:有关的信息先从多模态任务中被观测并写入记忆,随着时间被反复提炼和组织,并在处理相关任务时被检索和调用。基于这一视角,作者提出了 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度,系统刻画 VLM 中的记忆机制。

1)When:记忆保留多久。这一维度关心记忆的存在时间。最短的瞬时记忆用于单次推理,情景记忆则适用于多轮对话和多轮交互,这两者的记忆通常仅在当前推理或任务交互期间保留。而最长的持久记忆会在会话结束后依旧保留下来,为后续的交互所用。

2)Where:记忆存在哪里。记忆的储存位置有模型内部和外部两类。内部记忆往往储存于模型的参数、隐藏状态和 KV 缓存中,这类记忆调用快并且与推理任务结合更密切,但不利于修改和查看。外部记忆储存于独立的数据库、知识图谱或经验库,便于更新和审查,但效果依赖于检索质量。

3)What:记忆存成什么。这一维度涉及记忆以什么形式把原始的相关信息储存起来,除了直接的原始信息片段,记忆还可以被整理成结构化的对话与轨迹记录、抽象的语义知识,或者被压缩成模型内部的潜在表示。

4)How:记忆如何操作。这一维度关心记忆在整个生命周期中经历的操作,主要包括四类:写入,决定哪些新信息以什么形式写入记忆。巩固,对已有的记忆进行整理和提炼。检索,找出与当前任务相关的记忆以辅助完成任务。更新与遗忘,在持续的交互中更新和清理信息,确保信息的时效性。

三、八种典型记忆形态




图 3|八种典型记忆形态及其在 4D 框架中的定位。

四个维度在概念上可以分开讨论,但在真实系统中往往相互绑定。选择了记忆保留多久,通常也就决定了它更适合存在哪里、以什么形式保存。作者据此总结出八种典型的记忆形态(图 3),每种形态都对应四个维度的一种典型组合。例如,长上下文记忆通过上下文窗口保留 token 或其压缩表示,通常属于瞬时、内部记忆;终身智能体记忆则需要在多次会话中持续积累经验,属于持久记忆,相应地,写入、巩固、检索、更新与遗忘四类操作都会在设计中被考虑。

需要注意的是,这些组合只是常见的设计倾向,并非固定规则。比如,瞬时的中间状态虽然无法在推理结束后保留,但其中的内容可以被额外组件整理后变成情景或持久记忆,并辅助后续的任务。作者希望,这些组合关系不仅可以帮助研究者理清现有工作在记忆实现上的偏好,也可以指出尚未被充分探索的设计空间。

四、从应用看记忆:八类典型场景



图 4|八类应用场景中的记忆需求偏好。

八种记忆形态回答的是「记忆可以怎么实现」,而在实际应用中,选择哪种形态、如何组合,很大程度上取决于任务本身。从应用的角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:

1)长视频理解与生成:受限于模型的上下文无法容纳海量的视频帧,记忆实现多以压缩视觉信息并有选择地保留任务相关视觉信息为主。

2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。

3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。

5)多模态 RAG:此类任务主要考察外部知识库和文档图像的构建,以及根据任务检索相关信息的效率和准确性。

6)第一人称视觉:此类任务涉及长达数天甚至数周的长期信息,对记忆进行层级化的组织往往是重要的解决方案。

7)个性化助手:由于用户的专属要求和偏好需要跨会话保存,记忆实现多以可随时更新的外部记忆为主。

8)虚拟环境交互:此类任务考察智能体能否把过去的交互经验提炼成可复用的知识和技能,在遇到新任务时检索参考。

五、挑战与未来方向


在综述的最后,作者梳理了现在 VLM 的记忆机制仍面临的挑战和值得探索的未来方向。首先,上下文变长并不等于记忆有效,模型即便接收了更多信息,也可能会错过一个短暂但关键的事件。其次,信息的重要性往往取决于之后会被问什么,这种滞后性使得对相关记忆的压缩和保留很难取舍,现有方法也常常在保留高层语义信息的同时丢失了事件顺序和视觉细节。此外,检索到的记忆本身可能是无关、过时甚至错误的,而模型往往缺乏核实这些记忆的能力,即使依据的是错误信息,也能给出看似合理的回答,使得错误难以被察觉。最后,现有的基准大多只测试记忆的单一能力,而真实任务场景中的错误往往涉及多个环节,单项测试无法全面反映记忆系统的落地表现。

针对这些问题,作者提出了几个值得探索的方向:借鉴人类认知构建分层的记忆结构,让系统根据信息类型自适应地选择存储方式,让模型自己学会判断什么值得记住,并让每条记忆都能追溯到原始的视觉证据。同时,记忆系统的评测不应只看准确率,用户能否查看、修改和删除自己的记忆,也应成为设计之初就考虑的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

“老人味”祸根被揪出!医生提醒:60岁后要少碰,老了或也没味

新时代的两性情感
2026-11-16 01:12:44
1943年日军大佐向中国下“战书”,提议双方各出150人拼刺刀对决,决斗开始才发现日军竟使阴招暗藏后手

1943年日军大佐向中国下“战书”,提议双方各出150人拼刺刀对决,决斗开始才发现日军竟使阴招暗藏后手

睡前讲故事
2026-11-13 13:38:14
黄金大跌,慌啥子嘛!!!

黄金大跌,慌啥子嘛!!!

杨子黄金
2026-11-16 07:52:25
消瘦如柴!成龙独子房祖名近况罕见曝光,传已秘婚生子...

消瘦如柴!成龙独子房祖名近况罕见曝光,传已秘婚生子...

港港地
2026-11-15 12:05:35
最顶级的帝王权谋!道光发配林则徐去新疆,看似贬官,实则救了中国166万平方公里领土!

最顶级的帝王权谋!道光发配林则徐去新疆,看似贬官,实则救了中国166万平方公里领土!

深度知局
2026-11-15 17:37:43
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
中超5队主帅下课!第2第4都换帅,61岁世界杯名帅来华,成最大牌

中超5队主帅下课!第2第4都换帅,61岁世界杯名帅来华,成最大牌

小火箭爱体育
2026-11-16 14:42:09
油价大跌!跌跌不休,11月16日全国92,95汽油“大降近0.26元/升”,四季度“先扬后抑”涨幅全降下来,下次11月26日调价,预跌300元/吨!

油价大跌!跌跌不休,11月16日全国92,95汽油“大降近0.26元/升”,四季度“先扬后抑”涨幅全降下来,下次11月26日调价,预跌300元/吨!

猪友巴巴
2026-11-16 09:24:46
北大399元羽绒服火出圈,购买小程序都挤崩了,全网刷屏“求代购”,“售价划算加上名校光环,很想拥有”;填充物为鹅绒,3XL充绒量30.5g

北大399元羽绒服火出圈,购买小程序都挤崩了,全网刷屏“求代购”,“售价划算加上名校光环,很想拥有”;填充物为鹅绒,3XL充绒量30.5g

都市快报橙柿互动
2026-11-16 13:12:06
工会完败:纽森的政治胜利

工会完败:纽森的政治胜利

寰宇大观察
2026-11-16 12:55:50
76人131-124步行者!马克西赛后谈詹姆斯直言不讳,一人也被忽视

76人131-124步行者!马克西赛后谈詹姆斯直言不讳,一人也被忽视

鱼崖大话篮球
2026-11-16 15:15:10
全美停飞,洛杉矶一架航班意外起飞,乘客:近万尺高空得知消息,挺疯狂;机上乐队歌手连唱十几首歌为乘客舒缓情绪

全美停飞,洛杉矶一架航班意外起飞,乘客:近万尺高空得知消息,挺疯狂;机上乐队歌手连唱十几首歌为乘客舒缓情绪

极目新闻
2026-11-15 20:00:33
重磅!马斯克曝出猛料,英伟达不少供应链仅口头约定,八万人请愿老黄回归

重磅!马斯克曝出猛料,英伟达不少供应链仅口头约定,八万人请愿老黄回归

清清诗话
2026-11-15 17:09:00
央视曝光:建筑垃圾侵占基本农田,整改一个月后仍原封未动

央视曝光:建筑垃圾侵占基本农田,整改一个月后仍原封未动

齐鲁壹点
2026-11-16 07:02:45
勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

照见古今
2026-11-12 14:48:00
支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

青春染指红颜梦
2026-09-02 17:50:13
中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

中央亮剑!多地开启机关事业单位大整顿,这几类人受影响最大

职场资深秘书
2026-11-16 14:27:40
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
中超转会传闻:曝国安酝酿“2换2”交易,引新门将+后防希望之星

中超转会传闻:曝国安酝酿“2换2”交易,引新门将+后防希望之星

体坛鉴春秋
2026-11-16 10:59:29
2026-11-16 16:03:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

房产
手机
旅游
本地
公开课

房产要闻

6.6亿!海口卖地!

手机要闻

Omdia:2026年Q3东南亚智能手机出货量同比下降36%,苹果逆势增长4%

旅游要闻

128米高空转30分钟,苏州之眼看尽金鸡湖

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版