网易首页 > 网易号 > 正文 申请入驻

VLM记忆机制最新综述,从When, Where, What, How四个维度看懂记忆

0
分享至



来自 Duke、Google、USC、UPenn、UNC 等八家机构的研究者联合发布最新视觉语言模型(VLM)记忆机制的系统性综述。基于全新的 4D 分类框架,系统梳理了 300 余篇相关工作和近 70 个评测基准,覆盖长视频理解与生成、多模态 RAG、具身导航与行动、个性化助手等八个热点应用场景。



  • 论文:Memory in Vision-Language Models: Taxonomy, Mechanisms, and Applications
  • 论文作者:SHAO-JUN XIA、YIZHUO HE、YUNER ZHANG、YIFAN JIANG、XIAOYANG CHEN、LIANGXI LIU、CHENWEN LUO、JINBAO WANG
  • 供稿:YIFAN JIANG、YIZHUO HE、YUNER ZHANG、SHAO-JUN XIA
  • 项目链接:https://github.com/Xzcv-hub/Awesome-Memory-in-VLM
  • 论文:https://www.preprints.org/manuscript/202607.1539

一、为什么 VLM 需要记忆

近年来,VLM 在图像描述、视觉问答、视频理解、多模态对话和具身智能等任务上飞速发展,并逐渐扩展到更为复杂、大体量的长程任务和真实应用。这些任务要求模型在更长的时间跨度、更多轮的交互中持续积累并调用过往信息,单纯扩展上下文窗口往往难以满足这一需求。为此,研究者用不同的方法尝试为 VLM 引入记忆机制,例如外部记忆库、层级化记忆、长短期记忆等。

然而,已有的设计多从特定的任务场景以及架构出发,对于记忆的实现和优化也往往专注于与任务相关的维度,术语和设计各不相同,缺少一个统一的视角来理解和比较这些方法。另一方面,已有的记忆相关的综述大多聚焦于 LLM,对于 VLM 方面的描述只包含特定的任务形式,有一定的局限性。

在这篇综述中,作者提出了全新的 4D 分类框架,系统刻画 VLM 中的记忆机制。基于这一框架,作者梳理了 300 余篇相关工作,总结出八种典型的记忆形态,整理了近 70 个评测基准,分析了记忆在长视频理解、具身智能、个性化助手等八类应用场景中的作用,并讨论了当前面临的挑战与未来方向。



图 1|VLM 记忆相关研究的发展时间线。图中从 When(时间范围)、Where(存储位置)、What(记忆内容)和 How(记忆操作)四个维度展示代表性研究及其发展脉络,中间标注了同期主要基础模型的发展节点。

二、核心框架:4D 记忆分类



图 2|VLM 记忆的 4D 分类框架:When(时间范围)、Where(存储位置)、What(记忆内容)、How(记忆操作)。

作者提出对于记忆的视角应从单纯的信息储存单元扩展到整个生命周期:有关的信息先从多模态任务中被观测并写入记忆,随着时间被反复提炼和组织,并在处理相关任务时被检索和调用。基于这一视角,作者提出了 4D 分类框架,从 When(时间范围)、Where(储存位置)、What(记忆内容)和 How(记忆操作)四个维度,系统刻画 VLM 中的记忆机制。

1)When:记忆保留多久。这一维度关心记忆的存在时间。最短的瞬时记忆用于单次推理,情景记忆则适用于多轮对话和多轮交互,这两者的记忆通常仅在当前推理或任务交互期间保留。而最长的持久记忆会在会话结束后依旧保留下来,为后续的交互所用。

2)Where:记忆存在哪里。记忆的储存位置有模型内部和外部两类。内部记忆往往储存于模型的参数、隐藏状态和 KV 缓存中,这类记忆调用快并且与推理任务结合更密切,但不利于修改和查看。外部记忆储存于独立的数据库、知识图谱或经验库,便于更新和审查,但效果依赖于检索质量。

3)What:记忆存成什么。这一维度涉及记忆以什么形式把原始的相关信息储存起来,除了直接的原始信息片段,记忆还可以被整理成结构化的对话与轨迹记录、抽象的语义知识,或者被压缩成模型内部的潜在表示。

4)How:记忆如何操作。这一维度关心记忆在整个生命周期中经历的操作,主要包括四类:写入,决定哪些新信息以什么形式写入记忆。巩固,对已有的记忆进行整理和提炼。检索,找出与当前任务相关的记忆以辅助完成任务。更新与遗忘,在持续的交互中更新和清理信息,确保信息的时效性。

三、八种典型记忆形态




图 3|八种典型记忆形态及其在 4D 框架中的定位。

四个维度在概念上可以分开讨论,但在真实系统中往往相互绑定。选择了记忆保留多久,通常也就决定了它更适合存在哪里、以什么形式保存。作者据此总结出八种典型的记忆形态(图 3),每种形态都对应四个维度的一种典型组合。例如,长上下文记忆通过上下文窗口保留 token 或其压缩表示,通常属于瞬时、内部记忆;终身智能体记忆则需要在多次会话中持续积累经验,属于持久记忆,相应地,写入、巩固、检索、更新与遗忘四类操作都会在设计中被考虑。

需要注意的是,这些组合只是常见的设计倾向,并非固定规则。比如,瞬时的中间状态虽然无法在推理结束后保留,但其中的内容可以被额外组件整理后变成情景或持久记忆,并辅助后续的任务。作者希望,这些组合关系不仅可以帮助研究者理清现有工作在记忆实现上的偏好,也可以指出尚未被充分探索的设计空间。

四、从应用看记忆:八类典型场景



图 4|八类应用场景中的记忆需求偏好。

八种记忆形态回答的是「记忆可以怎么实现」,而在实际应用中,选择哪种形态、如何组合,很大程度上取决于任务本身。从应用的角度出发,综述进一步整理了近 70 个现有的 VLM 记忆基准,探讨了八类应用场景的记忆实现和需求偏好:

1)长视频理解与生成:受限于模型的上下文无法容纳海量的视频帧,记忆实现多以压缩视觉信息并有选择地保留任务相关视觉信息为主。

2)图像推理与描述:该任务中,模型在较长的推理中容易忘记重要信息,记忆实现侧重于保留关键视觉信息。

3)持续学习:这类任务的核心是模型在学习新知识和技能时保留以往的能力,记忆通常体现为对模型原有参数和表示空间的保护。

4)具身导航与动作:记忆实现多以记录行动轨迹数据、任务进度和环境空间结构为主。

5)多模态 RAG:此类任务主要考察外部知识库和文档图像的构建,以及根据任务检索相关信息的效率和准确性。

6)第一人称视觉:此类任务涉及长达数天甚至数周的长期信息,对记忆进行层级化的组织往往是重要的解决方案。

7)个性化助手:由于用户的专属要求和偏好需要跨会话保存,记忆实现多以可随时更新的外部记忆为主。

8)虚拟环境交互:此类任务考察智能体能否把过去的交互经验提炼成可复用的知识和技能,在遇到新任务时检索参考。

五、挑战与未来方向


在综述的最后,作者梳理了现在 VLM 的记忆机制仍面临的挑战和值得探索的未来方向。首先,上下文变长并不等于记忆有效,模型即便接收了更多信息,也可能会错过一个短暂但关键的事件。其次,信息的重要性往往取决于之后会被问什么,这种滞后性使得对相关记忆的压缩和保留很难取舍,现有方法也常常在保留高层语义信息的同时丢失了事件顺序和视觉细节。此外,检索到的记忆本身可能是无关、过时甚至错误的,而模型往往缺乏核实这些记忆的能力,即使依据的是错误信息,也能给出看似合理的回答,使得错误难以被察觉。最后,现有的基准大多只测试记忆的单一能力,而真实任务场景中的错误往往涉及多个环节,单项测试无法全面反映记忆系统的落地表现。

针对这些问题,作者提出了几个值得探索的方向:借鉴人类认知构建分层的记忆结构,让系统根据信息类型自适应地选择存储方式,让模型自己学会判断什么值得记住,并让每条记忆都能追溯到原始的视觉证据。同时,记忆系统的评测不应只看准确率,用户能否查看、修改和删除自己的记忆,也应成为设计之初就考虑的问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
极限2连扑!24岁英格兰门神率队力克世界冠军 曼城放走他亏大了

极限2连扑!24岁英格兰门神率队力克世界冠军 曼城放走他亏大了

雪狼侃体育
2026-11-16 15:02:39
随着小米辣首夺年终桂冠,最新WTA排名洗牌:前三易主 郑钦文第22

随着小米辣首夺年终桂冠,最新WTA排名洗牌:前三易主 郑钦文第22

大秦壁虎白话体育
2026-11-16 09:15:51
拒绝31分逆转!东契奇43+9创NBA历史第1神迹,还刷爆纪录,湖人8连胜!神射惊艳

拒绝31分逆转!东契奇43+9创NBA历史第1神迹,还刷爆纪录,湖人8连胜!神射惊艳

一将篮球
2026-11-16 11:26:50
比亚迪第三代唐11月24日上市:大五座旗舰SUV,预售22.5万元起

比亚迪第三代唐11月24日上市:大五座旗舰SUV,预售22.5万元起

IT之家
2026-11-16 14:07:06
美智库:中国集结超300架战机,进行全球最大规模空战演习?

美智库:中国集结超300架战机,进行全球最大规模空战演习?

兵国大事
2026-11-13 15:33:35
俄亿万富翁价值40亿元游艇被扣意大利扣押,每天需要花20万元运转,连空调都不敢关闭

俄亿万富翁价值40亿元游艇被扣意大利扣押,每天需要花20万元运转,连空调都不敢关闭

阿尔卑斯瞭望
2026-11-15 17:53:48
发生在医院里的八卦有多炸裂?网友:我来总结,医院里的主任是最多情的

发生在医院里的八卦有多炸裂?网友:我来总结,医院里的主任是最多情的

带你感受人间冷暖
2026-11-07 00:05:26
黄仁勋出轨瓜刚砸下来,董明珠却因一年前旧举动,瞬间口碑飙升!

黄仁勋出轨瓜刚砸下来,董明珠却因一年前旧举动,瞬间口碑飙升!

探索新高度
2026-11-16 15:12:15
今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-16 10:49:49
陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

牛锅巴小钒
2026-11-15 19:14:34
2009 年,宁波 25 岁学霸留美博士朱海洋,在校园餐厅当着七个人的面,把 22 岁北京学妹斩首,作案后不逃不躲,伸手等警察铐住自己

2009 年,宁波 25 岁学霸留美博士朱海洋,在校园餐厅当着七个人的面,把 22 岁北京学妹斩首,作案后不逃不躲,伸手等警察铐住自己

唠叨说历史
2026-11-12 18:20:19
于根伟打趣谢蒂内流泪:如果中超评奥斯卡奖项,你肯定是影帝

于根伟打趣谢蒂内流泪:如果中超评奥斯卡奖项,你肯定是影帝

懂球帝
2026-11-16 09:12:32
结婚才 1 个月,父亲黄仁勋出轨,她和丈夫是英伟达高管,年薪 830 万

结婚才 1 个月,父亲黄仁勋出轨,她和丈夫是英伟达高管,年薪 830 万

星娱叨叨社
2026-11-13 15:42:27
墙内开花墙外香!阿尔及利亚两架Su-57战斗机在交付一年后开始执行战斗任务

墙内开花墙外香!阿尔及利亚两架Su-57战斗机在交付一年后开始执行战斗任务

军迷战情室
2026-11-15 17:23:53
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
B费续约曼联条件曝光,先要波切蒂诺正名!新帅或签梅西接班人替代

B费续约曼联条件曝光,先要波切蒂诺正名!新帅或签梅西接班人替代

罗米的曼联博客
2026-11-15 10:41:21
神操作啊!网友2021年卖房获得500万全投入股市,近期280万清仓,220万买回原房,自述五年纯赚60万

神操作啊!网友2021年卖房获得500万全投入股市,近期280万清仓,220万买回原房,自述五年纯赚60万

火山詩话
2026-11-16 08:17:59
“老人味”祸根被揪出!医生提醒:45岁后要少碰,老了或也没味

“老人味”祸根被揪出!医生提醒:45岁后要少碰,老了或也没味

任医生聊健康
2026-11-10 13:30:11
活动生图里悉尼妹整体轮廓线条很清晰,身材火辣又纯又欲

活动生图里悉尼妹整体轮廓线条很清晰,身材火辣又纯又欲

动物奇奇怪怪
2026-11-16 15:37:25
常吃复方丹参片,睡眠好了,头不痛了,眼睛亮了,看懂背后原理

常吃复方丹参片,睡眠好了,头不痛了,眼睛亮了,看懂背后原理

宝哥精彩赛事
2026-11-12 09:41:25
2026-11-16 16:16:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

教育
手机
艺术
健康
房产

教育要闻

日常英语:公交车上问路

手机要闻

Omdia:2026年Q3东南亚智能手机出货量同比下降36%,苹果逆势增长4%

艺术要闻

寸境宏光——2026中国小幅油画展 人物篇

情绪真能让健康人"伤心至死"?

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版