网易首页 > 网易号 > 正文 申请入驻

让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

0
分享至

允中 发自 凹非寺
量子位 | 公众号QbitAI

openJiuwen AgentMemory正式上线了多模态记忆能力OmniMem-Lens:按秒盲切是记忆碎片化的元凶,按真实事件记忆才是正解——召回精度最高提升45.7%,在线问答时延最高降低97%

一个让所有Agent头疼的问题:3小时的视频,怎么“记”?

在AI智能体(Agent)与多模态模型(VLM)快速演进的今天,我们已经不满足于让Agent处理单一的文本工作了,而是让它干更复杂的活儿。

比如“看完3小时的新品发布会,并找出所有产品亮点”,或者“分析一整天的监控视频,并标记出异常事件”。

然而,现有Agent面对超长视频时,海量信息会瞬间超出其上下文限度,导致处理能力和准确度大大下降。

目前业界的通行做法,是粗暴地把长视频按固定时间窗口(如一分钟)切分成一小段一小段,让智能体分开去记忆。

这种方式如同盲人摸象,给智能体记忆带来了两个致命伤:

① 记忆被切碎——证据碎片化

一段原本连贯的老师讲解,在中间被切断,前半段和后半段被智能体分开处理、分开存储。当用户提问时,智能体只能拿到半个“断章取义”的证据,于是胡编乱造、幻觉频出。

② 记忆被稀释——证据淹没

一个几秒钟的关键动作,与前后几分钟无关的背景画面强行打包。智能体检索细节时,关键信息被大量噪音淹没,召回精度断崖式下跌。

问题的根源是,Agent是“按秒”在记视频,而人是“按事件”在理解视频。

打个比方,你回忆昨天看过的电影,会按“主角相遇→误会→和解”这样的情节去记,而不是拿秒表每60秒存一段。可现在的Agent,恰恰是拿秒表在记电影。

更棘手的是,市面上大多数视频事件分割方案只依赖单一模态,只看画面,或只听语音。可这两条路都会失灵:画面长时间不动时,它看不见内容其实换了议题;没有台词时,它听不到任何线索。

这不是算力不足,而是记忆在切分源头就失去了“焦点”。

OmniMem-Lens:让Agent像人一样“按事件”记忆

为了让智能体像人类大脑一样真正处理长视频,团队在openJiuwen AgentMemory 0.2.0版本中正式上线了OmniMem-Lens(多模态记忆透镜)能力。

作为AgentMemory针对视频多模态记忆处理的核心技术,OmniMem-Lens开创性地通过视觉听觉两条轨迹来理解视频中的事件,并以此完成记忆内容的组织,让Agent的视频记忆第一次真正做到——按事件存,按事件取

团队对它的定位是:给智能体装上一个懂得“自动定焦”和“分层整理”的超级海马体

它做对了三件事:按真实事件切、分层存记忆、离线建好在线查



视觉听觉联动:像人类大脑一样,按真实事件记忆

OmniMem-Lens给智能体同时装上了“眼睛”和“耳朵”:眼睛看画面,画面切换时判断出变化并标记;耳朵听语音,画面没动但说话人换了话题时,通过ASR语音转录分辨出来。

双证据交叉对焦,长视频被切分在真实事件边界上,智能体对视频的理解从此不再“断章取义”。

三层记忆结构:不同颗粒度分层存,细节回溯与整体理解兼得

用户的每次提问,需要的证据颗粒度可能都不一样。OmniMem-Lens在后台建立了一个三层记忆单元:



要大纲有大纲,要细节有细节,检索时按需取用,互不干扰。

就像一本带目录和索引的书:目录(L1)帮你翻到大致章节,索引(L2)帮你定位到具体某一句话,原文(L0)随时可以翻回去核对。

同时,L1与L2记忆单元完全文本化与向量化,可以无缝接入主流向量数据库——对已有RAG/Agent技术栈的开发者来说,几乎零改造即可用上。

记忆离线建,回答在线查:慢功夫提前做,快响应留给用户

如果每次不同角度的提问,都需要智能体把几个小时的视频重新看一遍,不仅反应极慢,还会消耗巨大算力。

OmniMem-Lens把繁重的记忆整理工作提前在离线做完;智能体面对提问时直接查记忆,做到秒级响应,问什么答什么。

在线检索的链路并不复杂:用户Query先与L1/L2的记忆单元做语义匹配,快速定位到精炼的多模态记忆;只有当明确需要视觉细节验证时,系统才按需调取L0层的精确视频帧。这种“轻量级文本索引+延迟调取原始视频”的架构,大幅提升了视频记忆检索的效率。

OmniMem-Lens的设计哲学在于:像专业摄像机一样双焦定格事件边界,像三棱镜一样分层折射记忆结构,从而让智能体对长视频的理解,从盲目切割,走向精准透视。

实测数据:精度全面领先,时延最高降97%

说得再好,不如跑一遍数据。团队选取了三个主流长视频问答评测集,将应用了OmniMem-Lens能力配合Qwen3-VL-8B模型处理视频记忆问答,与直接使用VLM模型Qwen3-VL-8B处理视频内容问答进行对比。

一句话看懂下面的表:
“召回精度”越高=找到的证据越准;
“在线时延”越低=等答案的时间越短。

① 记忆召回精度:三个评测集全面领先



在通用长视频基准Video-MME-L上提升8%,长视频理解基准LVbench上提升6.4%。

最亮眼的是EgoLife-QA上的+45.7%——这个评测集以第一人称视角记录一整天的日常生活,事件密集、细节琐碎,恰恰是固定切分最容易失效的场景,也最能体现“按真实事件组织记忆”的价值。



② 在线问答时延:从“重新看一遍视频”到“直接查记忆”



视频越长,VLM直答需要“啃”的画面就越多,时延也就越长——LVbench上Qwen3-VL-8B要等34.5秒,OmniMem-Lens只需1.72秒,快了整整20倍

换成生活场景:VLM直答像每次都把3小时的电影从头到尾重看一遍再回答你;OmniMem-Lens像一位看电影时就已经做好笔记的影评人,你问哪段,他翻笔记直接答。
两个例子,看懂“失焦盲切”与“精准透视”的差距

例一:因果关系被切断



以一段2小时的动画片为例:站台上,女生离开、男生目送,女生离开后,男生幻想她变成蝴蝶飞走。

固定1分钟盲切把这段120分钟的视频切成120个片段。而“女生离开→男生目送→幻想蝴蝶”这个完整事件,从第14分20秒持续到第16分50秒,恰好横跨第14、15、16三个窗口,被窗口边界连切两刀。

于是碎片变成了三段互不相干的记录:第14分钟「女生离开」、第15分钟「男生目送」、第16分钟「蝴蝶飞走」

当用户查询“在女生离开后,男生在想象什么?”时,检索到的片段里只有“男生目送”和“蝴蝶飞走”,却没有任何线索说明这蝴蝶只是幻想——智能体把它当成了真实发生的事,答非所问。

OmniMem-Lens则把这个事件作为完整的一段(第14分20秒—第16分50秒)存进记忆:ASR流听出话题转向,视觉流捕捉到场景切换,双流对焦在真实边界落刀。“女生离开后再幻想”的因果关系被完整保留,事实与幻想分得清清楚楚,准确回答。

同一段视频,不同的记忆组织方式,就是“答不出”和“答得准”之间的差距。

例二:画面静止时,耳朵才是关键

上面这个例子靠视觉线索就能解决。而下面这个场景,光有眼睛是不够的



一场2小时的产品评审会,屏幕上始终是同一张架构图,40分钟没有任何变化。但这40分钟里,讲者先后讲了三个独立议题:架构设计、性能压测、下季度排期。

只看视觉的方案(以及固定窗口盲切)看到的是“一段静止画面持续40分钟”,于是判定为同一段内容,把三个议题打包进同一条记忆。当用户问“性能压测那部分的QPS是多少”时,关键数字被埋在40分钟的噪音里,召不回来。

OmniMem-Lens的ASR语音流听得出来:画面没变,但讲者在换话题。语音一旦转向,系统立即落刀——三个议题各自成段,提问时一击即中。

这正是视听双流的价值所在:视觉失灵时,听觉顶上;听觉失灵时(比如无台词的镜头切换),视觉顶上。任何单独一路都可能漏判,两路交叉才靠得住。

WorkSwarm即将支持对接使用openJiuwen AgentMemory,将日常对话中的视频内容帮你记住,讨论时帮助你快速回忆。

写在最后

智能体要想真正替人类干复杂的工作,就不能只有“执行力”,更要有“好记性”。

OmniMem-Lens通过让智能体“按真实事件记”与“分层高效查”,解决了长视频场景下智能体记忆碎片化、找不准、反应慢的问题,为多模态智能体打造了一套高精度、极速响应的记忆底座,让智能体在面对长视频时,真正做到“过目不忘、对答如流”。

OmniMem-Lens已在openJiuwen AgentMemory 0.2.0版本正式上线,欢迎体验、共建。

如果这篇文章对你有帮助,欢迎点赞、在看、转发三连,也欢迎在评论区聊聊:你的Agent是怎么处理长视频记忆的?

项目地址:https://gitcode.com/openJiuwen/agent-memory/

*本文系量子位获授权刊载,观点仅为原作者所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

李一桐变得越来越妩媚了,黑丝袜搭配白衬衣尽显制服风韵!

说不尽的人心
2026-11-22 10:41:55
2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

2-0,4-0!英超疯狂1夜!曼联惨败,布莱顿大爆冷,积分榜出炉

过期少女致幻录
2026-11-23 03:34:31
股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

股票跌、基金跌、黄金跌、比特币跌,为什么所有资产都在跌?

村夫观天下
2026-11-22 21:31:28
3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

3国分5金!国羽大赢家,王祉怡外战告捷,NO.1德比胜出,大马2冠,丹麦名将收退赛礼!

刘姚尧的文字城堡
2026-11-22 20:13:56
终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

终南山第一隐士:隐居30多年,天天清水煮白菜,现亲人已认不出他

快乐彼岸
2026-10-22 04:01:15
首都医科大学孙永全教授因病离世,年仅62岁

首都医科大学孙永全教授因病离世,年仅62岁

双一流高校
2026-11-23 00:08:08
29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

29岁中国女排名将称国外没有瘦肉精!拒道歉不回应 网友:崇洋媚外

念洲
2026-11-22 08:51:44
特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

特朗普已乘专机离华,回国后的第一场记者会,就给日本浇下冷水?

星落山间
2026-11-22 17:33:19
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

一个害国害民的历史罪人,老百姓还把他当成英雄崇拜

小豫讲故事
2026-09-17 06:00:15
仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

仰天长啸+捂脸痛哭!桥本一周两冠世排升13位 日媒:国乒也在忌惮她

颜小白的篮球梦
2026-11-22 23:22:20
儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

温情邮局
2025-09-28 11:57:16
油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

油价又调了,新能源车主下半年就剩两条路,第二条很多人不想承认

沙雕小琳琳
2026-11-23 03:06:58
报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

报复连夜落地!凌晨4枚锆石狂轰6万人小城,普京赌的是乌军拦不住

观锐器
2026-11-19 23:10:04
0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

0-3!迈阿密国际季后赛惨败,梅西0进球0助攻,下场不赢就出局

体育知多少
2026-11-22 09:21:53
吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

吃他汀一滴茶都不能喝?提醒:吃他汀还喝茶,5个后果或承担不起

华庭讲美食
2026-11-22 14:02:23
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
伊朗副外长证实调解方卡塔尔代表团访问德黑兰

伊朗副外长证实调解方卡塔尔代表团访问德黑兰

澎湃新闻
2026-11-22 01:49:02
77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

77年我把大院千金藏在草垛,20年后她成一把手,开车堵了我家大门

卡西莫多的故事
2026-05-09 09:42:29
2026-11-23 04:11:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176603关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

游戏
旅游
本地
艺术
军事航空

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

旅游要闻

【甘快看】文旅新探·探秘丨大地湾,渭水文脉八千年

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

印度,一个盛产美女的国家:多元血脉与纱丽风情交织的独特之美

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版