网易首页 > 网易号 > 正文 申请入驻

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

0
分享至



设想我们正看一场篮球比赛,并持续询问大模型有关的画面。对话一开始,我们问:“刚才完成那次突破得分的是谁?” 模型给出了球员的名字。又经过几轮关于其他回合的问答,我们追问:“我们第一次聊到的那名球员,这场比赛最后一共得了多少分?” 这时,模型需要先从早先的回答中找回那名球员,再结合比赛信息确定得分。即使它能看懂最终统计,只要把 “那名球员” 认错,仍然会答非所问。

看电影时也有类似的需求。我们先讨论开头的某个场景,之后又聊到其他角色和情节。几轮问答后,我们指着当前画面中的一个角色问:“这个角色在我们最开始聊到的那个场景里出现过吗?” 此时,模型需要回忆最初讨论的是哪一幕,再判断这个角色是否出现在那一幕。仅仅理解眼前的画面,还不足以回答这个问题。

这样的追问在真实交流中很自然,要求模型把当前问题与先前的对话联系起来:比如前一个例子需要找回早先答案确定的人物,后一个例子需要找回最初讨论的场景。

来自悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联合提出VideoMemBench,关注大模型在围绕同一视频持续对话时,能否记住并正确使用前面讨论过的信息。



  • 项目主页(Project):https://videomembench.github.io/
  • 论文(arXiv):https://arxiv.org/abs/2610.40131
  • 代码(GitHub):https://github.com/Oliiveralien/VideoMemBench
  • 数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data
  • 论文标题:VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

目前许多视频问答评测采用相互独立的问题:模型依靠视频和眼前这一道题,就能给出回答,未必需要回顾对话历史。VideoMemBench 则把问题组织成有前后联系的多轮对话,让后续回答需要用到之前已经建立的信息,并重点考察两种依赖。

第一种是场景依赖(Episodic Dependency)。当问题回指之前讨论的某一幕时,模型需要通过对话确定所指的片段,再利用画面回答新问题。第二种是答案依赖(Answer Dependency)。问题沿着模型前面识别出的人物、物体或事件继续追问,模型需要接着自己的已有回答完成判断。前者关注先前看过的场景,后者关注先前给出的答案。



图 2 同一视频中的多轮问答,通过场景依赖与答案依赖连接起来。

怎样确认这些问题确实需要前文?研究团队设置了 Planner、Generator 和 Judger 三类角色,依次承担依赖规划、问答生成和质量检查,并请人工专家复核全部保留对话。检查的重点是:去掉相关历史后,问题应当无法得到确定答案;当前问题也不能把需要从前文找回的场景或答案重新说出来。此外,参考答案必须得到视频画面的支持。



图 3 数据构建流程:规划、生成、质量检查与人工审核。

最终,数据集收录了 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文。它既包含跨越多个轮次的回指,也包含同时依赖多条历史信息的问题。



图 4 数据集规模与分布;(d) 中 1,089 为独立轮数,1,200 和 594 分别为两类依赖的边数。

研究团队对 25 个模型进行了评测。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序逐轮给出,每个模型此前生成的回答保留在上下文中。结果显示,Claude Opus 5 的综合得分为 45.7,Gemini 3.8 Flash 为 42.4,Kimi K3 为 42.2,GPT-5.6-sol 为 41.7,Qwen3.5-27B 为 34.3。下表展示综合得分排名前列的模型。



图 5 按综合得分排序的前 11 个模型;各指标以百分制展示。

综合得分取逐轮回答、场景依赖和答案依赖三项指标的平均值。答案依赖采用更严格的链式计分:当前回答正确还不够,它所依赖的历史答案也都需要正确。因此,这项指标衡量的是整条回答链的可靠性。表现最好的 Claude Opus 5,在答案依赖指标上也仅达到 35.7%。

进一步分析表明,问题回指得越远,或需要同时关联的历史轮次越多,模型通常越难答对。对全部受测模型取平均,当依赖距离由 1 轮增加至至少 5 轮时,依赖问题的准确率从 30.2% 降至 23.1%。

将模型先前生成的回答替换为正确答案后,后续答案依赖问题的评测表现明显改善。这说明,早期回答中的错误可能影响后续判断,而准确的历史信息有助于支持接下来的对话。



图 6 依赖距离、父轮数量、对话位置及历史回答对表现的影响。

VideoMemBench 希望推动模型更充分地利用视频对话中已经建立的信息,使持续追问和跨场景讨论更加连贯、可靠。对于视频助手而言,理解当前画面之外,如何接住前面聊过的内容,同样值得认真评测。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国公司将特斯拉Model 3爆改成MPV,超充、OTA、辅助驾驶都能用

美国公司将特斯拉Model 3爆改成MPV,超充、OTA、辅助驾驶都能用

IT之家
2026-11-21 18:55:05
法国作家Vincent Crouzet胡说八道:所有在法国居住的华人、华侨或者有中国背景的人都是间谍

法国作家Vincent Crouzet胡说八道:所有在法国居住的华人、华侨或者有中国背景的人都是间谍

小徐讲八卦
2026-11-22 08:09:49
重选一百次,状元也只能是我!四大天选状元,詹姆斯勉强上榜

重选一百次,状元也只能是我!四大天选状元,詹姆斯勉强上榜

曼巴体育6
2026-11-22 18:14:53
《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

《GTA6》女主上身正面裸露BUG曝光 特殊触发方法

游民星空
2026-11-22 12:11:17
四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞;发闭店通知后爆单,一夜没睡坚持做完

农民日报
2026-11-21 19:13:51
这是毛主席在泰安的旧照,27岁时穷游泰山鞋子竟被贼偷走!

这是毛主席在泰安的旧照,27岁时穷游泰山鞋子竟被贼偷走!

老钱道古今
2026-11-22 08:50:30
媒体造神,从删掉"交易额"开始

媒体造神,从删掉"交易额"开始

鲁先生的笔
2026-11-21 21:51:20
玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

玻璃瓶更干净?法国科学家的意外发现:玻璃瓶里的微塑料反而更多

抽象派大师
2026-11-22 01:39:07
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

LULU生活家
2026-11-21 14:45:18
普京向乌克兰军人“喊话”

普京向乌克兰军人“喊话”

参考消息
2026-11-21 15:58:07
美军收到情报,台海一旦开战,解放军600枚超导,让美军有来无回

美军收到情报,台海一旦开战,解放军600枚超导,让美军有来无回

遁走的两轮
2026-11-22 14:00:37
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
“大不了就去送外卖”——年薪50万的高管被裁后真去跑了半年,才发现低处早就人满为患

“大不了就去送外卖”——年薪50万的高管被裁后真去跑了半年,才发现低处早就人满为患

一丝不苟的法律人
2026-11-20 11:43:40
2027年冬天,可能是最近60年最反常的冬天,有三大特点,大家一定要注意

2027年冬天,可能是最近60年最反常的冬天,有三大特点,大家一定要注意

笑谈文史
2026-10-18 20:35:15
妻子升处长后跟我离婚,领完证后我拨通了省纪委电话,她脸色煞白

妻子升处长后跟我离婚,领完证后我拨通了省纪委电话,她脸色煞白

千秋文化
2026-07-14 19:32:44
连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

兵国大事
2026-11-20 16:37:56
一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

一个月打完,詹姆斯188分,库里278分,文班458分,东契奇太夸张

大西体育
2026-11-21 21:46:18
A股:全体股民做好心理准备了,明天11.23,A股可能再次历史重演吗

A股:全体股民做好心理准备了,明天11.23,A股可能再次历史重演吗

股侠指北针
2026-11-22 17:56:35
H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

H200停售,海外AI算力又被掐断,国产AI芯片迎来“泼天富贵”!

互联网.乱侃秀
2026-11-21 11:23:44
11月21日,大家期盼已久的2026年养老金,究竟涨还是不涨?

11月21日,大家期盼已久的2026年养老金,究竟涨还是不涨?

虎哥闲聊
2026-11-21 21:35:58
2026-11-22 18:51:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

亲子
健康
艺术
本地
军事航空

亲子要闻

孩子厌学不想上学,不是想开点就好了

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

北京第一高楼差点落在丰台!丽泽“云柱”大楼!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版