网易首页 > 网易号 > 正文 申请入驻

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

0
分享至



设想我们正看一场篮球比赛,并持续询问大模型有关的画面。对话一开始,我们问:“刚才完成那次突破得分的是谁?” 模型给出了球员的名字。又经过几轮关于其他回合的问答,我们追问:“我们第一次聊到的那名球员,这场比赛最后一共得了多少分?” 这时,模型需要先从早先的回答中找回那名球员,再结合比赛信息确定得分。即使它能看懂最终统计,只要把 “那名球员” 认错,仍然会答非所问。

看电影时也有类似的需求。我们先讨论开头的某个场景,之后又聊到其他角色和情节。几轮问答后,我们指着当前画面中的一个角色问:“这个角色在我们最开始聊到的那个场景里出现过吗?” 此时,模型需要回忆最初讨论的是哪一幕,再判断这个角色是否出现在那一幕。仅仅理解眼前的画面,还不足以回答这个问题。

这样的追问在真实交流中很自然,要求模型把当前问题与先前的对话联系起来:比如前一个例子需要找回早先答案确定的人物,后一个例子需要找回最初讨论的场景。

来自悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联合提出VideoMemBench,关注大模型在围绕同一视频持续对话时,能否记住并正确使用前面讨论过的信息。



  • 项目主页(Project):https://videomembench.github.io/
  • 论文(arXiv):https://arxiv.org/abs/2610.40131
  • 代码(GitHub):https://github.com/Oliiveralien/VideoMemBench
  • 数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data
  • 论文标题:VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

目前许多视频问答评测采用相互独立的问题:模型依靠视频和眼前这一道题,就能给出回答,未必需要回顾对话历史。VideoMemBench 则把问题组织成有前后联系的多轮对话,让后续回答需要用到之前已经建立的信息,并重点考察两种依赖。

第一种是场景依赖(Episodic Dependency)。当问题回指之前讨论的某一幕时,模型需要通过对话确定所指的片段,再利用画面回答新问题。第二种是答案依赖(Answer Dependency)。问题沿着模型前面识别出的人物、物体或事件继续追问,模型需要接着自己的已有回答完成判断。前者关注先前看过的场景,后者关注先前给出的答案。



图 2 同一视频中的多轮问答,通过场景依赖与答案依赖连接起来。

怎样确认这些问题确实需要前文?研究团队设置了 Planner、Generator 和 Judger 三类角色,依次承担依赖规划、问答生成和质量检查,并请人工专家复核全部保留对话。检查的重点是:去掉相关历史后,问题应当无法得到确定答案;当前问题也不能把需要从前文找回的场景或答案重新说出来。此外,参考答案必须得到视频画面的支持。



图 3 数据构建流程:规划、生成、质量检查与人工审核。

最终,数据集收录了 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文。它既包含跨越多个轮次的回指,也包含同时依赖多条历史信息的问题。



图 4 数据集规模与分布;(d) 中 1,089 为独立轮数,1,200 和 594 分别为两类依赖的边数。

研究团队对 25 个模型进行了评测。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序逐轮给出,每个模型此前生成的回答保留在上下文中。结果显示,Claude Opus 5 的综合得分为 45.7,Gemini 3.8 Flash 为 42.4,Kimi K3 为 42.2,GPT-5.6-sol 为 41.7,Qwen3.5-27B 为 34.3。下表展示综合得分排名前列的模型。



图 5 按综合得分排序的前 11 个模型;各指标以百分制展示。

综合得分取逐轮回答、场景依赖和答案依赖三项指标的平均值。答案依赖采用更严格的链式计分:当前回答正确还不够,它所依赖的历史答案也都需要正确。因此,这项指标衡量的是整条回答链的可靠性。表现最好的 Claude Opus 5,在答案依赖指标上也仅达到 35.7%。

进一步分析表明,问题回指得越远,或需要同时关联的历史轮次越多,模型通常越难答对。对全部受测模型取平均,当依赖距离由 1 轮增加至至少 5 轮时,依赖问题的准确率从 30.2% 降至 23.1%。

将模型先前生成的回答替换为正确答案后,后续答案依赖问题的评测表现明显改善。这说明,早期回答中的错误可能影响后续判断,而准确的历史信息有助于支持接下来的对话。



图 6 依赖距离、父轮数量、对话位置及历史回答对表现的影响。

VideoMemBench 希望推动模型更充分地利用视频对话中已经建立的信息,使持续追问和跨场景讨论更加连贯、可靠。对于视频助手而言,理解当前画面之外,如何接住前面聊过的内容,同样值得认真评测。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

林杰论事
2026-11-22 03:12:35
沪深北交易所调整融资保证金比例

沪深北交易所调整融资保证金比例

界面新闻
2026-11-22 18:33:55
金价跌势凌厉,多家银行发布紧急提示

金价跌势凌厉,多家银行发布紧急提示

澎湃新闻
2026-11-22 08:47:03
黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

3DM游戏
2026-11-22 10:42:38
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

观察者网
2026-11-22 13:48:42
漫威为了少交税,竟然在法庭上证明:变种人不是人!

漫威为了少交税,竟然在法庭上证明:变种人不是人!

爆角追踪
2026-11-22 11:46:02
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
新一届江西省委领导班子亮相

新一届江西省委领导班子亮相

农民日报
2026-11-22 18:27:58
卖断货的“APEC晚宴同款荔枝冰酒”明天重启预售,老板:178元1瓶不会涨价,每人限购1瓶,预计15至30天内发货

卖断货的“APEC晚宴同款荔枝冰酒”明天重启预售,老板:178元1瓶不会涨价,每人限购1瓶,预计15至30天内发货

极目新闻
2026-11-22 15:13:10
大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

醉卧浮生
2026-11-22 13:36:53
墨西哥总统迷上八段锦!返程航班还在练

墨西哥总统迷上八段锦!返程航班还在练

看看新闻Knews
2026-11-22 00:38:31
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

阿尔卑斯瞭望
2026-11-21 17:55:36
3-2逆转!恩里克神了:疯狂12连胜,1.2亿锋霸重伤:被担架抬出场

3-2逆转!恩里克神了:疯狂12连胜,1.2亿锋霸重伤:被担架抬出场

足球狗说
2026-11-22 02:18:54
美联储加息,突传大消息!

美联储加息,突传大消息!

魏家东
2026-11-22 14:29:08
特朗普连发30多张APEC会议相关照片,还晒出与普京的合影,称“My Friend”

特朗普连发30多张APEC会议相关照片,还晒出与普京的合影,称“My Friend”

南方都市报
2026-11-22 12:22:47
断供的太多,银行也很头疼。

断供的太多,银行也很头疼。

老陆不老
2026-11-21 20:05:48
顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

都市快报橙柿互动
2026-11-22 00:21:20
万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

千年历史老号
2026-11-20 13:13:36
2026-11-22 18:59:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
时尚
健康
本地
家居

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版