网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 Spotlight | 西工大提出ROSE:多模态终身知识编辑新范式

0
分享至



现实世界中的事实知识并非一成不变:企业 CEO 可能更替,产品信息会随着发布与迭代而更新,赛事结果也会不断产生。多模态大模型需要及时吸收这些新信息,才能保持知识的时效性。然而,在持续引入新事实的过程中,如何避免新旧知识之间的相互干扰,并尽可能保留模型在预训练阶段形成的通用能力,仍是亟待解决的关键问题。

针对这一挑战,在西北工业大学宋凌云教授和尚学群教授的共同指导下,研究团队提出了多模态终身知识编辑框架ROSE。该框架通过在知识编辑阶段约束参数更新方向,降低新旧知识之间的干扰。同时在推理阶段按需激活相关编辑的知识,从而减少连续知识更新带来的知识遗忘与原有能力退化。该论文入选NeurIPS 2026 Spotlight。



  • 论文标题:ROSE: Risk-Aware Orthogonal Subspace Navigation for Lifelong Knowledge Editing in Multimodal Large Language Models
  • 作者:宋凌云,陈子尧,潘康,韩笑琳,张逸飞,王小奇,潘雨黛,尚学群
  • 论文链接:https://arxiv.org/abs/2611.09770
  • 代码链接:https://github.com/sunlitsong/ROSE

连续更新知识面临哪些挑战?

知识编辑旨在不重新训练整个模型的情况下,纠正错误或更新特定事实。在真实应用场景中,新事实会随着现实事件不断出现,已有事实也可能发生变化。因此,多模态终身知识编辑需要模型在学习新知识的同时,保留先前的编辑结果,并维持无关输入上的原有表现。本文将这一挑战归纳为两个方面:

1. 灾难性遗忘(Catastrophic Forgetting):后续知识更新干扰先前的编辑结果,导致模型难以保持已编辑过的事实性知识(例如,先前已纠正过苹果公司的 CEO,在后续更新后又回答错误)。

2. 局部性退化(Locality Erosion):知识更新使模型在无关知识上的输出发生非预期变化,甚至损害模型原有的预训练能力(例如,更新苹果公司 CEO 的信息后,模型对其他公司的 CEO 也产生了不必要的回答变化)。

视觉与文本表示之间的关联进一步增加了控制编辑范围的难度。一次事实更新可能同时影响图像理解和语言回答,因此需要兼顾历史编辑的保持,以及无关知识与原有能力的稳定性。

连续编辑为什么容易相互干扰

知识编辑希望以较小代价纠正模型中的特定事实,避免每次更新都重新训练整个模型。例如,模型可能先后接收到多条知识更新:先将苹果公司的 CEO 从蒂姆・库克更新为约翰・特努斯,随后更新特努斯的任职经历及其此前负责的业务,再补充库克卸任 CEO 后的职务变化。完成这些编辑后的模型不仅要准确掌握每一条新信息,还应保证此前已经写入的知识不能因后续其他事实的更新而被错误修改。

然而困难在于,大模型中不同事实所依赖的知识空间并非是相互独立的。一次新的编辑可能改变此前编辑所依赖的特征方向,也可能影响无关输入上的输出。因此,即使模型成功写入了新事实,后续编辑仍可能导致历史知识被遗忘,或改变其在无关问题上的回答。

下图使用优化路径直观地解释了这个问题:如果更新过于保守,可能无法成功编辑新事实。而如果更新过于激进,又容易干扰其他知识。因此,ROSE 希望在知识编辑过程中避开可能损害预训练能力的高风险参数子空间,同时减少与历史编辑方向的冲突,从而在新知识写入与原有知识保持之间取得平衡。



图 1 传统知识编辑方法与 ROSE 的优化路径示意。

ROSE 如何写入和使用新知识

在编辑阶段,ROSE 冻结原模型主干,在选定 Transformer 层的 FFN 下投影矩阵中引入一个辅助分支,连续到来的新知识都写入这个分支。在推理阶段,模型先判断输入是否是已编辑过的知识,再决定如何结合两个分支的表示。



图 2 ROSE 框架图。

风险感知的正交编辑机制

为了减少后续编辑对已有修改的干扰,ROSE 分别提取历史编辑中的视觉和文本特征,构建对应的知识子空间用来记录历史编辑涉及的特征方向。在新一轮编辑时,ROSE 将梯度投影到历史知识子空间的正交补空间,移除与历史编辑方向重合的梯度分量,使新的参数更新尽可能避开已有编辑所涉及的特征方向,从而降低新旧知识之间的相互干扰。

然而,仅保护历史编辑涉及的特征子空间,还不足以保证模型原有知识与通用能力的稳定。为此,ROSE 引入动态风险掩码机制,以固定的原始权重为锚点,筛选出变化较大的参数空间参与后续更新,抑制其他参数位置的更新。该掩码在梯度更新时是动态重新计算的,以此来进一步保护大模型在预训练阶段形成的通用知识与能力。

多粒度知识整合策略

辅助分支中的编辑知识并非适用于所有输入。例如,更新苹果公司 CEO 的信息,不应影响模型对其他无关企业的回答。为此,ROSE 为每次编辑分别提取视觉和文本语义原型,记录本次修改涉及的知识特征。当模型接收到新问题时,通过计算输入特征与历史语义原型之间的相似度,判断当前输入是否与已有编辑相关。未通过语义门控的输入直接沿用原始主干的输出。

对于通过门控的输入,ROSE 进一步比较原始主干与辅助分支的特征表示差异,并据此构建动态融合掩码,仅在差异较为显著的位置引入编辑后的特征表示,其余位置仍保留原始表示。通过这种由粗到细的知识整合方式,实现对编辑知识的选择性调用,减少对无关知识和原有能力的干扰。

ROSE 在长编辑序列下的表现

论文在 VLKEB 和 MMEdit 两个基准上测试 ROSE,任务包括视觉问答和图像描述。可靠性关注模型是否正确完成目标知识的更新;泛化性考察模型在问题表述或图像发生变化时能否依然准确回答;局部性则关注知识编辑是否影响其他无关输入,确保模型在这些输入上的输出尽可能保持编辑前的一致性。

下表是 LLaVA-v1.5-7B 在 VLKEB 上完成 1000 次连续编辑后的结果。



从结果中不难看出:

1. ROSE 有效缓解了灾难性遗忘。

如表所示,随着编辑次数增加,多数基线方法的可靠性明显下降。在 VLKEB 上完成 1000 次编辑后,FT-L 的可靠性降至 68.14%,而 ROSE 仍达到 95.24%。从 1 次编辑增加到 1000 次,ROSE 仅下降 4.76 个百分点,FT-L 则下降 26.15 个百分点。这得益于风险引导的正交编辑机制:正交约束减少新旧编辑之间的方向冲突,动态风险掩码则限制参数更新范围,降低对预训练知识与能力的干扰。

2. 更好的知识泛化能力。

在 VLKEB 上,ROSE 在文本和多模态泛化方面均表现良好,且在 1000 次编辑后均优于最强基线 LiveEdit。其文本泛化达到 92.74%(LiveEdit 为 83.97%),多模态泛化达到 84.53%(LiveEdit 为 82.75%)。这得益于扰动引导的知识子空间融合机制,通过比较两个分支的特征差异,选择性融合变化显著的部分,同时保留其余原始表示。

3. 出色的局部性。

保留无关知识的完整性是许多编辑方法面临的难点。SERAC 在 VLKEB 上的多模态局部性降至 15.04%。相比之下,ROSE 的文本局部性达到 100%,多模态局部性达到 88.39%。这得益于从粗到细的知识整合策略。语义对齐门控引导无关查询绕过辅助分支,扰动引导的融合则针对相关输入进行细粒度修改,从而减少对其他事实知识的意外干扰。

运行成本方面,在单张 RTX 4090 和 LLaVA-v1.5-7B 的测试配置下,1000 次编辑设置中的平均单次编辑耗时约 1.31 秒,每条查询推理约 1.13 秒,展示了一定的实用价值。



结语

ROSE 通过风险感知的正交编辑机制减少连续知识更新对已有知识的干扰,并借助多粒度知识整合策略按需调用编辑后的知识,降低局部性退化风险,从而在新知识学习与原有能力保持之间实现更好的平衡。实验结果进一步验证了该框架在多模态终身知识编辑任务中的有效性。

第一作者简介


宋凌云,西北工业大学计算机学院副教授,博士生导师,研究方向包括多模态大模型的强化微调、智能体技术、跨媒体认知与推理、计算机视觉等。发表 SCI 以及计算机领域高水平会议论文 60 余篇,申请国家级发明专利 20 余项和软件著作权多项。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

万万没想到!加拿大总理说了句震惊世界的话,参加深圳APEC后说:以深圳为师,引发舆论热议!

林杰论事
2026-11-22 03:12:35
沪深北交易所调整融资保证金比例

沪深北交易所调整融资保证金比例

界面新闻
2026-11-22 18:33:55
金价跌势凌厉,多家银行发布紧急提示

金价跌势凌厉,多家银行发布紧急提示

澎湃新闻
2026-11-22 08:47:03
黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

3DM游戏
2026-11-22 10:42:38
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

观察者网
2026-11-22 13:48:42
漫威为了少交税,竟然在法庭上证明:变种人不是人!

漫威为了少交税,竟然在法庭上证明:变种人不是人!

爆角追踪
2026-11-22 11:46:02
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
新一届江西省委领导班子亮相

新一届江西省委领导班子亮相

农民日报
2026-11-22 18:27:58
卖断货的“APEC晚宴同款荔枝冰酒”明天重启预售,老板:178元1瓶不会涨价,每人限购1瓶,预计15至30天内发货

卖断货的“APEC晚宴同款荔枝冰酒”明天重启预售,老板:178元1瓶不会涨价,每人限购1瓶,预计15至30天内发货

极目新闻
2026-11-22 15:13:10
大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

大爆冷!绿军单节输22分遭西部倒一补篮准绝杀 乔治19+8+5

醉卧浮生
2026-11-22 13:36:53
墨西哥总统迷上八段锦!返程航班还在练

墨西哥总统迷上八段锦!返程航班还在练

看看新闻Knews
2026-11-22 00:38:31
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

阿尔卑斯瞭望
2026-11-21 17:55:36
3-2逆转!恩里克神了:疯狂12连胜,1.2亿锋霸重伤:被担架抬出场

3-2逆转!恩里克神了:疯狂12连胜,1.2亿锋霸重伤:被担架抬出场

足球狗说
2026-11-22 02:18:54
美联储加息,突传大消息!

美联储加息,突传大消息!

魏家东
2026-11-22 14:29:08
特朗普连发30多张APEC会议相关照片,还晒出与普京的合影,称“My Friend”

特朗普连发30多张APEC会议相关照片,还晒出与普京的合影,称“My Friend”

南方都市报
2026-11-22 12:22:47
断供的太多,银行也很头疼。

断供的太多,银行也很头疼。

老陆不老
2026-11-21 20:05:48
顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

顺德大厨参与APEC国宴:当天凌晨3点半,就开始处理200多条石斑鱼,“几百份蒸鱼同时上,要保证同样品相和温度送到宾客面前”

都市快报橙柿互动
2026-11-22 00:21:20
万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

万斯与特朗普之间的差距有多大?就这么说吧,万斯一旦上台,美国很有可能会迎来翻天覆地的变化

千年历史老号
2026-11-20 13:13:36
2026-11-22 18:59:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
旅游
本地
艺术
手机

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

世界十大著名宫殿盘点:中国独占两席

手机要闻

星芒OSTA O1 Pro新机确认支持华为自研Wi-Fi 7+芯片级协同技术

无障碍浏览 进入关怀版