网易首页 > 网易号 > 正文 申请入驻

你的模型越训越「不敢想」:港大NeurIPS 2026揭露GRPO隐藏的双重枷锁

0
分享至



随着 DeepSeek-R1 的出圈,强化学习尤其是 GRPO 已经作为大模型后训练的一种标准范式。然而,GRPO 并非完美无缺,近期的研究指出了它的两个明显缺陷:

  1. 能力边界没有拓宽(探索不足):GRPO 更多是在模型现有的能力圈子里做 “跷跷板” 游戏(探索与利用的权衡),甚至在大采样预算下(如 Pass@256),其表现反而低于基础模型。
  2. 不懂得 “因材施教”(难度不敏感):GRPO 的奖励机制忽略了题目的实际难度和模型当前的掌握程度,导致训练效率低下。

针对这一现状,近日来自香港大学的屈靓琼教授团队首次提出了一个统一的视角来解释这两大缺陷,并将其命名为 “隐式优势对称性(Implicit Advantage Symmetry)”。基于这一理论视角,团队提出了全新的算法A-GRAE,在不增加额外计算成本的前提下,同时显著提升了模型的准确率(Pass@1)与探索能力(Pass@k)。论文获 NeurIPS 2026 录用,代码已开源。



  • 论文题目:Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation
  • 录用会议:NeurIPS 2026
  • 论文地址:https://arxiv.org/pdf/2602.05548
  • 代码仓库:https://github.com/HKU-HealthAI/A-GRAE
  • 第一作者:香港大学博士生余志齐

一、研究动机:

GRPO 为何会陷入双重瓶颈?

在可验证奖励强化学习中,GRPO 会让模型针对同一道题生成多条回答,再由验证器打分。以二值奖励为例,答对得 1 分,答错得 0 分。组相对优势估计将每条回答的奖励减去组内均值,再除以标准差。一个简单的标准化步骤,同时决定了组内如何奖惩、题目之间如何分配学习信号。研究团队指出,这种组相对优势中隐藏着一种未被察觉的 “对称性”,这正是阻碍模型进一步进化的罪魁祸首。这种对称性体现在两个层面:



图 1:GRPO 中的双重隐式优势对称性问题。在组内级别,正负轨迹的优势权重相等,导致低概率正确路径的 logits 无法更新,阻碍探索;在样本级别,中等难度样本的绝对优势值之和最大,导致困难数据训练不足。

  • 组级别的对称:在组内相对优势计算中,正确轨迹和错误轨迹的绝对优势值之和是严格相等的(零和性质)。这种对称导致那些 “概率极低但正确” 的未采样轨迹,无法获得直接的奖励信号。模型只能在已有路径上打转,不敢去探索新的解法。

定理 1. 行为空间的 Logit 更新:假定 B 为模型所有可能生成的轨迹集合(包含已采样的集合 G 和未采样的集合 U)。令 C 为组内优势之和(在标准 GRAE 中,归一化使得 C=0)。在梯度下降下,任意一条轨迹的 Logit 更新量为:









其中 p 表示该样本在组 G 内的经验成功率。定理 2 揭示了 GRAE 中固有的难度偏差:中等难度的样本主导了策略更新,而简单样本和困难样本在相同难度偏移下权重完全相同。然而,这种静态的方法忽略了训练过程中的动态分布偏移— 即随着模型能力增强。简单样本在样本池中会日益占据主导。这种对称性导致模型在琐碎数据上过拟合,却牺牲了对高难度场景的学习,从而无法满足演化学习过程中对模型能力非平稳性的需求。

二、控制变量实验:

打破对称性会发生什么?

基于上述理论,团队设计了受控实验,强行在组级别和样本级别打破这种对称性,以观察其因果效应。



表 1:控制变量实验设计汇总。Ai 表示对应回答优势,p 表示采样成功概率。β=10 和 γ=0.5 是常数项。

实验 I. 打破组级别对称:当刻意放大正确轨迹的权重时,模型遭遇了严重的 “熵坍缩”,大采样预算下表现垫底;反之,当压制正确轨迹的权重时,模型的探索能力被极大地激发,但训练后期容易引发崩溃。



图 2:使用 Qwen2.5-Math-7B 打破组级别对称性的实验结果。我们放大(正优势主导,Positive-Dominant)或抑制(负优势主导,Negative-Dominant)正确轨迹的优势值,以将其性能与 GRPO 及基模型进行比较。性能评估采用 Pass@k 指标。最后一张图展示了训练集上的熵动态变化。

实验 II. 打破样本级别对称:不存在普遍最优的静态难度加权策略,最佳策略取决于具体基准和训练阶段;实验证明,早期优先学习简单样本以掌握基础模式,后期转向困难样本以突破能力上限,这种 “由易到难” 的非平稳动态课程模式,比传统的静态固定策略或仅关注难题的方法能带来更高的学习效率。



图 3:使用 Qwen2.5-Math-7B 打破样本级别对称性的实验结果。我们重新缩放优势值,将学习焦点转向更困难的样本(Hard-Focused)或更简单的(Easy-Focused),以比较它们与 GRPO 及基模型的性能。性能评估采用 Pass@k 指标。最后一张图展示了训练集上批次内(within-batch)正确采样响应的数量。

小结(Takeaway):

  1. 压制正确路径的权重有助于探索,但过度压制会导致训练不稳定。因此,需要一种动态衰减机制。
  2. 简单样本在早期能帮助模型快速掌握推理格式,而困难样本在后期能突破性能上限。因此,需要一种从易到难的动态课程机制。

三、新的统一视角:

从优势对称性出发重新审视现有 RL 方法

这项研究最大的理论贡献之一,是提供了一个极具解释力的统一视角。在以往的研究中,针对 GRPO 的改进往往是 “割裂” 的,但从优势对称性出发,现有的各种方法其实都可以同一在这一框架下:

  • 打破 “组级别对称性”:现有的负强化(Negative-reinforcement)和 Pass@k 导向的方法,本质上都是通过抑制对于正确路径的过度学习,隐式地打破了组级别的对称性,以此来促进模型的探索。
  • 打破 “样本级别对称性”:而现有的那些强调高熵 Token 或困难样本的方法,则主要是通过根据样本的数据分布重新分配学习信号,打破了样本级别的对称性,将焦点转向不确定或困难区域。

我们希望这一统计视角能够为未来的强化学习奖励设置或者优势构造方法提供借鉴意义,在设计过程中对照这一性质来避免潜在的边界缩减和样本利用效率不足问题。

四、A-GRAE:

简单而有效的非对称优势重塑方法

我们此前的分析揭示,GRPO 中固有的优势对称性削弱了模型的探索能力和难度适应能力。为了解决这些局限性,我们提出了非对称组相对优势估计(A-GRAE)框架,以动态调节探索激励和对样本难度的关注。为了实现这一目标,需要一个度量指标来量化训练状态;因此,我们引入了批次平均奖励(batch-wise mean reward)作为代理指标:







其中 p 表示给定问题的采样成功率。随着模型能力的发展以及采样成功率的提高,分配给困难样本聚焦项(第一项)的权重会逐渐增加,而简单样本聚焦项(第二项)的对应权重则会减小,从而根据样本当前阶段能力动态地实现由易到难的自适应转变。

在组级别上,我们针对正确响应的优势值提出了一种衰减抑制策略(attenuation suppression strategy),该策略在早期阶段鼓励探索,同时在后期阶段保持稳定性:



这里 α>0 是一个缩放参数。

综上,一旦计算出了初始优势值,我们所提出的 A-GRAE 框架就可以无缝地整合到 GRPO 函数或其他 GRPO 变体中,即插即用。

五、实验验证:

准确率与多样性的双赢

研究团队在涵盖文本数学推理和多模态推理的 7 个主流基准上(包括 AIME2025, AMC23, MATH, Geo3K, MathVision 等)进行了广泛验证,使用了 Qwen2.5-Math-7B、DeepSeek-R1-7B 和 Qwen2.5-VL-3B 等基座模型。

  • 全面超越基线:无论是纯文本还是多模态任务,A-GRAE 都显著提高了 GRPO 及其变体的表现。例如在最具挑战的 AIME2025 上,DAPO+A-GRAE 的平均表现(k=1 到 256)达到了 53.3%,显著高于原版 DAPO 的 52.2%。
  • 解决准确率和多样性的 "跷跷板" 难题:过去的算法往往在准确率(Pass@1)和多样性(Pass@k)之间难以同时提升。A-GRAE 实现了双赢,既提升了回答的准确率,又在大采样预算下维持了极高的多样性。
  • 泛化能力突出:在多模态医疗推理和分布外(OOD)任务中,A-GRAE 同样带来了显著提升,证明了该方法的普适性。



表 2:使用 Qwen2.5-Math-7B 在 MATH、AIME 2025 和 AMC23 上的 Pass@k 结果。 加粗和下划线的数字分别表示在每个 k 值下的最佳和次佳结果。具体而言,我们在 AIME2025 和 AMC23 上进行了 16 次运行(实验),在其余基准测试上进行了 4 次运行。



表 3:使用 Qwen2.5-VL-3B 在多模态数据集上的准确率。

六、结语

这项工作突破了”GRPO 天然缺乏探索能力” 的共识,并高屋建瓴地提供了一个统一视角,成功将强调多样性和提升准确率的两大研究流派统一在 “打破优势对称性“的框架下。在此视角下提出的A-GRAE,凭借极简的公式设计和无需增加额外算力的高效特性,在实际验证中展现出强大的有效性,为 RLVR 时代的算法优化提供了坚实的新基石。

更多理论推导、证明细节与完整实验数据,欢迎阅读原论文!代码已全面开源,欢迎社区交流探讨!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
一路走好,斯琴高娃去世,享年93岁,和大家想的不是一个人

一路走好,斯琴高娃去世,享年93岁,和大家想的不是一个人

马浵在解说
2026-11-18 12:05:56
离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

川渝视觉
2026-11-17 19:57:30
梁文锋放弃英伟达押注华为,奈何华为产能太低,卡跟不上只能限额

梁文锋放弃英伟达押注华为,奈何华为产能太低,卡跟不上只能限额

放开他让wo来
2026-11-18 11:29:10
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-16 15:09:51
APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

铁锤简科
2026-11-18 11:04:17
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
要是朱标没死,朱棣敢不敢造反?这么说吧,朱标活着的话,能一个人晃晃悠悠走进燕王府,把朱棣拽出来,正手反手就是10个大巴掌

要是朱标没死,朱棣敢不敢造反?这么说吧,朱标活着的话,能一个人晃晃悠悠走进燕王府,把朱棣拽出来,正手反手就是10个大巴掌

磊子讲史
2026-11-17 12:10:42
开拓者遭遇2连败,克林根化身周琦遇世界性难题,杨瀚森又被DNP

开拓者遭遇2连败,克林根化身周琦遇世界性难题,杨瀚森又被DNP

弄月公子
2026-11-18 14:28:29
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-17 00:05:04
96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

我的护球最独特
2026-11-18 05:52:43
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
2-1夺冠后,U19国足主帅久尔杰维奇低调总结,而韩主帅却很沉重!

2-1夺冠后,U19国足主帅久尔杰维奇低调总结,而韩主帅却很沉重!

田先生篮球
2026-11-18 06:22:39
名单没日本,高市早苗不来深圳APEC?别误会

名单没日本,高市早苗不来深圳APEC?别误会

爱下厨的阿酾
2026-11-17 06:16:19
克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

好火子
2026-11-17 23:57:53
援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

援乌阵营开始散伙?两国同日翻脸,泽连斯基头疼了!

麓谷隐士
2026-11-17 00:05:10
下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

罗说NBA
2026-11-18 07:39:17
Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

Lisa拉斯维加斯驻唱现场变装引热议!伴舞脱衣失误险走光,Lisa自己迅速将衣服拉了上去

韩小娱
2026-11-16 12:13:54
环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球网资讯
2026-11-17 17:49:03
2026-11-18 14:47:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

OPPO Reno17:手机背后竟然藏了只“喵”?

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

头条要闻

蒙古国总统突然辞职:被喻为"蒙古版普京" 是宠妻狂魔

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
数码
本地
公开课
军事航空

PS敦促玩家必须更新PS5!不然不让你玩《GTA6》

数码要闻

Intel下下代处理器迎新进展!四大版本首次集体现身:桌面、笔记本全覆盖

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版