让老师先学再教！小红书团队开源前瞻式自蒸馏新方法

智猩猩AI整理

核心作者投稿

基于可验证奖励的强化学习（RLVR）是大语言模型后训练的重要路线，但这类训练也有一个难题：生成过程中每个 token 应该怎样改进缺少细粒度指导，只有单一的结果级奖励。

在线自蒸馏（On-Policy Self-Distillation，OPSD）为此提供了一种思路：相同模型同时扮演学生和教师。学生只看到问题，教师则额外看到正确推理轨迹、环境反馈或任务技能文档等特权信息，再为学生提供 token 级的稠密监督。

然而，现有自蒸馏方法通常让教师只依靠当前样本的特权信息来指导该样本，其他采样轨迹中已经获得的经验并没有被很好地利用起来。

于是小红书研究团队开源LEAD（LookahEAd self-Distillation，前瞻式自蒸馏），把一个直观想法带入训练：让教师先从该题的其他轨迹中自学，再携带特权信息指导该学生。由于在自蒸馏中教师和学生模型的能力差别不大，让教师先自学能够带来更准确的指导，团队称之为“前瞻式自蒸馏”。

同时为了避免教师自学自教带来的监督纠缠问题，团队提出交叉评分（Cross Scoring）机制，教师仅从另一组轨迹中学习来指导本组轨迹的样本。为了协调教师与奖励两种信号，团队还提出了和谐调制（Harmonious Modulation）方法，教师和奖励两种信号共同参与到优势的调制。

通过前瞻更新、交叉评分与和谐调制，LEAD 将自蒸馏从单样本扩展到跨样本学习，在 Qwen3-4B 和 Qwen3-8B 上同时提升科学推理与交互式 Agent 的域内平均表现，并保持与 GRPO 接近的跨域泛化能力。在 4B 科学推理实验中，额外的单步训练耗时仅为 GRPO 的 7.8%。

01

背景与方法

常规的自蒸馏教师往往只是多看了一些当前样本的特权信息，例如推理轨迹、环境反馈等，而 LEAD 进一步提出：教师能否先吸收其他轨迹的学习信号，从而更准确地判断当前轨迹？

这就像老师先做过一组相关练习，再指导本次练习，额外的特权信息不只来自特权本身。

但这种思想不能简单地在同一批轨迹上直接复用，论文通过理论分析发现，更新后教师的预测变化可以拆成“当前轨迹造成的变化”与“其他轨迹带来的变化”。

如果教师刚用某条轨迹更新，紧接着又给这条轨迹打分，就可能反复强化同一条轨迹的偏差，形成监督纠缠（Supervision Entanglement），LEAD 因此采用交叉评分机制，随后进行和谐调制。整体流程如下：

1. 前瞻更新（Look Ahead）：让教师先自学一步

LEAD 将每个问题采样得到的轨迹分成两个互不重叠的子组，记为 G₁ 和 G₂，然后从同一个当前模型出发，分别依据两组轨迹的 GRPO 信号，构造两个前瞻教师：

这里的 VirtualUpdate 是一次虚拟的强化学习更新：临时得到学过该组轨迹的参数状态，用于后续评分，实际学生参数和优化器状态则保持原状。

2. 交叉评分（Cross Scoring）：避免监督纠缠

两组轨迹形成两个教师，然后交叉来评另一组轨迹，具体来说基于 G₁ 构造的教师会给 G₂ 的轨迹打分，基于 G₂ 构造的教师会给 G₁ 打分，并且仍使用对应样本的特权信息。这里教师不能使用所指导的轨迹进行自学自教，从而避免监督纠缠。例如对于 G₂ 的轨迹，某个已采样 token 的监督信号可以写成：

其中 ᵢ 表示特权信息。得到的对数概率差 , ，同时包含教师从另一组轨迹学到的经验以及额外上下文带来的指导。随后该信号会进行批内标准化进行归一。

3. 和谐调制（Harmonious Modulation）：两种信号共同决定优势

教师意见与最终奖励并不总是一致。正确回复里的某些 token，教师可能并不支持；错误回复中，也可能存在教师认可的局部步骤。LEAD 引入和谐调制，根据归一化教师信号与 GRPO 优势的一致性，调整每个 token 的更新力度：

• 正向一致，适度增强：两种信号都为正时，加大该 token 的正向更新幅度。

• 方向冲突，适度降权：两种信号异号时，减小更新幅度，缓解监督冲突。

• 负向一致，保持原力度：两种信号都为负时，保留 GRPO 的负向更新，不额外放大惩罚；零信号等其他情况也保持原权重。

调制系数满足：
。通过和谐调制调节优势的大小，保留 GRPO 优势的方向，仅调制优势的大小，然后再将调制后的优势代入原有 GRPO 的目标进行更新。

02

实验与分析

研究团队在 Qwen3-4B 和 Qwen3-8B 两个规模上，将 LEAD 与 GRPO、SDPO、RLSD 进行比较。

评测涵盖两类任务：一类是 SciKnowEval 的生物、化学、材料科学和物理四个科学推理领域（所使用的数据集有所修正，详见论文）；

另一类是 ALFWorld、WebShop 和 Search，分别考察家庭任务执行、网页购物和搜索问答等多轮交互能力。特权信息针对科学推理任务使用同一问题采样组中的正确轨迹，针对 Agent 任务使用对应任务类型的技能文档。

实验会分别对每个领域训练模型，再评估其在本领域与同一任务套件其他领域上的表现。科学推理报告 mean@16，ALFWorld、WebShop 报告任务成功率，Search 报告七个问答数据集的平均精确匹配分数。域内结果取训练期间评测检查点的域内数据集的最高值，跨域结果取最后三个检查点的域外数据集的平均值。

1. 域内表现：两个模型规模、两类任务，平均成绩均领先

在科学推理数据集上，LEAD 相比各规模下最强对比基线，两种模型尺度分别提升2.02 和 1.78 个百分点，其中 4B 模型在材料科学上的表现从 GRPO 的 80.51% 提升至 85.82%。

更突出的提升出现在多轮 Agent 任务中。8B 模型的 Agent 平均成绩达到71.10%，相比最强基线 RLSD 提升 3.38 个百分点；其中ALFWorld 从 GRPO 的 71.10% 提升至 84.40%，增加 13.30 个百分点。4B 模型则在三个 Agent 基准上都取得了对比方法中的最好成绩。

这表明，LEAD 的作用也适用于奖励稀疏、反馈延迟的多轮决策任务。

2. 跨域泛化：同时保持与 GRPO 接近的表现

自蒸馏的一个潜在问题是模型学会教师额外上下文带来的表达习惯，甚至依赖特权信息，从而影响领域外的泛化性。例如 SDPO 在科学推理就出现了明显的跨域下降：4B 的平均成绩为 32.92%，8B 为 39.19%，而对应 GRPO 的成绩为 54.46% 和 54.30%。

LEAD 的科学推理跨域平均成绩分别达到54.27% 和 54.89%：4B 与 GRPO 接近，8B 为对比训练方法中的最高值。Agent 套件上，LEAD 的跨域平均成绩为 21.61% 和 14.15%，对应 GRPO 为 21.80% 和 13.78%。

这些结果支持了 LEAD 的设计思路：利用教师信号细化学习力度，同时保留奖励驱动的更新方向，有助于在提升域内表现时保持跨域泛化能力。

3. 消融分析：各设计均有效

在 Qwen3-4B 科学推理数据集上，完整 LEAD 的域内平均成绩为 78.63%。研究团队逐项拆解设计：

• 去掉前瞻式更新：教师直接使用当前模型，域内平均成绩降至 76.10%，下降 2.53 个百分点。教师先吸收其他轨迹的信息，确实带来了额外收益。

• 改为自学自评：保留前瞻更新，但让教师评分用于构造自身的同一组轨迹，成绩降至 76.90%，下降 1.73 个百分点，说明交叉评分有助于减少监督纠缠从而提升训练效果。

• 和谐调制：取消正向一致增强后，域内成绩降至 77.61%，跨域成绩由 54.27% 降至 52.06%；取消奖励与教师信号的冲突抑制，以及取消负向一致持平（变为下降）后，域内成绩也会下降。

1. 训练成本：额外开销可控

在 Qwen3-4B 科学推理数据集、8 张 H800 的实验设置下，LEAD 单步耗时相比 GRPO 增加约 7.8%，相比 RLSD 增加约 6.0%，低于 SDPO。LEAD 的代价主要来自虚拟更新和教师评分，但不必在整个词表上做密集指导。若为rollout 占据更多比例时间的长思维链任务，该额外开销会进一步降低。

03

展望

LEAD 展示了一种新的自蒸馏思路：教师的特权信息可以来自学习过程本身。当前批次里的其他轨迹，既能用于计算奖励和更新模型，也能通过前瞻教师转化成更细粒度的监督，为同批次中的另一组轨迹提供指导。从单轮科学推理到多轮 Agent 决策的实验表明，这种“先学其他轨迹，再指导当前轨迹”的机制，可以改善域内平均表现，维持与 GRPO 接近的跨域泛化，且不会带来太多额外的训练开销。

关注+星标，获取AI前沿进展与开源一线动态