ACL 2026 | KnowRL：将事实监督直接融入强化学习推理过程

本文针对慢思考大语言模型推理能力越强、幻觉越严重的核心问题，指出传统强化学习存在忽视知识边界、推理过程监督真空两大缺陷，导致模型无法识别知识边界、易编造推理步骤。为此提出KnowRL 框架，通过构建匹配外部知识库的训练数据，设计包含格式奖励、正确性奖励、事实性奖励的复合奖励函数，基于 GRPO 算法实现事实引导的策略优化，对推理链每一步进行事实性验证。

实验结果显示，KnowRL可显著降低模型幻觉率、提升拒答率，同时保持甚至增强推理能力，具备跨语言迁移性，在幻觉缓解与推理能力平衡上优于现有方法，为构建高事实性推理模型提供可行路径。

论文题目： KnowRL: Exploring Knowledgeable Reinforcement Learning for Factuality 论文链接： https://arxiv.org/pdf/2506.19807 代码链接： https://github.com/zjunlp/KnowRL

以 DeepSeek-R1 为代表的"慢思考"大语言模型（Slow-thinking LLMs）通过强化学习激励模型生成长链条的思维过程（Chain of Thought），在数学推理、代码生成等复杂任务上取得了突破性进展。然而，一个关键的悖论也随之浮现：模型的推理能力越强，幻觉问题反而可能越严重。

如下图所示，随着 DeepSeek-R1 蒸馏模型的参数规模从 1.5B 增长到 32B，其在推理基准 GPQA 上的得分显著提升，但在事实性基准 SimpleQA 上的表现几乎没有改善，甚至出现退化。

这一现象的根源在于当前强化学习训练范式的两个核心缺陷：

1. 忽视知识边界：现有 RL 方法仅依赖结果导向的奖励（答案是否正确），模型无法区分"我知道什么"和"我不知道什么"。面对超出自身知识范围的问题，模型不会选择拒答，而是倾向于猜测以获取奖励。

2. 监督真空：即使最终答案正确，推理过程中的每一步是否基于真实知识，RL 算法并不关心。这导致模型可能通过"编造"看似合理的推理步骤来碰巧得到正确答案，RL 反而会强化这种不诚实的推理路径。

为此，本文提出了KnowRL（Knowledge-enhanced Reinforcement Learning），一个将事实监督直接融入强化学习推理过程的框架。如下图所示，与传统慢思考模型将思维过程视为黑箱不同，KnowRL 打开这个黑箱，对推理链中的每一步进行事实性验证，教会模型在知识边界内忠实推理，在知识边界外诚实拒答。

二、方法

KnowRL 的整体框架如下图所示，主要包含两个阶段：数据构建和 KnowRL 训练。

数据构建

KnowRL 首先构建了与外部知识匹配的训练数据。具体而言，从NqOpen、WebQuestions、ComplexQuestions 等问答数据集中提取问题，利用 GPT-4o 进行质量筛选和实体提取，并将提取出的实体与 Wikipedia 知识库进行匹配，从而为每个训练样本关联对应的事实知识，作为后续事实验证的依据。

复合奖励函数

KnowRL 的核心创新在于设计了一个复合奖励函数，由三个部分组成：

• 格式奖励：检查输出是否遵循 ... ... 的规范格式。合规得 +1 分，否则 -1 分。

• 正确性奖励：由评估模型判断最终答案的正确性。正确得 +2 分；模型主动拒答（"I don't know"）得 +1 分；回答错误得 -1 分。值得注意的是，拒答的奖励高于错误回答，这一设计显式地鼓励模型在不确定时选择诚实拒答，而非胡乱猜测。

• 事实性奖励：这是 KnowRL 最关键的创新。受 FactScore 启发，框架首先将模型的思维链分解为若干原子事实（atomic facts），然后将每个原子事实与外部知识库中的相关知识进行逐一验证，最终以被验证支持的原子事实比例作为事实性奖励。这一机制使得奖励信号直接作用于推理过程的每一步，而非仅仅关注最终答案。

在优化算法层面，KnowRL 基于 GRPO（Group Relative Policy Optimization）算法，将上述复合奖励融入策略优化过程。通过计算组内相对优势（group-relative advantage），事实性得分高的推理轨迹获得正向优势值，而充满幻觉的轨迹获得负向优势值，从而在策略更新中增加知识支撑推理的概率，降低幻觉推理的概率。同时引入熵奖励和 KL 散度正则项来平衡探索与稳定性。

三、实验主要结果

为了消除单次采样的方差影响，本文采用多次运行评估（Avg@5，Temperature=0.6），在多个基准上验证 KnowRL 的效果，涵盖幻觉评测（TruthfulQA、SimpleQA、ChineseSimpleQA）和推理评测（GPQA Diamond、AIME 2025）。基座模型选用 Skywork-OR1-7B-Preview（RL 路线）和 DeepSeek-R1-Distill-Qwen-7B（蒸馏路线）。

实验结果表明：

• 显著降低幻觉率：以 DeepSeek-R1-Distill-Qwen-7B 为例，KnowRL 将 SimpleQA 上的错误率从 62.47% 降低至 48.27%（下降约 14 个百分点），拒答率从 34.33% 提升至 48.93%；在 Skywork 模型上，错误率从 59.47% 降至 40.20%（下降约 19 个百分点），说明模型有效学会了识别自身的知识边界。

• 保持推理能力：在 Skywork 模型上，KnowRL 将 GPQA 得分从 44.95% 提升至 48.89%，AIME 2025 从 34.67% 提升至 38.00%；在 DeepSeek 模型上，GPQA 从 45.45% 提升至 46.97%，AIME 从 29.33% 提升至 34.00%，表明事实性监督不仅不会损害推理能力，反而可能通过减少推理过程中的噪声来促进推理。

• 跨语言迁移：尽管训练知识来源以英文为主，KnowRL 在中文事实性基准 ChineseSimpleQA 上也取得了显著提升——DeepSeek 模型的错误率从 60.27% 大幅降至 28.07%（下降超 32 个百分点），表明模型学到的是一种语言无关的事实验证能力，而非记忆特定语言的知识。

• 优于现有方法：与 SFT、DPO、FactTune-FS、TruthRL 等基线方法相比，KnowRL 在幻觉缓解和推理保持之间取得了更优的平衡，避免了其他方法常见的灾难性遗忘问题。

训练动态分析

下图展示了 KnowRL 训练过程中模型行为的变化。

可以观察到一个清晰的学习过程：训练初期，模型思维链中原子事实的准确率稳步上升，生成长度显著下降；随后，拒答率逐渐升高，错误率相应降低。这说明模型首先学会了提高推理步骤的事实准确性，然后在此基础上发展出识别自身知识边界的能力——对于不确定的问题选择拒答，而非编造答案。

四、总结

KnowRL 揭示了当前慢思考模型中一个被忽视的问题：仅优化最终答案的强化学习虽然增强了推理能力，却无法保证推理过程的事实可靠性。通过将事实验证直接嵌入 RL 的奖励机制，KnowRL 在不牺牲推理能力的前提下显著降低了幻觉，并使模型自然地学会了识别自身的知识边界。这一工作为构建"既聪明又诚实"的推理模型提供了一条可行的技术路径。

Illustration From IconScout By IconScout Store

报名截止至 5 月 19 日晚 8 点，席位有限~

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈