阿里云大模型原生安全免疫机制

以下文章来源于阿里云安全，作者阿里云安全

Gartner 2024年发布生成式 AI 领域的两大核心风险：

大模型滥用可能生成更具迷惑性的虚假信息；

因事实偏差和推理错误产生的模型幻觉。

被高频提及的幻觉，仿佛是大模型泛化能力的“基因缺陷”级伴生问题。

现实世界中，人的幻觉比大模型严重多了，幻觉是否会成为大模型应用落地的掣肘之一？

本期《安全记》栏目邀请阿里云研究院院长穆飞担任主持人，和阿里云通义大模型安全负责人张荣，聚焦 “大模型原生安全的发展和治理” 主题，深入探讨阿里云在大模型的预训练、后训练以及推理阶段，如何借助技术手段加强安全与合规，减少幻觉和指令攻击等问题，结合通义大模型的一线实践经验，剖析大模型原生安全理念下的技术发展趋势。

本文基于访谈嘉宾观点进行提炼，完整版内容请点击下方视频。

大模型泛化能力

背后的幻觉与指令攻击

大语言模型的技术原理是基于概率统计的自回归预测。

它通过token（词元）来表达整个世界，不是模拟人类理解语言的方式，而是计算token出现的概率，依赖统计相关性而非事实判断。基于万亿级的token的海量数据训练出来的单一模型可以较好地执行多个任务，这便是模型的泛化能力。

大模型的泛化能力是一把双刃剑，它既能适应多种任务，也可能产生看似有道理实则有问题的输出，即幻觉。

抑制幻觉的三个技术手段：

通过 SFT（有监督微调）和 DPO（直接偏好优化）等方法提升模型对特定问题的准确性。

调整模型参数（如参数Temperature）可平衡输出特性。

引入外部知识库进行检索增强，可进一步优化模型对特定问题的准确性。

然而，张荣指出，幻觉与模型泛化能力一体两面，是可用性与可靠性的博弈，不能简单视幻觉为缺陷，需客观对待，避免过度抑制幻觉而牺牲泛化能力。

同时，即便采取这些手段，仍存在指令攻击问题，即通过精心设计提示词操控模型产生有害输出。指令攻击源于概率生成的开放性缺陷、语义理解的局限性及对齐机制的覆盖盲区。技术原理导致的问题不能完全解决，但可以通过技术措施来加以改善。例如应对指令攻击，可在模型训练完成后构建含诱导等内容的评测集，评测模型生成内容，评估其防御能力并采取相应改善措施。

全流程防护秘籍

从训练到推理的大模型原生安全

训练阶段分为预训练和后训练。

预训练阶段

模型通过学习网页、书籍、论文等多种类型的文本，获取广泛的世界知识，并过滤掉违法不良信息。

后训练阶段

包括有监督微调（SFT）和直接偏好优化（DPO），在此阶段加入安全语料以增强模型的安全性。

SFT和DPO技术核心都是利用高质量安全语料，在保持多样化和灵活化的前提下，增强模型对正确答案的倾向性，减少低概率长尾错误token的采样。

推理阶段的安全工作，主要是对模型输入做干预。通义大模型在模型推理阶段的安全防护有一些较好的实践，如：

动态System Prompt

根据用户提问的场景，动态调整System Prompt，修改模型初始隐藏状态，抑制危险token的输出概率分布，引导模型生成安全回答。

安全护栏宪法式防控

对用户输入进行实时检测，发现恶意提问时，将恶意意图改为善意，替换负向词汇，引导模型输出正向积极内容。

检索增强

在特定专业领域，通过外部知识库支持，提升模型对特定知识的时效性和准确性，确保模型输出内容的专业性和可靠性。

开源模型的责任与未来

据阿里云研究院调研，较去年12月，仅用开源模型的企业从35%升至47%，还有50%的企业同时使用开源和闭源模型，大家对开源模型的接受度越来越高。

模型开源的核心意义在于普惠性和透明性，同时可以推动技术快速迭代，在国际上构建核心竞争力。以通义大模型为例，其开源过程中采取了多项负责任的措施。

首先，严格遵守合规要求，包括算法备案、大模型备案以及预训练语料的筛选和过滤。

其次，注重安全性，通过安全的 SFT 和 DPO 等措施保障模型后训练阶段的安全性。

同时，开源不仅提供模型参数，还公布了大量推理代码、论文和技术报告，披露安全工作细节。

此外，通义大模型通过持续运营与开发者互动，及时修复问题并迭代更新。通过阿里云运营的模型开源社区——魔搭社区，鼓励开发者贡献数据集和技术工具，推动了大模型安全水平的持续提升。

最后，张荣以原生安全、跨模态、端云协同三个技术关键词描述下一代大模型安全架构，未来需朝着这些方向持续探索，以适应大模型的快速发展，构建更安全、更可靠的大模型应用环境，推动大模型技术在保障安全的前提下实现更大价值，助力各行业的智能化升级与发展。

版块介绍 — 治理之智

在全球化背景下，科技的快速发展也带来了前所未有的治理挑战。本板块内容依托阿里巴巴集团先进的AI科技能力、丰富的应用场景与负责任的技术生态，聚焦于AI风险、AI大模型安全、AI大模型开闭源生态、AI大模型出海等AI治理政策研究，基于技术理性的风险观，为大模型发展与安全平衡与取舍提供独到见解。同时，我们致力于收集和分享海内外AI治理先进理论与经验，为构建合理的科技治理体系提供智慧与灵感。

Reading

3、

4、

5、

6、

7、

8、

9、

10、

11、

12、

13、

14、

15、

17、

18、

19、

20、

21、

23、

24、