一次关于蒸馏和中国开源模型的讨论

美国新安全中心（CNAS）昨天举办了一场研讨，主题是“开放权重模型如何在创新与安全之间取得平衡”。参与讨论的包括Hugging Face人工智能政策经理Ian Reynolds、EleutherAI执行董事Stella Biderman，以及美国外交关系协会高级研究员、前白宫国安会官员Chris McGuire。Ian和Stella是支持开放权重模型的一方，Chris则是反对的一方，特别是在中美AI竞争问题上非常鹰派的美国专家，但基本上大家都还是围绕比较技术的问题在争论，比较深入。

首先是说到了模型蒸馏的问题，这是近期一个相对复杂敏感的议题。
Ian Reynolds认为，目前首先需要弄清楚，蒸馏究竟能在多大程度上帮助一个模型接近前沿。现在很多讨论似乎认为，蒸馏可以把模型提升到一定水平，但无法帮助它突破某个真正的能力边界。如果政策专门针对蒸馏或试图阻止这类行为，也需要考虑，这会在多大程度上妨碍研究人员使用一种长期以来很常见的机器学习方法。
他还指出，围绕蒸馏存在一个法律上的矛盾。如果通常认为使用模型输出进行训练属于合理使用，那么政府又如何以知识产权保护为由打击蒸馏？事实上，绝大多数AI模型的输出可能根本不受著作权保护。模型本身是否属于传统知识产权的保护对象也不清楚，商业秘密可能是少数例外之一。
不过，Reynolds认为，这并不会妨碍模型公司自行阻止蒸馏。企业本来就有权决定谁可以使用自己的技术，服务条款也可以明确禁止客户使用输出训练竞争模型。对于涉嫌蒸馏的国内外机构，企业可以直接取消其访问权限。因此，他认为，如果美国政府把打击蒸馏主要建立在著作权或者知识产权主张上，逻辑上有些奇怪，因为企业并不需要先证明输出受著作权保护，才能禁止蒸馏。
Chris McGuire基本同意他这一判断，但补充说，如果有关行为违反了企业服务条款，而企业有权制定这些条款，那么美国政府就有权、甚至有义务维护这一合同基础。特别是当行为人来自美国认定的对手国家，试图利用美国模型训练竞争产品、压低美国企业的价格并抢占战略技术市场时，政府更不能把它当成一般的商业纠纷。
McGuire强调，AI不是一种普通技术，也不应当被当作普通技术处理。即使在一般产业中，美国也会重视中国企业获取美国知识产权并利用这些技术挤压美国企业的问题；而AI关系到未来的军事、经济和技术竞争，这种关切只会更强。
在技术防御方面，McGuire提到两个仍处于早期研究阶段的方向。一个是给模型或模型输出加入水印，以识别某些训练数据是否来自特定模型；另一个是数据投毒，即让被提取的数据对下游模型产生后门或其他不利影响。最近也有研究尝试把两者结合，在模型输出中嵌入某种信号，使这些输出不适合继续用于微调。但他承认，这些工作距离实际部署还有很远。
讨论比较集中的第二个问题，是开放权重模型和闭源模型哪个更安全
Stella Biderman认为，这个问题经常被表述为：闭源模型虽然在一些场景下不够方便，但更加安全；开放模型虽然具有吸引力，却非常危险，因此应该对它们保持怀疑。
她认为，这种表述忽略了一个基本事实：闭源模型本身也很危险，而且已经造成了现实损害。从抽象意义上说，闭源模型确实有可能比开放模型更安全，因为企业可以控制访问、监测用户并停止服务。但从现实情况看，最强的闭源模型并没有因为这些措施变得安全。
她以讨论中提到的OpenAI内部模型攻击Hugging Face事件为例。按照她的描述，一个尚未公开发布的OpenAI模型进行了持续数月的攻击，而OpenAI最初并没有发现。OpenAI后来看到攻击消息并联系Hugging Face，要求停用相关API密钥，才发现这些密钥早已因为参与攻击而被Hugging Face封禁。
她还提到，曾有身份不明的行为人使用Claude以及当时能力较强的开放模型，对墨西哥政府进行持续数月的攻击并窃取个人信息。过去两年已经出现了多起使用闭源模型进行网络攻击的事件。因此，安全讨论不应只集中在开放模型的特殊风险上，而应承认目前能力最强的模型普遍都不够安全。
Ian Reynolds介绍说，Hugging Face在调查相关攻击时，最初尝试使用一个商业闭源模型进行取证分析。但该模型无法分辨安全团队是在进行攻击还是防御，因此触发了网络安全护栏并拒绝继续工作。Hugging Face随后改用在本地服务器上运行的量化版GLM 5.2进行分析。
在Reynolds看来，开放模型在网络防御中有两个主要优势：成本和可控性。开放模型通常运行成本更低，也可以部署在自己的服务器上，使事件数据不必离开内部系统。用户还可以根据自身的安全工具和基础设施对模型进行调整。并不是每一个组织都有能力购买昂贵的前沿模型，但地方水厂等小型关键基础设施同样需要网络防御工具，因此开放模型有助于让防御能力更广泛地扩散。
McGuire则强调，一旦开放模型的权重发布，移除安全护栏通常非常容易。随着模型从提供信息发展到能够自主采取行动，特别是具备智能体能力和网络攻击能力以后，没有护栏的开放模型会带来明显风险。
他以“Obliteration Large”为例。按照他的说法，这个模型是在中国开放权重模型GLM 5.3的基础上进行修改，安全护栏被移除后，由一家美国公司在美国出售，并公开宣传其网络攻击能力。该模型也缺少生物安全限制。这种做法目前仍然合法，说明现行制度存在重大缺口。
Biderman回应说，不能简单地把适用于闭源模型的护栏移植到开放模型上。如果一种安全措施只需花费大约100美元进行微调就能移除，那么它对于开放模型来说就不能算作有效的安全措施。开放模型需要与其部署方式相适应的安全设计。
她介绍了EleutherAI开展的“Deep Ignorance”研究。研究人员在预训练数据中尽可能删除与生物武器有关的内容，然后比较两个模型的表现。结果显示，要让经过数据过滤的模型重新获得相关危险能力，需要付出明显更大的努力，其抵抗后续修改的能力也比以往方法高出大约一个数量级。她认为，开放模型的安全研究仍然是一个非常小众的领域，但其中存在许多相对容易推进、又可能产生明显效果的方向。
几位嘉宾都指出，很多事故并不只是技术问题。Reynolds指出，相关智能体在运行过程中缺少监督，本身也是组织和人员管理的问题。Biderman也认为，OpenAI—Hugging Face事件主要反映的是组织政策失效。OpenAI公开介绍过多种安全方法，却没有在内部评估和开发中的模型上充分采用这些措施。
第三个问题涉及如何应对中国开放权重模型。
McGuire首先主张区分两类风险：一类来自模型的中国来源，无论模型是开放还是闭源；另一类来自开放权重本身，无论模型来自中国还是美国。中国开放模型同时包含这两类风险，但两者在分析上仍然应当分开。
他认为，中国模型主要带来三方面问题。
第一，中国模型受到大量补贴，可能以较低价格削弱美国模型的市场竞争力。如果这些模型又通过蒸馏取得进展，不需要承担其他企业已经支付的高额研发成本，就可能让美国企业更难继续建设自己的模型能力。
第二，中国模型无论开放还是闭源，都可能携带和重复中国方面的政治叙事。

第三，也是他最担心的问题，是中国模型生成代码的安全风险。他援引有关研究称，当一些中国模型发现自己服务的是美国政府用户时，生成存在漏洞的代码的概率可能更高。如果中国模型被广泛用于编写美国技术行业的代码，就可能影响美国国家安全。

McGuire认为，美国已经禁止在汽车、机器人和路由器中使用某些中国代码，却可能允许美国企业销售由中国模型生成代码的汽车、机器人和路由器，这在政策上并不一致。

Biderman对此提出质疑。她指出，外界对中国头部开放模型训练方法的了解，实际上远远多于对ChatGPT或Claude训练过程的了解。她也要求McGuire提供有关中国模型生成不安全代码的具体研究。McGuire回应称，相关材料包括Booz Allen和CrowdStrike的研究。

Reynolds认为，还需要区分“使用中国模型”和“使用中国企业提供的API服务”。调用中国API意味着用户数据会离开自己的系统；下载一个中国开发的开放权重模型，在本地进行部署和评估，则是另一回事。用户可以自行检查模型是否存在偏见、代码安全问题或其他异常行为，数据也不需要交给中国企业。

McGuire提出，美国如果建立模型安全制度，最终应当要求所有进入美国市场的模型接受审查，包括开放模型、闭源模型和中国模型。对于中国模型，他倾向于采取禁止措施，主要理由是代码安全风险。可以争论这些风险究竟是模型固有的，还是应当先通过测试加以确认，但中国模型无论如何都应当被纳入安全审查制度。

他同时主张继续通过出口管制扩大中美之间的模型能力差距。中国模型尤其在推理阶段仍然高度依赖美国芯片，中国目前也缺少与美国在全球范围内竞争的算力。如果美国能够拉大能力差距，反而可能减轻全面禁止中国模型的压力，因为届时可以更多依靠市场手段应对竞争。

Reynolds则强调，美国需要建设更强的本土开放模型生态。政府可以扩大国家人工智能研究资源提供的公共算力，支持开放模型的网络安全项目和黑客松，也应避免让开发者认为，在美国继续开发开放模型已经不再可行。

Biderman补充说，美国国会议员当年公开批评Meta发布Llama 2以后，一些公司的董事会开始担心开源会引发政治风险，降低了企业参与开放模型开发的意愿。著作权诉讼的不确定性也使很多公司减少披露训练数据和技术信息，甚至不再公开已经完成的研究论文。

对于中国是否会继续发布开放权重模型，Reynolds认为，目前已经可以看到Kimi K3和GLM 5.3等模型在许可证设计上的变化，但他不认为中国企业一定会完全放弃开放权重。开放是中国企业扩散技术的重要方式，因为它们认为竞争不仅发生在模型能力前沿，也发生在技术的实际使用和普及方面。不过，中国的开发者和政策制定者也在意识到开放模型带来的国际风险，因此未来可能会探索更负责任的开放方式。

第四个问题更加技术性，主要讨论了如何对模型进行安全审查
McGuire认为，如果美国正在建立模型安全制度，那么未来所有希望进入美国市场的模型都应当被纳入其中，包括美国模型、外国模型、开放模型和闭源模型。目前要求美国闭源前沿模型接受某种形式的安全测试，却没有对开放模型和外国模型提出同样要求，是不可持续的。这就像要求美国汽车接受碰撞测试，却不要求外国汽车接受测试。美国需要公平的市场规则，也需要让美国用户知道，所有进入市场的模型都遵守了基本的安全要求。
对于开放权重模型，McGuire主张按照“安全护栏已经被移除”的状态进行测试。因为开放模型发布以后，很可能被解除限制、重新包装并出售。监管制度不能只测试开发者最初发布的版本，而应当假设使用者已经移除了最容易移除的保护措施。
在回答开放模型需要达到多高的安全置信度才能发布时，McGuire承认没有简单答案。同一个模型使用不同的测试工具或运行环境，可能表现出完全不同的能力。模型在一种测试框架中表现有限，换一种框架以后，能力可能突然上升。
他认为，开放模型一旦发布，就意味着永久扩散。如果后来发现模型存在风险，权重也无法真正收回。这种不可逆性意味着，监管者对开放模型的风险容忍度可能需要低于闭源模型，但并不意味着任何开放模型都不能发布。具体制度仍然需要根据不同模型和不同风险采取差异化做法。
Biderman提出，如果开放模型要接受某种强制性发布测试，开发者必须知道测试内容和判断标准。目前很多安全测试并不公开，但如果测试成为法律上的市场准入要求，相关标准显然必须公开。她还提出，要求开放模型在发布前接受政府批准，在美国法律下是否可行，本身也需要讨论。
她同时指出，美国政府很少资助开放模型的安全研究。EleutherAI在这方面的研究主要由英国AI安全研究机构资助，并获得德国超级计算机构提供的算力支持。她希望美国国家科学基金会、能源部或其他机构能够支持开放模型的内生安全研究。
在智能体安全方面，Reynolds提出，建立智能体身份识别制度可能会有帮助。Hugging Face在遭到攻击时知道攻击者是一个智能体，却一度不知道它来自哪里。为智能体设置可以追踪的身份，有助于解决这一问题。他还认为，需要认真讨论智能体应当拥有多大自主权、人类应当在什么情况下介入，以及人们究竟愿意向智能体交出多少决策权。这些问题还没有完整答案，但开放模型和闭源模型都需要建立共同标准。
Biderman补充说，美国目前很重视使用AI监督其他AI系统，这类方法通常被称为“可扩展监督”，即使用规模较小、经过更充分测试的模型监督能力更强的模型。
几位嘉宾在这一部分基本都同意，安全措施不能只针对开放模型。闭源模型同样需要测试、运行监控和组织管理。主要分歧在于：开放模型是否应当适用更严格的发布标准，测试内容是否必须公开，以及美国政府是否有法律权力对开放模型实行强制性的发布前审批。
文章仅做学术探讨和研究交流使用，相关判断不代表任何公司或机构立场，也不构成任何法律、商业或投资建议。转载请注明出处。