美国AI巨头反制“蒸馏”技术，中国追赶步伐或受阻

科学技术 | 模仿者

模型“蒸馏”激怒了美国，但最终可能阻碍中国自身的发展。

想象一下滑水运动员。他们乘着快艇的尾流滑行，有时速度可能超越快艇，但永远无法真正超越它。近期，一些专家用这个比喻来形容中美两国在人工智能领域的竞争。他们认为，中国实验室取得的显著进展，很大程度上依赖于美国同行不断拓展前沿的步伐。如果美国加速，中国也会随之加速；反之，如果美国放缓，中国实验室也会随之放缓。

原因在于“蒸馏”技术：即利用另一个人工智能模型的输出结果来训练新模型，而非从零开始。随着人工智能能力的不断提升，中国企业在多大程度上“蒸馏”了美国最先进的模型，已成为一个亟待解决的问题。美国公司需要用户为其昂贵的模型付费，而非使用廉价的仿制品。此外，美国希望保持对中国的绝对领先地位：正如唐纳德·特朗普总统所言，“谁赢得了人工智能，谁就赢得了未来。”然而，广泛“蒸馏”前沿人工智能模型对美国的影响，或许不像表面看起来那么糟糕；而对中国的影响，或许也不像表面看起来那么好。

“蒸馏”的概念很简单。在训练初期，大型语言模型（LLM）通常被训练去模仿互联网上的文本。而“蒸馏”则是训练它们去模仿其他LLM。美国模型生成的词语，恰恰展现了中国开发者希望自己的模型学习的技能和推理能力。因此，它们的输出是极佳的训练素材。

美国前沿开发者已无更先进的模型可供借鉴，互联网上的相关资料也几乎被穷尽。他们转而越来越多地依赖一种效率较低的技术——强化学习（RL）。强化学习的原理是为模型设定目标，例如解决复杂的数学问题，然后让模型通过实验寻找解决方案。如今，美国公司超过一半的计算资源都投入到了强化学习相关的技术中，而2024年初这一比例仅为20%。

因此，中国企业能够“蒸馏”出美国模型通过昂贵强化学习才能掌握的能力。就像有家教的学生一样，他们的AI学习速度比美国AI独立学习的速度更快。根据7月份发表在《计算语言学协会研究成果》（Findings of the Association for Computational Linguistics）上的一项研究，中国实验室DeepSeek利用其最强大的模型生成的80万个样本训练了一个小型模型，该模型在一项流行的数学测试中的得分从15%提高到了46%。

要达到前沿模型的能力水平，还需要更多的数据——但中国实验室似乎正在大规模地收集数据。Anthropic公司9月份发布的一份报告显示，五家中国公司在五个月内通过其模型收集了超过1.8亿条信息。中国模型与美国模型具有显著的相似性（见图表），有时甚至会将自己标识为Claude或ChatGPT。

“蒸馏”究竟有多重要？中国在人工智能领域的进步，很大程度上源于本土研发。根据全球主要人工智能会议NeurIPS上发表的论文数量统计，全球超过一半的顶尖人工智能研究人员来自中国。然而，人才优势终究有限。如今，先进的计算机芯片才是人工智能发展的主要驱动力，而美国科技巨头的芯片数量就超过了所有中国竞争对手的总和。“蒸馏”有助于中国企业弥补这一差距。研究人员估计，中国人工智能技术目前落后于美国最先进的模型约三到六个月。华盛顿技术与战略中心（Centre for Technology & Statecraft）的赛义夫·汗（Saif Khan）估计，如果没有“蒸馏”，这一差距可能会几乎翻倍。

Anthropic和OpenAI正积极采取措施，试图切断这种漏洞的来源。他们已着手修复8月份发现的一个漏洞，该漏洞允许中国公司获取其模型在解决问题时产生的推理过程。他们还加强了对“蒸馏”行为的检测。Anthropic甚至开始对Claude请求收费，即使模型能够感知到异常行为并拒绝响应——这使得失败的“蒸馏”尝试代价高昂。

Anthropic公司表示，这些新措施可能无法持久有效，但迄今为止已将“蒸馏”者收集的数据量减少了90%至99%。因此，该公司可能会损失约5%至7%的收入；毕竟，“蒸馏”者仍然是用户。该公司认为，中国模型制造商发布了接近前沿技术的模型，却没有采取任何防止滥用的措施，而这些模型构成了国家安全风险。

然而，如果他们成功了，美国实验室或许会后悔当初封锁了竞争对手的资源。中国研究人员对依赖“蒸馏”技术是否明智持怀疑态度。很少有人认为用美国模型进行训练在伦理上是错误的——前沿实验室利用免费获取的互联网数据构建了自己的系统。但一些负责人认为，依赖这项技术将使中国永远处于第二的位置。中国实验室的研究人员进一步指出，如果这种情况发生，递归自我改进——即人工智能模型自主构建其后代——可能需要依赖复杂的强化学习基础设施，而“蒸馏”技术并不具备这种基础设施。

中国互联网公司字节跳动的创始人张一鸣在7月份告诉员工，公司不会使用技术“蒸馏”来增强其产品模型。中国科技博客LatePost转述了张一鸣的话，称技术“蒸馏”“充其量只能让我们不断缩小与前沿的差距，但很难真正超越”。张一鸣承认，放开将中国发展与美国前沿联系起来的这根纽带，导致字节跳动落后于时代。但与一些国内竞争对手不同，字节跳动拥有其他收入来源，因此能够在提升自身自主性的同时，提供功能稍逊的产品模型。

对美国而言，“蒸馏”技术虽然令人恼火，但或许比中国企业自行摸索前进要好。这项技术也可能使人工智能的监管更加便捷。特朗普政府一直不愿放慢人工智能在安全性提升方面的发展速度，以免美国将竞争优势拱手让给中国。但如果中国像滑水运动员一样，即使面对速度逐渐减慢的拖船，也未必能够超越。■