图灵奖得主谈AI威胁，“我们正走在一条极具危险的路上”

机器学习先驱约书亚・本吉奥（Yoshua Bengio）

潘 展|翻译

约书亚・本吉奥（Joshua Bengio）是加拿大蒙特利尔大学的计算机科学家。

2019年，他因开创“深度学习”技术而获得A.M.图灵奖——这一奖项被视为计算机科学领域的最高荣誉。如今，深度学习技术已让人工智能（AI）无处不在。上个月，他还成为首位在谷歌学术上引用量突破百万的学者。

此后，本吉奥将研究重心转向探索人工智能带来的风险。他担任该领域国际顾问小组的主席，该小组成员包括来自30个国家、欧盟、经济合作与发展组织（OECD）以及联合国的代表。今年早些时候，该小组发布了《先进人工智能安全性国际科学报告》。

近期，《自然》杂志在伦敦约见本吉奥探讨了这项由他助力开创的技术所蕴含的潜力与隐患。以下是经编辑整理后的对话内容。

问：您撰写过众多论文，其中有没有特别让您自豪的？

答：是的，我从20世纪90年代末开始与人合著的一系列关于语言建模和注意力机制的论文。这些论文探讨了如何在神经网络中引入注意力机制，使其更接近“系统 2”（system 2）。也就是说，让AI更具审慎思考能力，而不只是一台依靠直觉运作的机器。

问：您说的注意力机制，是不是谷歌研究人员2017年发表的一篇论文的核心技术？这篇论文提出了Transformer（转换器）架构，而ChatGPT中的T正来源于此技术？

答：是的。不过我还想提另一篇论文，它得到的关注远不及前者。那就是关于课程式学习（curriculum learning）的研究。在这种学习方式中，机器接受训练时，数据是按特定顺序而非随机输入的。如今，这已成为该领域的标准方法。我的灵感来源于动物的学习过程。

问：直到几年前，无法控制的人工智能可能带来生存风险还不是您最担心的问题。是什么改变了您的想法？

答：是2022年11月ChatGPT的问世。我花了两三个月时间才意识到，我们正走在一条可能极具危险性的道路上。虽然最初看到深度学习终于达成这一里程碑时，我感到很欣慰，但我很快意识到，由于这类系统的特性，我们根本不知道该如何确保它们的行为符合人类的期望。

我开始想到我的孙子，20年后当他22岁时他还能拥有正常的生活吗？他还能生活在民主社会里吗？

未来，无论谁掌控了高度先进的人工智能，都将拥有巨大的权力。他们可能会用这种权力为自己谋利，但这对大多数人而言或许并非好事。民主的核心是权力共享。如果权力集中在少数人手中，那就不是民主。

此外，人工智能若落入坏人之手，还会引发其他生存风险。有些人为了意识形态或因心理健康问题，可能会让人工智能去做一些可怕的事，导致数十亿人死亡。例如释放一种新型强效病毒，甚至制造出能杀死地球上所有动物的镜像细菌。

问：《国际人工智能安全报告》指出了三大主要风险领域：系统故障导致的非预期风险、恶意使用风险、以及诸如就业机会流失等系统性风险。短期内，哪类风险最可能造成重大影响？哪类风险最让您担忧？

答：恶意使用已经在发生了，但我认为我们目前看到的还只是冰山一角。比如深度伪造技术，以及极有可能的由最先进人工智能驱动的网络攻击。我们需要建立更完善的防护措施来降低这些风险。这些防护措施必须兼具技术性和政治性，也就是说，要通过监管或其他激励手段，确保企业采取正确行动，规避或降低这些风险。

当然，最让我夜不能寐的，是人类可能面临灭绝的风险。这也是我为何将研究重心转向这个问题，即我们该如何构建一种本质上不会伤害人类的人工智能？现在我认为，这件事是有可能实现的。所以在我看来，这是一个重大进展，我对此也乐观多了。

问：在这一领域，您和您的团队提出了科学家型人工智能的构想，这种AI从设计之初就内置了安全机制。能和我们具体谈谈吗？

答：这种AI的设计理念，很大程度上借鉴了人类科学家认识世界、构建因果机制模型和世界规律模型的方式。科学家型人工智能不具备智能体属性（non-agentic）。换句话说，它没有目标，也没有意图。因此，我们可以信任它输出的内容。如果遵循这种设计思路，我们完全可以构建出具有理想可信度的系统。

如今，企业想要构建的是智能体，也就是能在现实世界中采取行动的人工智能。实际上，科学家也希望开发能帮助他们设计实验的人工智能，而设计实验本身就是一种在现实世界中开展的活动，并非单纯的被动预测。好消息是，只要拥有可靠的预测模型，我们就能用它们来构建防护措施。例如，预测某项实验或人工智能在计算机系统中的某个操作，是否可能引发不良后果，以及引发不良后果的概率有多大。

问：《国际人工智能安全报告》的反响如何？它是否已经开始影响各国政府对人工智能的政策制定？

答：有影响。看到这份报告已经产生了这么大的影响，我感到非常振奋。它基于科学文献严谨地明确了以下几点：我们目前已认识到的风险有哪些？同时，它还明确了当前存在的风险缓解方法，以及这些方法各自的局限性。

https://www.nature.com/articles/d41586-025-03686-1

Deep Science预印本