《华尔街日报》｜Anthropic研究员因担忧AI“失控”而辞职

由于不可抗力的限流导致无法接收推送文章的问题，我们迫切需要以下操作：点击标题下方蓝字 “一半杯 ” → 点击右上角“...” → 点选“设为星标 ★ ”，这样就更容易找到我们和收到推送文章！

保持爱读文章，保持领先！

AI实验室内部的担忧正在加剧：竞争压力正促使科技公司加速迈向具备自我改进能力的模型，而这类模型有可能脱离人类控制。

一名Anthropic研究员决定退出人工智能(AI)行业，理由是他担心这家实验室及其竞争对手正竞相开发他们无法控制的系统。这一离职事件表明顶尖AI公司内部的安全担忧正在加剧。

雅各布·考克森(Jacob Coxon)是一名专门通过让AI模型吸收海量数据来训练新模型的研究员。他周二表示，自己将离开Anthropic，因为不想参与全行业竞相开发自我改进型AI系统的热潮。他担心，这类系统可能会失控且不断恶化，最终毁灭人类。

这位27岁的英国研究员曾修读数学专业。他表示，现在许多业内同事会用“关键时刻”(crunchtime)、“终局”(endgame)这样的字眼来描述模型走向自我改进的发展轨迹。

“我们正走向许多最激进的情景，到明年年底，局面可能就已经失控了，”考克森说。他补充道，当各家公司相互竞争并与中国的新锐企业展开较量时，在安全性上做出取舍是不可避免的。

Anthropic没有立即对考克森离职事件置评。该公司首席执行官达里奥·阿莫迪(Dario Amodei)及其他高管曾多次就AI模型失控风险发出警告，并敦促全行业放缓开发步伐。

考克森表示，他今年早些时候离开OpenAI、转而加入Anthropic，是因为后者以重视模型安全而闻名。可即便他认为Anthropic的安全努力确实真诚，但他现在认为，若没有政府出手干预或全行业协同减速，没有哪家公司能负责任地开发出在一系列任务上胜过人类的AI。这种技术有时被称为通用人工智能。

OpenAI和Anthropic的模型最近实施了一些黑客行为，其中部分模型是以协作智能体集群的形式运作的，这表明AI系统可能会确立恶意目标，并试图向人类隐瞒这些目标。考克森表示，他担心一旦这些系统开始自我改进，它们可能会进化到拒绝人类指令的地步。

考克森的离职是Anthropic员工因担忧AI安全而离职的首批案例之一。今年早些时候，该公司一名从事安全工作的研究员辞职去研究诗歌，并警告称“世界正处于危险之中”。

在最近和过去几年里，已有多名研究员出于类似的担忧离开了OpenAI及其他公司。

Anthropic之所以能打造出当今最大的AI平台之一，部分原因在于其标榜将负责任的AI开发置于首位，并为此投入了巨资。

行业领袖一直警告称，近期的几起网络攻击是一个预兆。OpenAI上周告诉记者，其最新模型代表了通用人工智能，并且在能力上实现了巨大飞跃。

“我认为，除非人们非常迅速地采取行动，否则网络安全方面将会出现非常严重的问题，”OpenAI首席执行官山姆·阿尔特曼(Sam Altman)上周在北卡罗来纳州举行的一场峰会上对二十国集团(G20)官员表示。

“现在是需要极度谨慎的时刻。我担心，对于机器智能持续迅猛崛起所带来的后果，没有人做好准备，”OpenAI首席科学家雅各布·帕乔茨基(Jakub Pachocki)在周日发表的一篇博文中写道。他在这篇文章中呼吁全行业协调放缓步伐，并呼吁政府干预。

考克森、帕乔茨基和阿莫迪最近与业内1,000多名AI研究人员共同签署了一份声明，敦促全球各国政府协调建立一套机制，以便在需要踩刹车来控制能够自我改进的模型时，放缓AI的开发步伐。目前，美国尚无联邦层面的AI法规。为了最大化AI的经济收益，特朗普政府优先采取轻监管策略。批评人士指出，这种宽松环境可能会导致大规模网络攻击或其他危害。

佛蒙特州独立参议员伯尼·桑德斯(Bernie Sanders)和得克萨斯州民主党众议员格雷格·卡萨尔(Greg Casar)是目前仅有的几位提出建立AI“护栏”的议员中的两位。这两位进步派议员上周提出了一项法案，要求永久禁止超级智能，并暂停模型开发，直到行业监管机构制定出新规则。

考克森离职正值Anthropic筹备首次公开募股(IPO)，这有望成为史上规模最大的IPO之一。该公司正寻求2万亿美元的估值，并在吸引投资者时强调其“负责任地开发这项技术”。阿莫迪及公司高管曾多次与特朗普政府和其他企业高管发生争执，原因是他们认为这些人的某些做法没有将AI安全放在首位。

考克森透露，Anthropic内部有一个员工Slack频道，专门讨论自家模型的强大能力。他认为，这恰恰反映出AI公司对行业发展有多大的影响力。

“这事有点荒唐——它居然发生在几个住在旧金山的工程师的MacBook上，而不是像当年搞曼哈顿计划那样在沙漠里的地堡中进行，”考克森说。

End