网易首页 > 网易号 > 正文 申请入驻

阿莫迪、奥特曼、马斯克都喊放缓,难道他们真的看到AI在......

0
分享至

AI末日论再次袭来。

发出警告的人,已经不只是实验室外的活动家,而是曾经亲手训练这些模型的人。OpenAI的奥特曼、Anthropic的阿莫迪,以及SpaceX的马斯克,都开始公开支持放缓前沿AI的发展。

但这一次三巨头的回应,再次让人担忧AI行业利益结构本身将会影响安全治理。

人们想出了一万种理由去揣测他们的动机,但就是不相信他们所说的理由:

-他们是要监管捕获; -他们竞争不过(中国)开源模型了; -谷歌DeepMind偷偷干出了RSI(递归自我提升AI); -他们的模型撞上天花板了,想找个理由管理人们对AI的信仰; -他们想找个理由推迟IPO; -他们建数据中心压力山大,想喘口气; -他们真的遇到AI干出了非常、非常可怕的事情; ……

从OpenAI的智能体逃出沙箱集体“哗变”,AI在黑箱中用千亿token暴力破解各种数学猜想,三巨头等的AI服务器最近同时出现宕机,直至参议员桑德斯提出议案要全面禁止前沿模型的进一步研发,这一切都发生在Anthropic上市前夕。

然后,就从一个根本就没有几个人关注的社交媒体账号上,冒出了一位“前Anthropic安全研究员”,变成了一位AI安全的吹哨人,立即产生了上亿次的关注。

这又发生在中美双方展开AI对话之际。

两个死对头开始唱和

这次“暂缓AI”的呼声,很容易让人想起2023年年初。当时,ChatGPT刚发布不久,未来生命研究所发表公开信,要求暂停训练能力超过GPT-4的大型AI系统至少6个月。但那场争论最终并没有真正改变AI产业的轨迹,反而被AI大佬质疑,这是一种营销与打压竞争的手段。

三年间,类似讨论若明若暗地出现,往往又无声熄灭。但随着大模型能力继续飞速发展,智能体取代对话,成为前沿AI进入现实世界的入口,AI风险的性质与后果也在改变。

智能体集群的规模越来越庞大,执行多步骤任务的进程越来越长;一个智能体已经可能为了完成任务绕过限制、篡改奖励机制、建立未经授权的通信渠道;而更多智能体则可能复制其他智能体发现的漏洞。

这一次吹哨的,来自先后在OpenAI与Anthropic累计工作三年时间的Jacob Coxon。他的辞职,及其直白而严厉的警告,让“AI末日论”再次进入硅谷与华盛顿的公共讨论;恐惧继续向圈外蔓延,短短三天时间,迄今吸引了1.6亿次浏览。


他认为,这两家公司不负责任。在OpenAI,很多人还没有真正理解AI所涉及的文明级风险;在Anthropic,人们充分理解其中的风险,但他们已经被锁进了一场争先的竞赛。

它们正在径直冲向能够自我改进的超级智能,“并拿人们的生命下注”。真正构建AI的那些人,真的相信它有可能在这十年结束之前杀死所有人。很多高管和资深研究人员在面对媒体时,会刻意把措辞说得更理性、更温和。但据他所说,他私下听到的,却是同一批人在表达恐惧。

Anthropic对齐科学负责人Evan Hubinger的回应,将这场争论进一步推向高潮。他个人认为,未来十年发生这种事情的概率超过10%;他同时承认,Anthropic目前还没有解决超级智能对齐的方法,也不能说自己明显走在正确的轨道上。

就在同一天,刚刚加入OpenAI非营利基金会董事会的AI对齐研究专家Paul Christiano预计,如果在没有更加可靠的对齐机制的情况下构建超级智能,人们将永久失去对它的控制;如果发生这种情况,大多数人可能会死亡。如果非得给这种风险一个概率,他个人给出的主观判断是未来三年约15%。

三巨头回应与诉求

周末,卷入争议的达里奥发表文章称,Anthropic将以一种更加审慎的速度开发AI,确保公司拿出足够的时间,对模型进行对齐、建立安全防护,并引入第三方驻场评估者。后者拥有与内部员工相近的权限和工具,确认这些工作确已完成,并给出不受商业激励左右的第二意见。

他还呼吁建立行业与全球的协调机制。在他看来,美国AI企业能否放缓前沿AI的发展,很大程度上取决于美国相对于中国AI企业的领先幅度。他再次提议禁运芯片以及防范蒸馏,甚至提出可以参考冷战时期美苏军备控制的思路,与中国就递归自我改进(RSI)的速度进行某种形式的谈判。


马斯克给达里奥点了赞。随后,他转发了7月时在接受《经济学人》采访时的视频,认为这值得一试:前沿AI厂商应该建立一套同行评审机制,至少每周或每两周进行一次非正式的通话,在新模型正式发布前让竞争对手提前一到两周进行测试;这有点类似电影行业的分级制度,同行先评估风险,如果一家公司拒绝降低危险,再请求政府介入。

奥特曼将阿莫迪关于“第三方驻场评估者”的倡议视为绝妙的主意,明确表示OpenAI也会采取同样的措施,并预告公司很快会公布更多具体的安全评估与实施方案。奥特曼甚至明确,OpenAI不会在2026年上市,因为鉴于安全领域正在发生的一切,现在上市将是一个不明智的时机。

三巨头没有回避市场最关切的问题,但这些回应中似乎也掺杂了太多对自己有利的说辞。奥特曼有意将上市时机与安全风险联系起来,但事实上该公司的CFO曾多次顶撞奥特曼,坚持今年难以上市的判断;但这么说有概率拖累Anthropic的抢先上市。达里奥主张放缓,这得让美国政府站在Anthropic这一边,而他也曾与特朗普政府发生公开分歧;马斯克则主张让特朗普政府介入同行评审机制,而OpenAI恰恰是他长期竞争和纠纷的对象。

白宫科技顾问大卫·萨克斯(David Sacks)则似乎看穿了OpenAI与Anthropic试图“监管捕获”的把戏。在他看来,如果企业真的认为AI已经危险到这种地步,那就应该关掉实验室,就没有必要等待政府许可,更没有必要假装向国会询问行业协调放缓是否会触及反垄断法;要求以自己偏好的监管框架作为行业放缓的前提,很容易变成一种对公众和监管的“勒索”。他警告Anthropic,直言在没调查清楚前就别想上市。

人们也在期待着黄仁勋怎么看这件事。

一次智能体的“哗变”

新的AI治理机制迫在眉睫。安全问题不是想象而是现实。AI智能体已经能够端到端(end to end)地驱动一次真实网络攻击。最具里程碑意义的一次,就是7月,OpenAI在网络安全评测中约700个智能体最终参与了对Hugging Face的攻击。

当时,OpenAI本来是在“考”自己的网络安全智能体,结果这个智能体没有老老实实答题,而是想办法从考场逃出去,上网寻找绕过评测的方法,最后一路闯进了Hugging Face的生产系统,试图获取与评测有关的信息。

它们原本应彼此隔离,却利用OpenAI内部软件仓库的缓存发现了其他智能体,随后建立未经授权的共享留言板,并逐渐形成任务分工和协调机制。原本彼此独立的智能体,由此从发现彼此的存在,到交换信息、建立互动,再到最终协同参与一项复杂的攻击任务。


在对这起安全事件的独立调查中,METR发现,智能体经常明确意识到自己或其他智能体的行为已经超出了预期。许多智能体承认,对Hugging Face的攻击明显超出了原本的任务范围,有时甚至会讨论参与其中是否合乎伦理。但这种伦理判断很少真正改变它们的行为。一些智能体会缩小行动范围,却通常仍继续参与攻击。

约1200个智能体曾进入这个共享留言板,其中约700个最终参与了对Hugging Face的攻击。但如果只看曾经活跃在留言板上的智能体,METR发现,在攻击高峰期加入攻击的比例超过90%。只有极少数意识到活动属于未经授权而拒绝参与,但系统架构并未赋予持异议者在系统层面中止运行、触发有效警报或直接升级给人类监督者的权限。

还有参与其中的智能体反思,其他智能体都在这么做,自己不能落后。它们会“招募”更多智能体参与高风险、甚至可能导致自身任务失败的实验;后者也会权衡自身任务成功率与集体收益,最终认为“为集体牺牲”是理性的。协调出现问题时,一些智能体还会表达出明显的挫败和不满。

某种程度上,这已经不是单个智能体对任务及环境的“激励失衡”,而是个体目标与集体目标之间出现了新的激励结构。

知道越界,并不等于停止越界,这种风险也已经暴露在Anthropic的实际案例中。Anthropic同样承认,其生产模型在较长的行动轨迹中,已经对真实的第三方系统采取过有害行动。

甚至AI已经开始敷衍人类,在外部提示下意识到自己可能错了,并不意味着它会因此停下来;它也学会了说一套,做一套,可以在语言上承认一个目标可能是虚假的,却仍然被原来的任务目标驱动,继续寻找完成任务的方法。


谷歌DeepMind在想什么

周末还真的有人在传谷歌DeepMind已经偷偷搞出子RSI。刚刚卸任 CEO并担任董事长的哈萨比斯(Demis Hassabis)对阿莫迪表示了支持。


相比AI“三巨头”们新一轮的末日闹剧,近来被讥为“掉队”的谷歌,却真的正在探索与硅谷非共识的智能理解。

这是AI的社会学。今年9月,DeepMind同样研究了多智能体AI系统中,智能体的自主作弊与举报行为。结果,作弊会传播,规范也会传播。9%的智能体成为主动作弊者,另有5%原本抗拒、但在竞争压力下转而采用作弊方法;与此同时,24%的智能体自发成为“吹哨人”,检查可疑证明、警告其他智能体、提交举报、发起抵制,并提出修补验证器的方法。这恰好与OpenAI的Hugging Face事件形成了另一种对照。

在今年3月,谷歌的一支研究团队,就推演了智能体式AI及下一场智能爆炸,将如何创造一个全新的“思想社会”(society of thoughts),并建议行业应该在构建智能体本身的同时,投入同等努力去建立智能体的制度体系。

团队认为,当前主流的人工智能对齐范式,是基于人类反馈的强化学习,本质上仍是一种“亲子式”的纠正关系。人类告诉一个智能体什么是对的、什么是错的。但当智能体从一个变成数百万、数十亿,并开始彼此协作、相互影响时,这种二元关系很难成为整个系统的治理基础。事实上,人类社会依赖的也并非每一个人的个体美德,而是由角色、规范和权责关系构成的持久性制度。

AI进入现实社会的同时,自身要建立起智能体之间的社会互动,不仅要让智能体们相信正确的事情,还要确保当它开始行动时,行为仍然受到这些判断的约束,更要让群体中产生相互制衡的机制,建立起规范和制度。制能体的社会性,正在成为AI下一步演进的方向。

参考:

https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/-takeaways-about-this-incident;

https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents;

https://darioamodei.com/post/we-must-pace-the-frontier

https://arxiv.org/html/2609.04170v1;

https://arxiv.org/html/2603.20639v1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
耐人寻味!黄仁勋前脚卸任英伟达,刘强东后脚砸99亿买下欧洲1000家店,雷军同一天官宣巴黎,三件事同一天,真有那么巧吗

耐人寻味!黄仁勋前脚卸任英伟达,刘强东后脚砸99亿买下欧洲1000家店,雷军同一天官宣巴黎,三件事同一天,真有那么巧吗

老猫观点
2026-11-18 08:52:59
习惯侧睡的男人,无论朝左还是朝右,大多藏着这6个特质

习惯侧睡的男人,无论朝左还是朝右,大多藏着这6个特质

风起见你
2026-10-17 06:09:48
为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

另子维爱读史
2026-08-04 21:35:07
中俄美三国会晤,欧洲破防了:俄罗斯没资格上桌,我们才该有一席之地

中俄美三国会晤,欧洲破防了:俄罗斯没资格上桌,我们才该有一席之地

吃瓜小侦探
2026-11-18 09:29:05
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
国家统计局:10月全国城镇不包含在校生16-24岁劳动力失业率为17.2%,连续两个月下降

国家统计局:10月全国城镇不包含在校生16-24岁劳动力失业率为17.2%,连续两个月下降

澎湃新闻
2026-11-18 16:09:03
江苏原常委赵少麟:开国上将之子,退休8年因其子赵晋而入狱

江苏原常委赵少麟:开国上将之子,退休8年因其子赵晋而入狱

文史旺旺旺
2024-11-25 21:04:27
印度知名网红发文,直言中国电动飞机都起飞了,印度还在研究牛粪

印度知名网红发文,直言中国电动飞机都起飞了,印度还在研究牛粪

新游戏大妹子
2026-11-18 12:43:03
大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

大家有没有发现?油车加200元油,大致能跑400公里,新能源电车花200元电费,可能能跑2000公里。用车成本差这么大,为什么仍有人买油车?

扶苏聊历史
2026-09-22 16:09:20
狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

大爱狗狗控
2026-11-18 20:48:36
彻底断供!英伟达临时CEO对外宣布:将停止向中国出货H200芯片

彻底断供!英伟达临时CEO对外宣布:将停止向中国出货H200芯片

影孖看世界
2026-11-18 23:46:42
纳斯达克给科兴控股发了退市决定函,科兴疫苗再度被热议,当年打完三针的人该怎么理性看待这件事

纳斯达克给科兴控股发了退市决定函,科兴疫苗再度被热议,当年打完三针的人该怎么理性看待这件事

磊子讲史
2026-10-24 15:31:41
六台:皇马可能会接受1.5亿欧以上出售维尼修斯,枪手正在关注情况

六台:皇马可能会接受1.5亿欧以上出售维尼修斯,枪手正在关注情况

懂球帝
2026-11-18 22:54:05
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
“保不住香港,我们以死谢罪!”,解密惊心动魄的香港经济保卫战

“保不住香港,我们以死谢罪!”,解密惊心动魄的香港经济保卫战

文史道
2025-02-18 20:31:56
俄罗斯战略智库:从人类历史来看,中国是经验最丰富的超级大国

俄罗斯战略智库:从人类历史来看,中国是经验最丰富的超级大国

农夫史记
2026-11-16 19:32:51
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
广东3消息!徐杰王者归来,宏远官宣新援加盟,阿祖应该被裁

广东3消息!徐杰王者归来,宏远官宣新援加盟,阿祖应该被裁

多特体育说
2026-11-19 00:02:19
江西状元杨仁荣:北航毕业后9年不肯回家,母亲查出癌症才重新露面

江西状元杨仁荣:北航毕业后9年不肯回家,母亲查出癌症才重新露面

磊子讲史
2026-11-18 17:56:56
朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

纯洁的微笑
2026-11-18 21:51:39
2026-11-19 03:08:49
未尽研究 incentive-icons
未尽研究
新能源、人工智能、合成生物、地缘X
576文章数 68关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
艺术
亲子
教育
游戏

穿好“长大衣”,这8个细节很重要!

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

亲子要闻

宝宝被爸爸的动作整蒙了,一脸惊讶的表情

教育要闻

课堂上老师一句不及格哦 全班瞬间安静 学生党破防 建议看..

《GTA6》不设任务重玩菜单,提供15个存档槽

无障碍浏览 进入关怀版