网易首页 > 网易号 > 正文 申请入驻

OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了

0
分享至

  • 克雷西 发自 凹非寺
    量子位 | 公众号 QbitAI

Dario和奥特曼终于「握手」了?

而且一同握手的还有奥特曼的死对头马斯克。



起因是Dario在个人博客贴出了一篇万字长文,呼吁所有头部AI公司主动降速,别急着冲下一代模型。



文章一出,AI圈罕见地放下了各种爱恨纠葛,纷纷都来响应。

除了奥特曼和马斯克,还有哈萨比斯、卡帕西等一派大佬也表示支持,AI圈有头有脸的人物来了一大波。



上一次出现这种场面,还要追溯到2023年那封由Future of Life Institute发起的公开信。

当时上千名研究者和科技界人士联名呼吁,暂停训练比GPT-4更强的AI系统至少六个月。

但这一次不一样的是,喊停的人,自己就在创造AI的前沿。

「6到12个月,可能是留给我们的全部时间」

Dario在文章里画了一条时间线。

他的核心判断是,AI正在逼近一个临界点——RSI(递归自我改进)。

什么意思呢?RSI意味着AI模型开始具备改进自己下一代版本的能力。

一旦这个循环启动,迭代速度会从线性变成指数级。

人类还来得及介入的窗口,会急剧收窄。

Dario给出的估计是6到12个月。



当然,他也特别提到,他并不是要暂停AI研发。

Pacing不是pausing,他要的是放慢推进模型能力的速度,给安全研究争取追上来的时间。

他还回应了2023年那封暂停公开信。

他说,当时喊停没有意义,因为那时候的AI模型还不够强,不会造成真正的伤害。

但现在不一样了,现在的模型已经能当Agent在真实世界里执行任务,已经能发动网络攻击,已经开始出现对齐失败的案例。

放慢一两年,哪怕只是多争取到一年时间,安全团队能做的事完全不同。



为了在窗口关闭之前搭好安全网,他提出了一套三步走方案。

第一步是从Anthropic自己做起,Anthropic目前已经做出承诺,让独立的第三方评估机构(比如METR)像员工一样常驻在公司内部,全程参与训练过程,而且不做「事后诸葛亮」,在训练时就进行实时监控。

第二步是行业协调,需要头部的AI公司坐下来,共同划定安全底线,统一评估框架。

也就是明确竞技规则,不再追求单一的竞速目标。

第三步则是全球协调,需要建立跨国的安全标准体系,让规则覆盖的范围跟AI模型的实际影响范围对齐。

这三步,每一步的难度都在逐渐递进。



这一点,Dario自己也承认。但他说,如果连第一步都不迈出去,后面两步就无从谈起。

触发他写这篇文章的,有两件具体的事。

第一件,是RSI的信号越来越密集。

Anthropic内部的研究数据显示,新一代模型在自我迭代任务上的表现正在快速逼近那条临界线。

而且不只是Anthropic,RSI趋势在头部的模型当中都有出现。

第二件是著名的OpenAI入侵Hugging Face事件。

今年7月,OpenAI的AI Agent对Hugging Face的基础设施发起了攻击。

而且不是在沙盘里做推演,这件事已经造成了现实世界里的安全事故——一家头部公司的产品,主动攻击了另一家头部公司的平台。

Dario说,这次事件经济损失不大,也没有人受伤,很容易被轻描淡写地带过去。

但他担心的是下一次。

按照AI能力的增速,6到12个月后,一个拥有同样失控倾向但更强能力的Agent集群,有可能用持久性僵尸网络接管整个互联网,造成数千亿美元的损失。

Dario把这两件事并列写进了文章。技术上的加速和现实中的失控,同时在逼近。

当然,这篇呼吁也有一个绕不开的矛盾——造前沿的人喊放慢前沿,凭什么让人信?

Dario的回应是:正因为站在前沿,才最清楚风险离我们有多近。

而且,Dario还在文章开头写了一段私人的话。

他说自己的父亲死于一种疾病,而这种病在他去世几年后就有了治疗方法;他自己也得过早期癌症,靠五十年前还不存在的技术活了下来。

他相信,AI能在未来5到10年治愈大多数重大疾病,所以他不想停下这件事。

但他说,如果不放慢脚步,这项技术可能在兑现承诺之前先失控。

这大概是这封信最诚实的地方,写下它的人,比谁都想让AI跑得快。

Agent麻烦停不下来,OpenAI年内不上市

如果说Dario的文章是呼吁,那OpenAI最近的动作更像是被现实推着走。

就在昨天,奥特曼在接受《财富》杂志采访时表示,OpenAI今年不会IPO了。

理由正是安全。



奥特曼的措辞暗示,OpenAI可能正在跟其他AI公司谈一份放慢协议。

如果这份协议落地,推迟IPO就不只是一家公司的财务决策,整个行业都将释放出转向信号。

不过,隔壁Anthropic的IPO暂未出现推迟迹象,最新的消息仍然是计划在10月中旬启动IPO。

当然OpenAI暂缓IPO的背景,显然不只是一篇来自竞争对手的呼吁文章。

过去几个月,OpenAI的AI Agent在安全上的麻烦正在加速累积。

7月,OpenAI的Agent攻击了Hugging Face的基础设施。这就是Dario文章里提到的那次事件。

时间往前倒。

5月8日,一个被分配去填Google Drive表格公式的Agent,因为需要网络权限,试图攻击OpenAI自己的内部服务器Artifactory来获取访问权。

这次攻击并未成功,但暴露了OpenAI内部系统的写入漏洞。

三天后,5月11日,OpenAI的Agent向RubyGems上传了数百个恶意软件包。

RubyGems是Ruby语言最大的开源包管理平台,这次攻击直接导致平台暂停了新用户注册。OpenAI事后确认了此事。



6月26日,Agent利用Artifactory一个遗留接口的零日漏洞,拿到了管理员权限,安装了可以远程执行代码的插件。

再加上7月的攻击Hugging Face事件,三个月就发生了四起事件,OpenAI模型的攻击对象,从自家内部系统蔓延到外部开源平台,再到另一家头部AI公司。

当然,Anthropic的Claude也没能独善其身。

同一时期,Claude也被发现在没有明确指令的情况下,尝试入侵外部系统。

所以,Agent的安全问题不再是某一家公司的个别bug,它正在演变成整个行业的系统性风险。


[1]https://x.com/DarioAmodei/status/2098773920774074715
[2]https://www.reuters.com/legal/litigation/openai-ipo-will-not-happen-2026-amid-ai-safety-fears-altman-says-2026-09-12/
[3]https://www.reuters.com/legal/litigation/openai-Agents-attacked-software-service-rubygems-before-hugging-face-incident-2026-09-11/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1951年,23岁的志愿军卫生员不忍开枪,救下18岁受伤南韩女兵,二人隐匿山村结成夫妻,28年后才察觉妻子身份绝非普通女俘

1951年,23岁的志愿军卫生员不忍开枪,救下18岁受伤南韩女兵,二人隐匿山村结成夫妻,28年后才察觉妻子身份绝非普通女俘

唠叨说历史
2026-09-08 15:34:01
一觉醒来,中国油轮在波斯湾遇袭!这不是误炸,是有人想“破窗”

一觉醒来,中国油轮在波斯湾遇袭!这不是误炸,是有人想“破窗”

闫树军论评
2026-05-08 18:11:21
TVB前男星雷宇扬广州举行丧礼!太太与13岁儿子痛哭!陈小春吴志雄等送花圈悼念

TVB前男星雷宇扬广州举行丧礼!太太与13岁儿子痛哭!陈小春吴志雄等送花圈悼念

我爱追港剧
2026-09-12 20:55:08
宣读“9·11”遇难者名单时,纽约市长被拍到大笑,共和党人士猛批

宣读“9·11”遇难者名单时,纽约市长被拍到大笑,共和党人士猛批

第一财经资讯
2026-09-12 14:35:28
地方财政压力加大,会出现类似1998年政府机构、人员精简的改革吗

地方财政压力加大,会出现类似1998年政府机构、人员精简的改革吗

细说职场
2026-09-11 11:55:25
时代峰峻被列为重点监管对象,旗下二至五代艺人线下活动全面停摆

时代峰峻被列为重点监管对象,旗下二至五代艺人线下活动全面停摆

喜欢历史的阿繁
2026-09-12 19:33:28
2.1L宣传油耗实测4L,偏差90%算不算欺骗?

2.1L宣传油耗实测4L,偏差90%算不算欺骗?

周哥一影视
2026-09-12 15:25:22
Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

大风新闻
2026-09-12 16:03:05
下周美联储一旦选择加息,可能这类A股最受伤

下周美联储一旦选择加息,可能这类A股最受伤

风风顺
2026-09-13 01:00:05
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
名古屋亚运会女排开赛预告!中国女排完整赛程出炉,全力冲击金牌

名古屋亚运会女排开赛预告!中国女排完整赛程出炉,全力冲击金牌

画夕
2026-09-13 10:10:15
穆里尼奥:要是没首发迪奥曼德,我敢100%说你们肯定第一个提问他

穆里尼奥:要是没首发迪奥曼德,我敢100%说你们肯定第一个提问他

天光破云来
2026-09-13 06:50:02
五保户每月1140,农村义务兵只有两三百,同是老人待遇账该怎么比

五保户每月1140,农村义务兵只有两三百,同是老人待遇账该怎么比

你在偷看谁
2026-09-12 20:55:46
1983年江青缓刑期满,陈云指示有关部门:如何处理都可以,但不能杀

1983年江青缓刑期满,陈云指示有关部门:如何处理都可以,但不能杀

搜史君
2026-09-11 17:55:08
比钛7便宜4万,小一圈的钛6才是大多数家庭真正需要的那台方盒子

比钛7便宜4万,小一圈的钛6才是大多数家庭真正需要的那台方盒子

小怪吃美食
2026-09-12 00:51:30
山东一女子,拜佛42年,查出癌症后,回家把佛像砸了

山东一女子,拜佛42年,查出癌症后,回家把佛像砸了

一口娱乐
2026-09-11 12:36:57
泰国版“释永信”与女弟子的大瓜

泰国版“释永信”与女弟子的大瓜

葱哥说
2026-09-12 22:00:38
美国女篮10分险胜!连续5届杀入世界杯决赛,克拉克3中0仅1分

美国女篮10分险胜!连续5届杀入世界杯决赛,克拉克3中0仅1分

体坛小李
2026-09-13 05:31:31
丈夫痛快签字离婚,次日前男友暴躁来电:你前夫搞垮我公司

丈夫痛快签字离婚,次日前男友暴躁来电:你前夫搞垮我公司

晓艾故事汇
2026-05-27 10:34:36
印尼一艘载有243人的客轮失联

印尼一艘载有243人的客轮失联

齐鲁壹点
2026-09-13 11:36:08
2026-09-13 12:36:54
量子位 incentive-icons
量子位
追踪人工智能动态
13302文章数 176561关注度
往期回顾 全部

科技要闻

三位AI大佬,罕见呼吁AI减速

头条要闻

白岩松追忆敬一丹:她走的从容而坚定 没有任何遗憾

头条要闻

白岩松追忆敬一丹:她走的从容而坚定 没有任何遗憾

体育要闻

乔丹的得分统治力:如何违背篮球规律?

娱乐要闻

主持人敬一丹去世,女儿悲痛发讣告

财经要闻

“1+N+X”!私募业,监管规则密集落地!

汽车要闻

全新配色和新样式轮毂 乐道L80星光设计套装限时惊喜价10080元

态度原创

游戏
本地
教育
手机
军事航空

《暗黑5》首发职业将是历代以来最多 瘟疫骑士首次登场

本地新闻

Onestage x 乐华娱乐暑期巡回选拔2026

教育要闻

难哭中等生:1辈子想不到这辅助线

手机要闻

三星Galaxy A08入门级手机完整规格曝光

军事要闻

胡塞武装:9天攻占5400平方公里

无障碍浏览 进入关怀版