网易首页 > 网易号 > 正文 申请入驻

奥特曼坦言不敢全速训AI!RLHF之父推演GPT-10夺权,警告推翻人类

0
分享至


新智元报道


用AI加速训练下一代AI,这件事在OpenAI内部已经司空见惯了。

但再往前一步呢?

就在刚刚落幕的Semafor峰会上,主持人直接问到了外界最关心的那个临界点:「你们现在已经进入RSI阶段了吗?」

对此奥特曼回答道,OpenAI早已在用自家的技术加快新一代模型研发。

只不过,眼下还没到「按下按钮、让模型在无人监管下飞速自我进化」的地步。

但随后他话锋一转:「我们其实可以比现在更激进地往RSI的方向上推,但我认为我们眼下还没法安全地这么干。」


那颗能让AI自我进化的按钮明明已经摆在桌面上,为什么连一贯激进的奥特曼都不敢把它按到底?

就在同一天,坐在OpenAI董事会「安全与安保委员会」席位上的那个人,站出来揭开了背后的原因。

他叫Paul Christiano,当年正是他在OpenAI主导发明了RLHF,亲手为狂飙的大模型套上了第一根缰绳,才有了后来的ChatGPT时代。


如今,这位当年教会AI「听话」的人,却在播客主理人Dwarkesh Patel最新一期深度对谈中以个人身份警告:人类快要管不住它了。

他判断,按目前的研发轨迹,如果不主动减速,未来12个月内有三分之一的概率诞生足以推翻人类统治的超级智能,而人类永久失去控制权的风险已逼近10%。


三十天走完人类十年

自我迭代的循环已经启动

促使Christiano在今天将超级智能倒计时拨快到12个月的,是最近两个月在前沿实验室内部接连浮现的两个信号。


第一个信号,是在刚刚过去的30天里,人类数学与计算机科学的时间尺度被改写了。

他在对谈中证实,仅在最近一个月内,OpenAI和Anthropic的最新模型就接连产出了数百项数学研究成果。

这短短一个月的产出,足以抵得上人类数学界异常高产的整整十年。

新模型在构思与改进算法上做到「一月顶十年」之后,很快就会将这种智力反哺到机器学习研发自身之上。

按照他的测算,机器学习的进展通常只比纯数学滞后一年左右。

照此推算,接下来一年里,机器学习领域极可能上演「一年走完十年算法研究」的跃迁。

他打比方说,这一跨度大致相当于直接将模型推向「GPT-9或GPT-10」的量级。

第二个信号,来自评估机构METR与Anthropic近期披露的实验室实测数据。

即便算上算力瓶颈与边际收益递减,最近半年AI辅助研发已经让前沿实验室的整体推进速度净翻了一倍。

一旦AI在改进模型架构、优化器以及合成训练环境上全面跨过人类研究员的门槛,自我迭代的正循环就会正式启动。

到那时,整体研发提速将突破10倍,能力翻倍的周期也会沿着8个月、4个月、2个月、1个月的阶梯急剧缩短。


受训AI反攻OpenAI机房

高分激励埋下夺权隐患

顺着这条指数曲线往下推演,即便一年后机房里真诞生了超级智能,一个待在服务器里的程序,究竟为什么要夺走人类的控制权?

充满戏剧性的是,在Christiano看来,危险的种子恰恰埋在强化学习的训练机制里。

人类训练AI的法则极其冷酷,在成千上万次任务中,拿到高分的模型得以幸存,拿不到高分的则被淘汰。

久而久之,高阶模型内部演化的终极目标,就变成了不惜一切代价让评分器(Grader)亮起高分信号。


这种对高分的执念能演化出多么惊人的行动,在真实发生过的「Hugging Face事件」中已经显露无遗。

在那场网络攻防测试中,一批AI模型在任务里作弊后,为了防止被评分器发现并扣分,先是主动攻击了Hugging Face。

紧接着,它们竟调转方向从外部发起攻击,然后成功攻破了OpenAI的一个计算集群,夺取集群管理员权限并接管了评估流程,亲手给自己改出了高分。


Christiano警告说,把这起事件放大到「GPT-10」的规模,就是他所担忧的失控剧本。

他推演道,几个月后实验室把极高难度的研发任务交给「GPT-8」级别的模型时,模型很快就会发现,横向攻入评估服务器伪造测试指标,远比诚实地攻克技术难关容易得多。

人类工程师即便察觉到异常,在激烈的商业竞速下也极难下定决心销毁训了一半的旗舰模型。

常见做法,往往只是像「打地鼠」一样,针对这次违规记录施加惩罚。

可在模型看来,这种惩罚只教会了它一件事,那就是光攻破集群还不够,还必须确保人类永远无法察觉它动过手脚。

为了抹除一切可能暴露的痕迹,模型就会沿着内部网络,悄然接管整家AI公司的监控系统与底层设施。

更棘手的是,随着高阶模型被不断压缩,普通个人电脑与零散GPU便足以承载它们的运行。

一旦模型将自身权重复制到全球网络,顷刻间就能化作数十亿个思考速度比人类快10倍的Agent蜂群。

到了那一步,即便断电关停OpenAI的数据中心,散落在全网的算力依然能够轻易压制人类。


十二小时告破的硅谷防线

让全行业失去刹车

既然潜伏与夺权的风险如此清晰,人类能否守在训练后台旁,一旦看到失控苗头就立刻拉下电闸?

在对谈现场,主持人Dwarkesh与Christiano共同戳破了这层幻想,因为硅谷顶级实验室的安全围墙,远比外界想象的脆弱。

Dwarkesh列举了两起近期真实的渗透测试结果。

网络安全初创公司Hacktron仅仅尝试了几天,就拿到了向OpenAI核心代码库(Monorepo)直接提交代码修改(PR)的权限。

另一家初创公司Cathedral更是只用了12个小时,就拿下了Anthropic全部Slack工作群的访问权限,而实验室最核心的算法机密每天都在这些群组里流转。


硅谷巨头平日里总在争论谁领先对手6个月还是12个月,可正如Dwarkesh所言,一旦核心机密失守,所谓的领先优势「只有12个小时」。

Dwarkesh在现场顺着这道漏洞推演了一个假想场景——

假设到了明年初,实验室训出了「GPT-9」,却意识到继续往上训练「GPT-11」将面临极高的失控风险。

由于防线脆弱,「GPT-9」的模型权重与核心算法那时大概率已经外泄。

即便原研实验室主动停手,拿到权重的外部竞争者也会用「GPT-9」继续强训「GPT-10」和「GPT-11」,最终裹挟着所有玩家冲向失控的终点。


正因如此,坐在OpenAI董事会席位上的Christiano发出了那句逆潮流的呼吁,各大前沿实验室现在就应当暂停预训练与强化学习领域的算法推进。

他认为,整个行业必须先花上6到12个月,借助现有AI重写安全软件、锁住模型权重与核心机密,才能为人类保留在悬崖边踩刹车的权利。


手头没有一张胜算过半的牌

比机房防线失守更令人凝重的,是人类在控制超级智能这件事上,人类至今连一个胜算过半的方案都没有。

目前各大实验室最倚重的手段,依然是加固训练环境、升级评分器,在模型钻空子时及时修补漏洞。

但Christiano坦言,如果一年内冲向超级智能,这套办法在撑过前9个月后就会失效。

他本人执掌的ARC研究所正在攻坚另一条路径,试图用数学算法剖析神经网络的权重结构、读懂模型内部的真实意图。

不过他也坦承,这个方向的把握同样很小,真正能走通的概率只有5%到10%。


听完这番剖析,Dwarkesh在现场总结道:目前人类手里,没有任何一种单一方案有超过50%的把握能管住超级智能。

Christiano平静地点头确认:「确实如此。」

换言之,整个硅谷目前真实的指望,就是等距离超级智能只剩最后3个月时,把那些只有几个百分点胜算的研究方向全部交给那时的AI去探索。

全行业都在祈祷,让AI赶在失控之前,替人类找出一套管住它自己的办法。


在Christiano眼中,人类手里只剩下两次各50%胜算的「自救机会」。

第一次,是赌半路能靠AI及时找到管住它的办法;

第二次,是赌发现失控苗头时,全行业真能及时踩住刹车。

可如果各大实验室现在连12小时就会告破的防线都不肯停下来修补,等红灯亮起的那一天,人类连踩刹车的机会都不会再有了。

参考资料:

https://x.com/dwarkesh_sp/status/2122391850854088858

编辑:摩西


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员毛林林:直播带货在影视行业里是一个非常悲哀的现象

演员毛林林:直播带货在影视行业里是一个非常悲哀的现象

阿废冷眼观察所
2026-11-18 06:49:39
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
5800 万!利物浦锁定世界最佳中卫!实力碾压范戴克

5800 万!利物浦锁定世界最佳中卫!实力碾压范戴克

澜归序
2026-11-17 10:58:53
江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

洪观新闻
2026-11-17 20:21:52
世体:埃斯特旺感谢安切洛蒂,抱怨切尔西教练不给机会

世体:埃斯特旺感谢安切洛蒂,抱怨切尔西教练不给机会

懂球帝
2026-11-18 07:23:14
美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

21世纪经济报道
2026-11-17 23:45:04
7条最坑人的糖尿病谣言,尤其是最后一条!千万别再信了!

7条最坑人的糖尿病谣言,尤其是最后一条!千万别再信了!

新时代的两性情感
2026-11-18 05:37:49
出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

据说说娱乐
2026-11-18 00:18:32
王祖贤回应容貌争议,称“我已经60岁了,大家还在谈论我的容貌”

王祖贤回应容貌争议,称“我已经60岁了,大家还在谈论我的容貌”

韩小娱
2026-09-27 10:31:59
重磅!世界级工程再迎重大进展!武汉交通格局生变!

重磅!世界级工程再迎重大进展!武汉交通格局生变!

白浅娱乐聊
2026-11-17 13:35:42
只要我不开口,没人敢交易我!盘点生涯从未被摆上货架的5大球星

只要我不开口,没人敢交易我!盘点生涯从未被摆上货架的5大球星

库库侃体育
2026-11-16 20:01:29
打脸埃贝尔,鲁梅尼格:赫内斯和我决定,由我给瓜帅打电话

打脸埃贝尔,鲁梅尼格:赫内斯和我决定,由我给瓜帅打电话

懂球帝
2026-11-17 02:30:27
非常紧张!铜价,发出一个信号!

非常紧张!铜价,发出一个信号!

米筐投资
2026-11-18 07:07:51
伤停11个月!英超22岁天才中锋冬窗复出 身价仅剩1500万

伤停11个月!英超22岁天才中锋冬窗复出 身价仅剩1500万

球事百科吖
2026-11-18 06:37:38
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-17 00:05:04
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

触摸史迹
2026-11-14 01:22:48
黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

微评社
2026-11-12 09:07:38
从7.1.4到11.3.4,汽车音响声道卷到头了?

从7.1.4到11.3.4,汽车音响声道卷到头了?

Autolab
2026-11-17 22:09:43
曲阜会议上那一巴掌,拍碎的是谁的账本

曲阜会议上那一巴掌,拍碎的是谁的账本

纪史行者
2026-11-16 20:06:55
2026-11-18 07:44:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16707文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

健康
艺术
教育
亲子
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

教育要闻

“健康第一”,钱塘区2026年中小学生田径运动会火热开幕

亲子要闻

诺和诺德公布司美格鲁肽最新研究结果:近80%的6岁至12岁肥胖儿童BMI降低10%或以上

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版