网易首页 > 网易号 > 正文 申请入驻

奥特曼给「AI造AI」踩刹车!方向盘必须握在人类手中

0
分享至


新智元报道


AI已经在帮OpenAI造下一代GPT了。

可真要把研发方向盘彻底交给AI,奥特曼还是亲自踩了一脚刹车。

11月16日,在Semafor的活动现场,谈及「递归自我改进」(RSI),奥特曼当场划下一道红线:

我们本可以进一步向递归自我改进推进,但我不认为现在能安全地这么做。

潜台词很明显:不是现在技术上推不动,而是真不敢撒手。


奥特曼表示,OpenAI可以进一步推进递归自我改进,但目前还无法安全地这么做。

毕竟,一旦模型开始自己迭代自己,谁来盯住它有没有悄悄跑偏?

奥特曼也没有只在口头上喊刹车。

紧接着,他又亮出了OpenAI最近在安全上的实招:把包括METR在内的外部评估机构请进实验室,直接「驻场查岗」。


道理很简单:当AI都开始下场搞研发了,关起门来让自家员工「自己查自己」,再怎么拍胸脯说安全,也兜不住底了。

AI已经帮着研发

为什么还不能放手?

在硅谷,「递归自我改进」早已被念成了口头禅。

但在奥特曼看来,大多数把它挂在嘴边的人,压根没想明白这几个字真落地时意味着什么。

那递归自我改进是不是已经发生了?这个问题奥特曼没有直接回答「有」或「没有」。

他认为,这件事跟AGI一样,不存在一个某天早上醒来突然跨过去的分界线,得拆成两层来看:

第一,OpenAI是不是靠自家的AI技术,加快了新模型的研发速度?这个答案很确定:是的。

第二,是不是只要按一下按钮,就能甩手让模型在无人监督的情况下自己设计下一代、自我迭代?

奥特曼的答案:当然不是。


奥特曼表示,OpenAI尚未让AI在无人监督下自主研发下一代模型、快速自我改进。

这说明OpenAI已经让AI参与自身研发,但方向盘还攥在人类手里。

外界之所以对「递归自我改进」既兴奋又担心,是因为一旦下一代AI能反过来造出更强的下下一代,技术进化就会变成滚雪球式的复利狂奔。


奥特曼将这种「既推又收」定调为战术克制:先拿AI攻坚对齐,搞定「怎么管住AI」这道保命题。

他还顺带吐槽了硅谷同行的推销话术:一边许诺给人类攻克癌症、提供廉价商品,一边却要求人类交出全部主导权。

用他的原话说,这就是让人类「像只拉布拉多犬一样活着,机器也许会哄你开心,但你再也没有任何控制权了」。


奥特曼用「像拉布拉多犬一样活着」,比喻人类被机器照顾却失去自主权的未来。

对于硅谷最近流行的热词「handover」(把未来决策权移交给AI),无论是渐进交权还是突然交棒,奥特曼的态度都很坚决:绝不接受。

METR此前的一份报告给出过一个估算:

截至今年10月,老对手Anthropic的模型在特定明确任务上的能力进步速度,大约是2024年3月至2025年10月历史水平的两倍。


Anthropic模型的AECI进步速度估计提高至1.9倍。

被问及OpenAI是否也飙到了这个速度时,奥特曼没有接这茬数字竞赛。

他坦言,眼下AI的能力进化依然呈锯齿状:有些环节快得飞起,远不止两倍;有些环节还在原地啃硬骨头,慢得多。

因此,硬凑一个「整体提速两倍」的平均数,听着唬人,实则失真。

但谈到METR,奥特曼主动提到OpenAI正在推进「嵌入式评估」合作,而METR正是受邀入驻的机构之一。

在他看来,找外部专家给安全工作和系统稳健性「把脉」,接下来会越来越关键。

有意思的是,主持人抛来的是Anthropic的「提速账」,奥特曼反手亮出的却是OpenAI请METR进门查的「安全账」。

虽然还没有材料证明,某份METR报告让OpenAI放缓了自我改进计划。

但在大家都在卷速度的时候,怎么把安全底线兜住,显然成了奥特曼眼中更紧迫的问题。

6个人、4个月

进OpenAI查什么?

奥特曼口中的「嵌入式评估」,绝不是走个过场,具体名单和分工已经落了地。

根据OpenAI官方博客,他们已与Apollo Research、METR、Transluce和Goodfire四家机构签下协议,首阶段直接把探头插进了模型训练与内部使用这两个核心环节。

为什么要大费周章把外人请进自家「后厨」?

因为老办法已经失灵了。

过去大模型做安全测试,就像菜快端上桌了才测一测。

但眼下AI实验室的真实情况是:很多还没向公众发布的模型,早就穿上工装在内部「上岗打工」了,甚至直接参与了下一代模型的研发。

如果还等公开发布前再看那张漂亮的安全成绩单,根本查不出它在「后厨」干活时有没有动过歪心思。

这回入场的四家机构,恰好卡住了同一条研发流水线的四个关键身位:

Apollo Research专防「内鬼」:派出6人团队驻场试点4个月,专门排查模型会不会暗中破坏自身或下一代模型的对齐与控制机制。

从训练有没有变相纵容、评测能不能揪出来,到内部干活时有没有露马脚、推理痕迹能不能抓现行,挨个环节摸底。

METR紧盯「大练兵」:聚焦OpenAI迄今最大规模的一次强化学习训练,专门搜寻现有测试和常规监控可能漏掉的失对齐暗礁。

Transluce负责「审考卷」:检查后训练对齐评测本身的质量与覆盖范围,防止考题太水、放跑隐患。

Goodfire主攻「开颅透视」:借助可解释性方法剖析模型内部机制,辅助监测训练过程、排查异常信号。

从训前激励、训中监控、训后考卷到内部神经元,四班人马分守四道关卡。

尤其是Apollo,直接盯住了「AI造AI」的命门:如果参与研发的上一代模型自己「手脚不干净」,造出来的下一把安全锁再精密也是摆设。

外部安全评估的风向已经彻底变了:不再是等成品出厂前贴张合格证,而是直接进车间盯生产。

能进去检查

有些结果却不能公开

外部评估方虽然被请进了实验室,但能看什么、能往外说什么,协议里早已划好了红线。

先看Apollo Research的条款,算是有保底,也有保留:

OpenAI不能删去Apollo对各项主张的定性判定,也不能因为检查结果不好看就要求删改;但凡涉及敏感知识产权的支撑证据,OpenAI依然有权抹去。

换句话说,外界将来看到的,很可能是一份「有结论、没底稿」的体检单。

Apollo能补救的,是公开说明自己遇到了哪些访问和披露限制,以及这些限制对判断造成了多大影响。

到了Transluce这里,禁区划得更具体:按照计划,Transluce将从12月初开始为期6周的试点,可以接触部分模型、原始思维链输出以及内部评测,其中至少包含一个仅供内部使用的模型。

但协议写明:内部专用模型的评估结果,一律不准公开。

真正留在实验室里干重活、最贴近「AI造AI」核心现场的模型,外人虽然能查,但公众却看不到结果。

Transluce也把话挑明:这次拿到的权限并不等同于OpenAI正式员工权限;而那份完整、未删节的报告,只会呈交给OpenAI基金会董事会的安全与安保委员会。

开门迎检是真,但把核心家底捂严实也不假。

通向ASI

人类还能保住干预能力吗?

有人可能会问:OpenAI自己不是有自动化监控系统吗,为什么连「监督系统」本身都得靠外人来查?

因为连「电子监工」自己,都可能留着让人钻空子的后门。

METR此前的一次实战摸底,就撕开过这样一道口子。

今年7月至8月,METR与Redwood Research人员对OpenAI当时的内部智能体监控系统做过为期3周的检查。

结果揪出了一个颇具黑色幽默味道的机制盲区:受检系统里有一套监控机制,竟然要等智能体把控制权交回用户时,才会触发检查。

换句话说,在上下文压缩尚未触发检查的空档期里,智能体完全可以开启「无限连招」持续执行动作,把受检时间一推再推:只要我不交卷,监考老师就查不到我。


当时,监控在AI交回控制权时触发;上下文压缩未纳入监控期间,AI可持续行动推迟检查。

这个插曲已经足够敲响警钟:把监控程序写进代码里,并不等于每一步操作都在眼皮底下。

AI连续自主干活的时间越久,中间干过什么、出了岔子多久能察觉,就越不能轻信纸面设定,必须留下经得起核查的运行记录。

顺着这条线往下看,四家外部机构入场,真正的重头戏还在后面:它们到底查出了什么?哪些问题真正倒逼了整改?改完之后有没有复测?

最关键的是:一旦评估亮起红灯,真能叫停研发和发布吗?

至少从目前已公开的安排来看,外部评估方手里并没有「一键拉闸」的独立叫停权。

对此,自称「务实中间派」的奥特曼亮出了自己的底牌。

一方面,他死咬「人类必须永远掌控未来」的原则不松口;另一方面,他也承认,当技术变得足够强、进步足够快,为了兜住安全底线,「我们可能不得不改变原有的全部计划」。

通向ASI的牌桌上,AI造AI的飞轮一旦转起来,能力跑的是复利,风险跑的同样也是复利。

引擎越强,刹车的分量就越重。

编辑:元宇


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网易号平台每日辟谣公告(十一月十八日)

网易号平台每日辟谣公告(十一月十八日)

网易号官方平台
2026-11-18 19:08:14
男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

环球网资讯
2026-11-19 10:01:08
太惨烈了!萍乡交警查酒驾时被杀,三人死亡

太惨烈了!萍乡交警查酒驾时被杀,三人死亡

江启
2026-11-19 05:58:48
美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

美国人评价中国深圳:环境很好,街道干净,不过一点比不上美国!

扶苏聊历史
2026-11-19 11:35:42
普京和特朗普都已放话,只要人来了深圳,绝对不会错过金正恩

普京和特朗普都已放话,只要人来了深圳,绝对不会错过金正恩

漫步独行侠
2026-11-19 09:25:33
“蔡国庆摔了”热搜第一,蔡国庆在品牌走秀时摔倒,被扶起后一直用手捂着腹部,坚持完成后续台步

“蔡国庆摔了”热搜第一,蔡国庆在品牌走秀时摔倒,被扶起后一直用手捂着腹部,坚持完成后续台步

台州交通广播
2026-11-19 02:41:00
APEC领导人非正式会议现场:普京笔不离手、认真记重点,特朗普专注聆听

APEC领导人非正式会议现场:普京笔不离手、认真记重点,特朗普专注聆听

极目新闻
2026-11-19 10:54:45
英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

英男不满被推销电话狂轰 将号码改成付费专线 每分钟爽赚7便士

环球趣闻分享
2026-11-18 14:57:47
抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

不似少年游
2026-11-19 07:21:22
格力电器成被执行人

格力电器成被执行人

界面新闻
2026-11-19 11:05:44
刚刚,马斯克直言:黄仁勋辞职等于踢走巅峰期的乔丹,这相当令人震惊

刚刚,马斯克直言:黄仁勋辞职等于踢走巅峰期的乔丹,这相当令人震惊

智能纪元AGI
2026-11-19 09:18:57
坐稳东部第一!76人逆转魔术迎4连胜,詹姆斯22分,恩比德26+6+7

坐稳东部第一!76人逆转魔术迎4连胜,詹姆斯22分,恩比德26+6+7

全景体育V
2026-11-19 10:37:40
缴不起、不愿缴、不合适:"社保扩面"的三重错配

缴不起、不愿缴、不合适:"社保扩面"的三重错配

六子吃凉粉
2026-11-19 13:37:01
男子约过30多个女网友缠绵,又2次睡好友的妻子,2013年被好友杀死

男子约过30多个女网友缠绵,又2次睡好友的妻子,2013年被好友杀死

汉史趣闻
2026-11-19 09:43:31
大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

醉卧浮生
2026-11-19 13:31:32
黄仁勋,被狠狠打脸了

黄仁勋,被狠狠打脸了

技术领导力
2026-11-18 18:37:37
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

风过乡
2026-11-19 07:25:15
宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

宁德向理想一天发3封要钱邮件 :战略合作伙伴的体面,是按“封”计算的!

城事堂
2026-11-19 08:54:42
英伟达全员提前加薪!砸钱稳定军心,董事会为迎回老黄内讧了

英伟达全员提前加薪!砸钱稳定军心,董事会为迎回老黄内讧了

量子位
2026-11-19 08:42:14
2026-11-19 13:48:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16716文章数 67239关注度
往期回顾 全部

科技要闻

OPPO Reno17:实况才是让我留下来的理由

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

头条要闻

男子19.6万元卖出一块二手劳力士 不料14岁女孩来取货

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

稳坐春晚前排20年,黄晓明都巴结她

财经要闻

北京环球影城,亏损难题待解

汽车要闻

三排都不将就,还有云辇和智能四驱,方程豹钛9想通了什么?

态度原创

旅游
家居
艺术
健康
教育

旅游要闻

维港夜空告别“幻彩咏香江”汇演,新项目明年陆续推出;实践二十四号卫星成功发射

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

95后女孩用247天拍遍56个民族服饰,东方美学美得太惊艳!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

你背了无数遍“base是基础”,为什么语法填空还是填错?

无障碍浏览 进入关怀版