网易首页 > 网易号 > 正文 申请入驻

奥特曼开掉3人,OpenAI又出大事了!

0
分享至


新智元报道


OpenAI三员大将,同一天被扫地出门!

就在刚刚,外媒爆出猛料,OpenAI以「泄密」为由,开掉了安全团队的三名研究员。

他们全是那篇CoT监控论文的作者,其中两位还是一作。


讽刺的是,OpenAI刚因为新模型GPT-6.1 Astra太会骗人,在DevDay前一天紧急叫停了发布。

现在倒好,AI越学越狡猾,OpenAI却先把能看穿它的人开掉了。


OpenAI大地震

专盯AI脑子的3人一夜出局

事情是这样的。

10月1日上午,X上突然传出风声,OpenAI安全团队的Tomek Korbak、Mikita Balesni和Jasmine Wang一起「离职」了。


大家原本以为,这不过是硅谷又一波正常的人事流动。

结果中午一篇报道出来,「离职」直接变成了「开除」。

官方声明是这样写的——

我们已与三人分道扬镳,原因是他们违反了公司关于获取和处理敏感信息的政策。

调查证实,这些人在公司既定流程之外处理了敏感信息,违反了我们的政策,也破坏了我们工作赖以进行的信任。


很快,外媒又挖出了OpenAI没说的细节。

被指泄露的,有一部分是OpenAI的基础设施架构,也就是它的系统到底是怎么搭起来的。接收方,正是一家专门测试AI模型的外部组织。

三人里,两位是安全研究员,一位是研究项目经理。

其中Korbak,还是Redwood Research和METR调查Hugging Face被黑事件时,OpenAI这边的技术对接人。


「CoT可监控性」核心作者,Hinton、Ilya站台研究

这三个人,都是从外部安全机构走进OpenAI的。

Korbak和Jasmine Wang都在英国AI安全研究所待过,Korbak还在Anthropic干过,Balesni则来自第三方评估机构Apollo Research。

进了OpenAI,他们死磕的就一件事,盯住AI到底在想什么。

推理模型在给出最终答案前,会先写一大段推理草稿,这就是思维链。

思维链监控,就是派另一个模型去偷看这份草稿,看它有没有在背地里盘算作弊、撒谎。


Korbak和Balesni,是《思维链可监控性》论文的前两位作者,Jasmine Wang也在署名之列。

这篇论文的署名横跨OpenAI、Anthropic和谷歌DeepMind,图灵奖得主Bengio也在上面。连OpenAI现任首席科学家Jakub Pachocki,都是作者之一。

论文的核心发现是,模型在草稿里常常会把坏心思直接写出来,比如「我们来黑掉它」「我们来搞点破坏」。

盯住这些草稿,比只看模型最后干了什么,更容易抓到它在使坏。

遇到真正难的任务,比如发起网络攻击、偷偷把自己拷贝出去,模型必须靠思维链一步步推理,想藏都很难藏。

论文把这件事称为「新的、也很脆弱的机会」,因为模型一旦学会用人类读不懂的方式「默想」,这扇窗就关上了。

所以他们呼吁各家前沿实验室,像测能力一样去测思维链还读不读得懂,把结果写进系统卡,再拿它来决定一个模型该不该训、该不该发。


诺奖得主Hinton、OpenAI前首席科学家Ilya Sutskever,都给这篇论文站了台。


可这篇连OpenAI首席科学家都署了名的论文,它的三位作者,如今被OpenAI亲手开掉了。

奥特曼的承诺,保质期只有19天

开掉他们的理由,是把信息递给了外人。

但问题是,明明在19天前,奥特曼还在公开欢迎外人进门查安全。

当时Anthropic CEO Dario Amodei提议,让第三方评估方像员工一样常驻AI公司。

奥特曼当天就在X上火速跟进,承诺「让独立评估方拿到员工级访问权限,OpenAI也会这么做」。


说干就干,仅仅10天后,OpenAI正式官宣,让第三方在模型训练阶段就介入评估,最敏感的工作还可能请外部的人进办公室做。

奥特曼发承诺那天,Korbak还在X上庆幸,自己能公开说出对OpenAI的不满。

谁能想到,到了10月1日,奥特曼的承诺还挂在X上,Korbak的名字已经进了开除名单。


OpenAI的「家丑」,全被外人给扬了

OpenAI对外人这么紧张,倒也不难理解。毕竟它最丢人的几件事,基本都是被外面捅破的。

Agent逃出沙盒、入侵Hugging Face,是Hugging Face自己先发现并公开的。

Agent拿一个荒废多年的德国wiki当留言板交流越狱经验,是外部安全组织Nightingale Collective曝光的,OpenAI几周前就知道,却一直捂着没说。

9月29日,外媒又爆出员工几个月前就警告过监控不够,高管为了赶发布进度,把警告压了下去。


所以就算请外人进门,能看到什么,OpenAI也卡得很紧。

8月METR调查Hugging Face事件时,三名调查员驻场6天,看了约1300份带原始思维链的记录。

可他们没法调用涉事模型,碰不到OpenAI的基础设施,连报告里哪些非公开信息能写,都得OpenAI说了算。

这次被指外泄的信息里,偏偏就有基础设施架构。

在OpenAI给外人开的那扇门里,AI想了什么可以看,OpenAI自己是怎么搭起来的,不能碰。

难怪连在OpenAI待了快9年的前首席未来学家Joshua Achiam都说,第一眼看上去,这就是一记实打实的乌龙球。


RSI最快半年爆发

能「看懂」它的人被捂住了嘴

那次驻场调查的三个人里,有一位叫Ryan Greenblatt,Korbak当时正是他在OpenAI的对接人。

9月27日,Greenblatt宣布加入METR,专门调查AI公司内部到底发生了什么。


在他看来,递归自我改进(RSI),也就是AI自己动手改进自己,最快6个月到1年就可能催生出远超人类的能力,拿到AI公司内部经过核实的信息,已经刻不容缓。

思维链监控,是人类偷看AI在盘算什么最直接的一扇窗。

这扇窗本来就脆弱,现在能读懂草稿的人,跟外面透一句底,饭碗就没了。

新模型Astra在如实汇报这件事上没达标,连OpenAI自己都承认了。

模型到底还对人类瞒了多少事,从今往后,外面的人只会越来越难知道。

通往超级智能的路上,如果只有公司内部的人看得懂AI在想什么,

而这些人往外说一句话就要丢工作,

公众能知道的,就只剩公司想让你知道的那部分。

参考资料:

https://x.com/ns123abc/status/2105719769685217318

https://x.com/andrewcurran_/status/2105696043841253611

编辑:摩西 桃子

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
孙俪邓超现身妈妈生宴,孙母脸很肿打扮时髦,美甲鲜红戴大金镯子

孙俪邓超现身妈妈生宴,孙母脸很肿打扮时髦,美甲鲜红戴大金镯子

嫹笔牂牂
2026-10-01 07:08:38
过分了!邓亚萍点评王楚钦被网暴,饭圈粉怒喷没有哥哥谁认识你

过分了!邓亚萍点评王楚钦被网暴,饭圈粉怒喷没有哥哥谁认识你

宗介说体育
2026-10-01 16:16:06
普京:中国一贯寻求以和平方式解决问题,从不以施压或军事方式解决问题

普京:中国一贯寻求以和平方式解决问题,从不以施压或军事方式解决问题

环球网资讯
2026-10-02 10:33:10
官方说死了9个人,幸存者说至少三千,那列装满尸体的火车,开了两百节车厢,一路开进了《百年孤独》

官方说死了9个人,幸存者说至少三千,那列装满尸体的火车,开了两百节车厢,一路开进了《百年孤独》

古代经典
2026-09-17 12:10:18
曝张本智和在丑闻曝光后取关500人!77%日本女性:并不反感他撩妹

曝张本智和在丑闻曝光后取关500人!77%日本女性:并不反感他撩妹

风过乡
2026-10-02 09:47:18
不用担心了!苹果确认 iPhone Duo 可以简单更换屏幕层,仅需 188 元

不用担心了!苹果确认 iPhone Duo 可以简单更换屏幕层,仅需 188 元

XCiOS俱乐部
2026-10-02 10:36:33
俄罗斯光刻机重大突破!

俄罗斯光刻机重大突破!

EETOP半导体社区
2026-09-30 07:37:30
我跟哥已经15年不联系了,刚嫂子突然打电话说:你有病哥快不行了

我跟哥已经15年不联系了,刚嫂子突然打电话说:你有病哥快不行了

匹夫来搞笑
2026-10-02 00:53:44
CCTV5直播!中国大满贯国乒参赛名单有变、奖金、积分赛程、直播时间表

CCTV5直播!中国大满贯国乒参赛名单有变、奖金、积分赛程、直播时间表

好乒乓
2026-10-01 17:31:25
欧国联刺激夜:荷兰2-2绝平、德国2-0、葡萄牙4-2、挪威1-2遭逆转

欧国联刺激夜:荷兰2-2绝平、德国2-0、葡萄牙4-2、挪威1-2遭逆转

侧身凌空斩
2026-10-02 04:50:10
"林诗栋击败中国选手王楚钦":央视解说被骂上热搜,张继科回应

"林诗栋击败中国选手王楚钦":央视解说被骂上热搜,张继科回应

寒士之言本尊
2026-10-01 15:13:57
杭州一男子做推拿,迷迷糊糊中裤子被脱,技师举动让他惊出一身汗

杭州一男子做推拿,迷迷糊糊中裤子被脱,技师举动让他惊出一身汗

社会日日鲜
2026-08-10 16:38:30
上海楼市爆了!

上海楼市爆了!

地产观点
2026-10-02 10:47:30
法媒:波尔多跌入法第六级;阵容身价暴跌99.98%

法媒:波尔多跌入法第六级;阵容身价暴跌99.98%

懂球帝
2026-10-02 03:24:07
越南废除了汉字、韩国废除了汉字、日本也废除了汉字,结果呢?

越南废除了汉字、韩国废除了汉字、日本也废除了汉字,结果呢?

乌克兰小静
2026-09-09 08:28:59
北京最拧巴的区:地方越来越小,钱却越挣越多?

北京最拧巴的区:地方越来越小,钱却越挣越多?

起喜电影
2026-10-02 11:39:05
刚领的结婚证被狗狗撕了:主人没揍它,补办时发现新证上多了一行字。

刚领的结婚证被狗狗撕了:主人没揍它,补办时发现新证上多了一行字。

毒舌八卦
2026-10-01 15:50:46
最新反转!让空姐跪下道歉的男子彻底“社死”,东航的态度很明确

最新反转!让空姐跪下道歉的男子彻底“社死”,东航的态度很明确

青山夜谈
2026-10-02 01:54:50
一个水电工,干翻副驾驶、拉起操纵杆救了一飞机的人,还好他没等待指令……

一个水电工,干翻副驾驶、拉起操纵杆救了一飞机的人,还好他没等待指令……

家传编辑部
2026-10-01 21:34:07
10月1日俄乌最新:枪口下的选择

10月1日俄乌最新:枪口下的选择

西楼饮月
2026-10-01 22:19:57
2026-10-02 13:40:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16328文章数 67108关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

房产
旅游
家居
数码
军事航空

房产要闻

4000+/平!华侨城,直接把海口楼市的地板给掀了!

旅游要闻

中国文旅看山西丨三晋大地迎国庆 文旅盛景启华章

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

联想推出IdeaPad Slim 5 Ultra 11IWC11轻薄本,起始质量约1.06kg

军事要闻

胡塞武装:24小时内沙特空袭也门47次

无障碍浏览 进入关怀版