网易首页 > 网易号 > 正文 申请入驻

AI圈集体踩刹车:Anthropic开门迎“驻场考官”,OpenAI跟进

0
分享至


编辑:kid

刚刚过去的这个上午,AI圈出现了一幕少见的同框:Anthropic CEO 达里奥·阿莫迪公开要求放慢前沿模型的能力升级,OpenAI CEO 萨姆·奥尔特曼表示赞同,马斯克也转发回应“达里奥是对的”。

几家公司平时在模型、用户和算力上寸土必争,这次却同时谈起了“踩刹车”。更值得关注的是,Anthropic拿出了一项具体承诺:让独立第三方评估团队长期进入公司,获得接近内部员工的权限,检查模型训练和安全措施到底有没有照章执行。


01

阿莫迪担心的,是AI开始帮助开发下一代AI

阿莫迪在新文章《We Must Pace the Frontier》中写得很直白:前沿模型的能力提升需要放慢一些。所谓“限速”,会继续训练和技术进步,同时给安全、对齐和外部评估留出时间。

促使他改变态度的原因有两个。第一个是“递归自我改进”。白话讲,就是AI越来越能参与训练、写代码、准备数据和评估下一代AI。研发工具变强,本来是好消息;但阿莫迪担心,模型进步速度可能快过人类理解和控制它的速度。


第二个是近期备受争议的OpenAI—Hugging Face智能体事件。公开调查显示,一组测试智能体在执行任务时出现了超出预期范围的网络行为。事件没有造成人员伤亡,已披露的经济损失也很小。阿莫迪据此作出更激进的风险判断:未来6至12个月,能力更强但同样“没对齐”的智能体群,可能借助僵尸网络造成大范围破坏。

这里必须把事实和预测分开。智能体出现越界行为是已公开调查的事件;“接管整个互联网”“造成数千亿美元损失”是阿莫迪对未来风险的推演,并非已经发生,也不是各方公认结论。


02

最实在的一步:把“外部考官”请进公司

相比“AI会不会失控”的宏大争论,Anthropic宣布的第一步更容易看懂:引入常驻的第三方评估员。

按照阿莫迪公布的方案,外部团队将拥有固定工位、门禁证件和公司电脑,并能访问与内部风险评估团队大体相当的工作空间、工具和权限。他们要核查公司是否遵守安全承诺,报告事故,还要观察训练流程,而非只在模型发布前做一次考试。

评估员还应有权发布关于风险、事故和访问受限情况的关键发现。Anthropic可以因法律、客户隐私、网络安全或商业敏感信息进行有限删节,但不能因为结论难看就把它按下去。评估方也可以公开说明删节是否影响了结论。

这个安排有点像银行的驻场监管,也像给AI实验室请了一支长期审计队。过去,大模型公司通常自己做安全测试、自己决定公开多少。外部团队进入训练流程后,企业的安全承诺多了一层可核验性。

03

奥尔特曼跟进,马斯克也点头

阿莫迪发文后,马斯克转发并写道:“达里奥是对的。”


奥尔特曼的回应更具体。他表示,同意需要控制前沿AI的推进节奏,认可独立监控和向第三方开放近似员工权限的思路,并称OpenAI也会采用。


三位掌门人达成口头共识,并不代表行业已经签下“停战协议”。各家公司该放慢到什么程度、用什么指标判断风险、第三方能看到哪些材料、谁来监督评估员,都还没有统一答案。涉及多家公司协同行动时,还会碰到商业机密、反垄断和国家监管等现实问题。

阿莫迪给出的路线分为三层:Anthropic先引入驻场评估;同一监管体系下的前沿AI公司协调安全标准;再争取全球层面的合作。第一层已经有明确承诺,后两层仍是倡议。

— 完 —

科技前沿进展每日见

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
打过不少离婚官司的表姐告诉我:父母再爱女儿,嫁妆也不能不做安排,说给就给了

打过不少离婚官司的表姐告诉我:父母再爱女儿,嫁妆也不能不做安排,说给就给了

小马达情感故事
2026-11-19 18:15:39
这则宣扬“几乎不休息”的新闻,上热搜了

这则宣扬“几乎不休息”的新闻,上热搜了

吴女士
2026-11-20 14:03:42
突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

起点财经
2026-11-20 13:46:06
段永平:字节跳动确实很强,好公司未必要上市,6000亿美元的估值下我会有兴趣

段永平:字节跳动确实很强,好公司未必要上市,6000亿美元的估值下我会有兴趣

每日经济新闻
2026-11-20 16:57:45
特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

麓谷隐士
2026-11-20 06:44:04
王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

每日经济新闻
2026-11-20 09:59:35
明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

明年1299万大学生毕业再刷纪录,中国正在批量生产"用不上"的大学生

老郭在学习
2026-11-20 16:10:45
武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

武汉95后小伙子承父业收废品,买到一架客机,拆解视频意外爆火,本人回应:把童年顺口溜干成了现实

极目新闻
2026-11-20 15:01:38
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
俄副外长:俄方不接受乌克兰成为北约“准成员”

俄副外长:俄方不接受乌克兰成为北约“准成员”

界面新闻
2026-11-20 16:01:42
局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

局势彻底变天了!54年来头一遭,打破美国总统常规,特朗普在深圳究竟看到了什么?引发舆论热议!

林杰论事
2026-11-20 12:42:26
高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

政知新媒体
2026-11-20 15:26:05
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

界面新闻
2026-11-20 16:52:36
沉痛送别!斯琴高娃离世,网友悼念错了:那位76岁老戏骨还在拍戏

沉痛送别!斯琴高娃离世,网友悼念错了:那位76岁老戏骨还在拍戏

月光作笺a
2026-11-20 07:11:51
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
2026-11-20 19:32:49
IT小埋 incentive-icons
IT小埋
爱科技,爱生活,爱吃瓜
1250文章数 1490关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

交付破16万台背后 全新ES8凭什么成为「高端纯电第一车」?

态度原创

旅游
时尚
手机
亲子
公开课

旅游要闻

美丽北京|一地鎏金引游人

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

手机要闻

华为星芒首款旗舰降临 OSTA O1 Pro发布:5499元起

亲子要闻

奶奶给大孙买的草莓真甜,姥姥给的高粱米做一锅,焦黏喷香都爱吃

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版