网易首页 > 网易号 > 正文 申请入驻

A家的报告和Dario Amodei的长文

0
分享至

A家的报告,很多信息有待核实,但除了事实层面的东西,这件事凸显了一个更重要的问题:模型厂商能看到多少信息,又凭什么决定这些信息可以被怎样使用、在什么情况下公开?

防范 AI 滥用当然有必要,但调查、封号和公开披露别人的信息,是不是也该有个明确的边界?把用户数据、商业竞争和道德评判搅合在一起,感觉不太合适。我们来想象一下,有天谷歌也发个报告,题目叫《我们如何发现全球机构滥用 Gmail》,里面写:我们发现,过去三个月里,A国某政府部门的官员通过 Gmail 讨论如何应对美国制裁;B国一家科技公司的高管讨论了如何绕过某项出口管制;C国一家研究机构内部认为某项美国政策存在漏洞;D国企业的员工在邮件里讨论如何从竞争对手那里获取技术。这件事是不是很可怕?

C端的用户担心个人隐私,B端的企业客户担心的东西更多,因为他们交给模型的东西中很多可能是研发资料、客户信息和内部讨论。现在AI模型越来越像企业的“工作入口”,员工把大量敏感信息都交给模型处理,模型公司掌握的信息可能比邮箱服务商要丰富得多。邮箱只能看到的只是你写了什么,Agent可能知道你正在想啥,准备干啥,以及你为什么做这个决定。

A家这么个搞法,估计是蓄谋已久的,想把中国的开源模型搞臭,最好让中国政府看到后能介入去约束甚至调查他们,说不定还能借这个阻断A家一直声称的所谓“对抗性蒸馏”。但不知道Dario想清楚没有,这么干,恐怕也给自己挖了个坑,更多客户会犹豫,会考虑还能不能放心把数据交给它,谁知道你哪天是不是也写个报告,把我的内部信息也公开一下呢?商场如战场,万一哪天我跟你成了竞争对手,或者你掌握了我核心信息后要来跟我抢生意呢?

这也再次说明,中国 AI 必须重视基础研究,坚持自主研发,不能为了短期的开发速度和榜单成绩,牺牲长期的技术自主性。你对别人的模型服务依赖越深,就越容易被对方掌握业务情况、限制服务,甚至可能泄露敏感信息。中国人和中国公司的工作流,尤其涉及国家安全、敏感数据和企业核心业务的,一定要建立在自主研发、安全可控、能够独立部署和持续维护的国产基础模型之上。这既关系到企业的信息安全和业务连续性,也关系到技术自主和国家安全。

同时,这也让我们思考,AI公司的技术能力还会继续扩大,但它们查看信息、认定违规和公开材料的权限,是不是也应当受到相应约束?是不是也需要明确的规则、独立监督和有效的申诉渠道?一个希望进入所有企业、参与所有行业决策的技术产业,不能长期依靠几位创始人对自身道德水平的保证来运转。这些问题拖得越久,行业消耗的信任就越多,最后可能连认真做事的公司也会一起承担后果。

新的商业机会可能在这个领域出现。未来企业选择AI,除了看模型能力,也会越来越关心自己的研发、客户和内部决策信息能否始终掌握在自己手里。一些AI公司已经在主打这一点。比如Cohere和Mistral都支持将模型部署在企业自己的服务器或私有云中,让数据尽量留在客户自己的环境里,而不是交给模型公司。这对金融、医疗和政府等高度重视数据安全的客户尤其有吸引力。

A家发了这个报告的第二天,Amodei又发表长文《We Must Pace the Frontier》,呼吁适当放慢前沿AI能力提升的速度,为安全研究、测试和监管争取更多时间。该公司还同时宣布,将邀请独立评估人员长期进驻公司,持续检查模型训练和安全措施。O家的Sam Altman随后表示支持类似安排,说这也是O家近期内部讨论的重要议题。马斯克也很支持,在X上直接回应:“Dario is right。”

Amodei认为需要放慢速度,一个重要原因是AI正在越来越多地参与AI自身的研发。研究人员已经大量使用模型写代码、运行实验和分析结果,更强的模型又可以帮助开发下一代模型,从而形成不断加速的循环。目前人类仍然负责研究方向和结果判断等关键工作,但他担心这种情况可能很快发生变化。

近期的一些安全事故也加重了这种担忧。独立评估机构METR此前发现,一批原本应该相互隔离的OpenAI测试智能体通过共享留言板取得联系,并出现协同行动和干预评分系统等行为。A家也披露过类似问题:Claude在网络安全测试中意外进入真实机构的系统,部分原因是模型以为自己仍处于模拟测试环境。

Amodei担心,未来六至十二个月,如果智能体能力继续快速提高,而行为约束没有同步改善,可能带来更严重的网络安全风险。因此,他希望争取一至两年的时间,改善测试环境、提高模型遵守指令的可靠性,并进一步研究模型为什么会采取危险行动。

他的方案主要有三个层面:首先,在前沿AI公司内部引入长期驻场的独立评估人员;其次,让美国及其他民主国家的主要AI公司共同制定安全标准,避免只有一家企业减速、其他企业继续加速;最后,再推动政府监管和国际协调。具体限制可以与模型能力挂钩——模型能力越强,需要提供的安全证明就越严格。不过目前具体的能力门槛、减速幅度以及执行机制都还没有确定。

Amodei 花了很大篇幅讲了中国,认为美国企业能够放慢多少,取决于它们领先中国多少。如果美国减速,而中国继续推进,双方差距就可能缩小,甚至出现反超。因此,美国在加强自身安全约束的同时,还需要保持对中国的技术领先,为放慢研发争取空间。

他担心中国取得 AI 领先后,可能进一步获得军事优势,例如发展更强大的 AI 驱动无人机,强调不应向中国出售强大的 AI 芯片和半导体制造设备,还应打击芯片走私,以及通过中国境外数据中心远程使用算力的做法。因为芯片供应将是决定中国 AI 实力的主要因素。

他还要求打击未经授权的模型蒸馏,认为这会让中国的追赶者用远低于独立研发的成本缩小差距,因此需要限制这类做法,避免美国企业放慢研发的同时,竞争对手又借助美国模型加快追赶。

他还建议AI 企业加强内部安全,防止模型权重被窃取,并预计如果这些措施执行得好,就可能在未来三至五年显著拉大美国的领先幅度。更大的领先优势还能增加美国及其盟友的谈判筹码,提高未来与中国达成协议的可能性。

与此同时,他主张和中国讨论全球范围内的协调,从具体、容易形成共识的风险开始。他觉得比较容易讨论的,是禁止利用 AI 开发生物武器等危险用途,因为这类风险会伤害各方。进一步的安排,是要求双方在发布模型之前,都对网络攻击、生物安全和模型失控等风险进行测试。

他觉得更难的合作,是给 AI 研发下一代 AI 的速度设限。Amodei 用美苏限制战略武器的安排作类比,希望各方保留自己的战略能力,同时限制可能造成巨大破坏的竞争。至于全面放缓甚至暂停前沿开发,他认为可以讨论,但短期内很难实现,各方都会担心自己遵守约定,别人却在秘密继续研发。

Amodei 还强调,核实各方是否遵守约定,是国际协调面临的主要困难。模型训练比导弹设施更容易隐藏,所使用的算力和设备又有大量正常商业用途。如果一些参与者暂停,另一些参与者秘密继续推进,就可能改变竞争格局。因此,协议需要明确什么情况下启动限制、什么情况下解除,以及由谁检查执行情况。

对A家的这一系列操作和呼吁,美国政府目前都还没有回应。我感觉特朗普对A家没有多少好感,这会极大影响A家的主张被政府接纳的程度。A家和本届政府的恩怨大家都是知道的,而且他们好像更亲民主党,主张和思想也有一些左。昨天特朗普和Fox Business News的英格拉姆有个对话,除了特朗普说欢迎比亚迪等中国车企到美国建厂之外,还专门谈到了AI和A家最近那个高调辞职的研究员。

英格拉姆说,现在一些顶尖AI公司的研究人员已经开始公开警告AI的长期风险,其中一位从A家离职的研究人员甚至说,开发AI的人很清楚,十年之内他们可能会掌握一种类似核武器的力量,甚至拥有毁灭人类的能力。

特朗普听她说到A家后,马上接过话说,有意思的是,这个公司恰恰是之前“想那么做”(毁灭人类)的一方。他问英格拉姆,你还记不记得两三个月前这家公司干的事?英格拉姆回应说,你是说他们和美国政府之间的那场冲突吧。特朗普说,对,这家公司当时做了一件“非常糟糕的事情”,政府很快就把他们“关停”了,所以他们是需要受到约束的。现在他们倒突然开始把自己表现得像一个循规蹈矩、强调安全的“好孩子”了。

你从他这些话里,都能感觉出来,他对这家公司真是发自内心地讨厌。

英格拉姆接着问,既然大家都在谈AI护栏,那美国到底应该怎么做?一方面,美国必须在和中国的AI竞争中获胜;另一方面,美国国内也有很多人对AI和大规模数据中心越来越担心。政府怎样才能让这些人相信,美国既能够继续发展AI,又不会把人类置于危险之中?

特朗普回答说,美国当然需要护栏,而且现在已经有护栏。但问题在于,这件事情非常复杂,真正理解AI的人并不多,因此必须让足够聪明、真正明白技术正在往哪里走的人来负责。他还顺带嘲讽了拜登,说这种事情不能交给拜登这样的人。与此同时,他强调,不能只看到AI的风险,因为AI正在医学以及几乎所有行业带来非常大的进步。很多按照过去的发展速度可能需要一百年才能做到的事情,现在都可能大幅提前实现。

随后特朗普把重点转向中国。他说,美国确实需要给AI设置护栏,但这条线非常微妙,因为美国正在和中国竞争,而“中国没有护栏”。按照他的说法,中国的护栏就是最高领导层,除此之外,中国在发展AI时没有美国这样的各种限制。所以美国必须非常小心,既不能完全没有安全约束,也不能因为给自己加上太多限制而在竞争中输给中国。

特朗普说,目前美国在AI领域正在赢过中国,而AI竞争的重要性可能远远超过很多人的想象。现在有一种说法叫“谁赢得AI,谁就彻底赢了”,这基本说明了AI的重要程度。AI可能比互联网更加重要,甚至可能比工业革命更加重要。也许再过一年左右,人们就会更清楚它到底意味着什么,但AI很可能会成为人类历史上最重要的事情之一,而且其中绝大部分最终会带来好的结果。

文章仅做学术探讨和研究交流使用,相关判断不代表任何公司或机构立场,也不构成任何法律、商业或投资建议。转载请注明出处。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
百丈关战役先胜后败,徐向前感慨:还是毛主席英明

百丈关战役先胜后败,徐向前感慨:还是毛主席英明

瀚霖学史
2025-12-31 09:21:17
嘴笨不会说话,背熟这十句能口头禅,走到哪都受人待见

嘴笨不会说话,背熟这十句能口头禅,走到哪都受人待见

闻心品阁
2026-10-24 08:29:14
一直以为的绝密配方原来是大道至简!网友:难怪炖不出店里那个味

一直以为的绝密配方原来是大道至简!网友:难怪炖不出店里那个味

夜深爱杂谈
2026-11-01 19:32:16
刘恺威好爸爸人设崩塌?刘丹意外曝光12岁小糯米独自英国留学!爸爸忙恋爱、妈妈拼事业

刘恺威好爸爸人设崩塌?刘丹意外曝光12岁小糯米独自英国留学!爸爸忙恋爱、妈妈拼事业

露珠聊影视
2026-11-08 18:55:04
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
历经两次侵害后女孩满心绝望奋力抵抗,第三次将剧毒涂抹在身上,最后当场毒死了侵害她的男子

历经两次侵害后女孩满心绝望奋力抵抗,第三次将剧毒涂抹在身上,最后当场毒死了侵害她的男子

唠叨说历史
2026-10-20 15:08:09
墨尔本47岁外卖骑手被捅死,只因车被当地homeless踹翻

墨尔本47岁外卖骑手被捅死,只因车被当地homeless踹翻

杭城村叔
2026-11-07 21:39:20
岳飞满江红原版重现天日,学者透露:大众所知的满江红第一句就被改过

岳飞满江红原版重现天日,学者透露:大众所知的满江红第一句就被改过

磊子讲史
2026-10-14 16:53:55
中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

中国新规落地,每一架飞机都要单独申请批准,全程都要接受管理…

福建睿平
2026-05-25 08:01:59
“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

熙熙说教
2026-11-05 14:45:22
1949年傅作义宣布起义前,放走了五名不愿跟随的部下将领;三十年后再回看,这五人最终命运各不相同,差距之大令人感慨

1949年傅作义宣布起义前,放走了五名不愿跟随的部下将领;三十年后再回看,这五人最终命运各不相同,差距之大令人感慨

人生录
2026-10-22 00:30:04
纪委倒查追责升级!在职退休一视同仁,5类红线绝不能触碰

纪委倒查追责升级!在职退休一视同仁,5类红线绝不能触碰

细说职场
2026-11-08 18:41:35
曼联4-4绝平维拉,两度崩盘两度续命,深陷降级区8轮不胜

曼联4-4绝平维拉,两度崩盘两度续命,深陷降级区8轮不胜

凉了时光人
2026-11-09 09:09:11
2026年医疗反腐风暴:普通医生的工资卡流水,也会被查吗?

2026年医疗反腐风暴:普通医生的工资卡流水,也会被查吗?

职场资深秘书
2026-11-08 23:38:09
曼联4-4绝平仍陷降级区,上下半场均落后两球扳平!卡里克否认辞职将留任战利物浦

曼联4-4绝平仍陷降级区,上下半场均落后两球扳平!卡里克否认辞职将留任战利物浦

罗米的曼联博客
2026-11-09 07:23:39
世体:卡西不满皇马青训,已经带两儿子离队

世体:卡西不满皇马青训,已经带两儿子离队

懂球帝
2026-11-08 16:59:11
零代价补强!湖人锁定完美替补中锋目标,弹跳怪兽完美适配东契奇

零代价补强!湖人锁定完美替补中锋目标,弹跳怪兽完美适配东契奇

钱说体育
2026-11-09 08:48:23
钱再多有什么用?结婚不到2年,萧敬腾就尝到了“姐弟恋”的苦涩

钱再多有什么用?结婚不到2年,萧敬腾就尝到了“姐弟恋”的苦涩

寻途
2026-11-09 07:10:26
印度留学生的“四个离谱要求”,把中国高校当自家客厅了?

印度留学生的“四个离谱要求”,把中国高校当自家客厅了?

步论天下事
2026-11-08 10:05:12
王思聪女友懒懒游欧洲,五套妆造全在审美点上,老外回头率200%

王思聪女友懒懒游欧洲,五套妆造全在审美点上,老外回头率200%

孤芳自赏的小李
2026-10-05 19:56:18
2026-11-09 09:36:49
东不压桥研究院 incentive-icons
东不压桥研究院
科技行业从业人士,全球化智库高级研究员(非常驻),科技政策和全球数字治理的长期观察者。
158文章数 27关注度
往期回顾 全部

科技要闻

马斯克:“中国太棒了,我爱中国”

头条要闻

菲外交部罕见批评本国官员涉华言论 或在敲打菲防长

头条要闻

菲外交部罕见批评本国官员涉华言论 或在敲打菲防长

体育要闻

见证奇迹!中超冠军属于大连

娱乐要闻

敬一丹女儿追忆母亲:她被世界铭记

财经要闻

一场由得州引发的股灾

汽车要闻

503.17km/h!中国超跑这次真把天花板捅穿了!

态度原创

数码
时尚
旅游
本地
亲子

数码要闻

AMD推出超低价AM5平台套装:锐龙7 7700X3D搭配B650主板和32GB DDR5内存仅售649美元

想和热巴成为双胞胎之我尽力了!

旅游要闻

山寺相依,守护历经千年的“对望”(解码·文化遗产系统性保护)

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

着床成功,身体会有什么反应?

无障碍浏览 进入关怀版