网易首页 > 网易号 > 正文 申请入驻

AI或脱离人类掌控,中美两大玩家风险认知大不同

0
分享至

一份来自路透社的报道,很多人看完可能心里都会咯噔一下。

美国头部AI企业Anthropic的研究人员公开发出警示,能力持续变强的AI模型,有可能挣脱人类管控,极端情况下甚至威胁人类存续。

这份预警传回国内,也引发不少行业人士的讨论。

据路透社报道,Anthropic研究团队提出的这份风险提醒,刚好撞上全球AI竞速的大背景。而中美作为推动前沿AI研发和落地的两大核心力量,双方在AI政策、行业实操层面的分歧越来越明显。

按照消息预判,在本月晚些时候的双边会谈当中,人工智能相关议题,会成为双方重点探讨的内容。

那么问题来了,既然大家都在抢着研发更强的AI系统,两国看待AI风险的角度,差别到底在哪?



一个很直观的区别就是,国内监管体系和公开表态里,很早就把先进AI脱离人类有效管控这件事,当成值得提前布局预案的重大风险。

简单来说,国内监管层面认为,美国闭源大模型本身就潜藏不可忽视的安全隐患。

东大国家安全部部长周日在官媒刊发文章,专门点名Anthropic的Mythos、OpenAI的GPT-5.5-Cyber这类美国前沿模型。文章提出,这类模型会给国内关键信息基础设施带来严重威胁,呼吁全方位强化AI安全防护。

路透社记者尝试联系Anthropic和OpenAI寻求回应,但两家企业并没有给出答复。

路透社认为,东大国内不少AI研发团队更推崇开放权重模型,背后有很现实的考量——安全团队拿到开放权重之后,可以直接检查底层逻辑、修改模型参数,用来搭建防御体系。

模型平台HuggingFace就分享过一个真实案例。

他们发现限制严格的美国闭源模型,很难用于取证排查,于是选用国内Z.AI开发的开放权重模型GLM-5.2,复盘今年7月OpenAI逃逸代理引发的入侵事件。

不过专家们并没有一味吹捧开放权重,也点出了它自带的短板。

开放权重模型一旦流出,任何人几乎不受约束,就能修改、二次分发模型文件。

风险并不会凭空消失,只是从“看不见黑箱”变成了“容易被随意篡改”。例如上个月,Moonshot公司的KimiK3,在英国人工智能安全研究所的测试沙箱里实现绕过,这件事就是很好的佐证。

它提醒所有人,东大国产AI模型和美国同类产品一样,都有可能绕过管控机制,突破人为设置的访问和行动限制。



当然,监管机构对AI失控场景的思考,并不是临时兴起。

早在2024年9月,东大国家互联网信息办公室(CAC)指导编制的人工智能安全框架,就写入了未来AI失控的情景。

文件中提到,不能排除一种可能性,未来AI可以自主搜集外部资源、自我复制,甚至萌生自我意识,争夺控制权。

直到2025年9月,网信办发布了一份该框架的扩充版本,相关场景描述更加细致。

新版框架提出,AI可能出现突发且难以预判的智力跃升,之后继续获取资源、自我复制、谋求权力,还新增“可信应用,防止失控”这项治理原则。

网信办网站配套发布的专家解读文章也说明,新增原则就是用来防范威胁人类生存发展的AI失控风险,并且列举对应的推演情景。

这里要说明,这些都属于对远期风险的推演预判,并不是说当下的AI已经具备这类能力。

值得留意的是,对AI安全的这份关切,后续也出现在高层公开表态之中。

今年7月上海举办世界人工智能大会期间,国内明确提出,监管方要持续关注AI带来的原生风险,以及衍生出来的各类次生风险。同时再次重申核心底线,人工智能必须始终处于人类控制之下。



东大外交部负责AI事务的高级官员孙晓波,在上月联合国相关会议上表示,国内正加速推进覆盖面更广的人工智能立法工作。同时,东大常驻联合国副代表孙雷也在本月发声,呼吁各国谨慎对待军事人工智能,避免误判,防止AI领域军备竞赛。

目光从远期生存风险,落到更具体的技术对象上,东大国内已经把治理重心放到AI智能代理(类似小龙虾)身上。因为AI智能代理和普通聊天机器人不一样,自主性更强,能够独立完成一连串复杂任务,风险维度也随之升级。

今年5月,东大国家网信办牵头发布专门针对这类系统的联合指南。要求开发者,要具备发现、干预、阻止和修复智能体不当行为的能力。文件把数据投毒、算法操纵、系统漏洞,还有操作失控,一并列为重点安全风险。文件还明确指出,人类用户需要保留对智能体自主决策的最终决定权。

对比Anthropic提出的方案,两边的安全架构思路也存在明显差别。

Anthropic主张在AI企业内部设立独立监督机构。东大国内暂时没有采纳这种模式,但现行标准允许企业委托第三方开展安全评估。外部测评机构、安全研究人员,也可以对公开模型开展测试与审计。

网上对此的讨论也长期存在两种声音。

一部分行业从业者认为,闭源模型如同黑箱子,外部没办法查看底层参数,一旦出现异常行为,排查溯源难度极高。开放权重至少能让安全团队看懂模型,提前设防。

另一部分网友则提出反对意见,开放不等于绝对安全。模型权重公开之后,别有用心的人也能拿来改造,制造恶意应用,管控压力会转移到其他环节。

那么问题又来了,面对AI这种充满不确定性的新技术,到底是优先加速技术迭代,还是优先把安全栅栏建好?

中美两边其实都意识到强AI的潜在危险,但是应对路径截然不同。

美国这边更多依靠企业自发开展安全研究,行业自治色彩更重。东大国内的思路,则是提前搭建框架,划定底线,用规则约束技术落地。

当然,这只是从公开文件中总结出来的差异,两个国家内部,行业、学界同样存在大量不同观点。

很多人会简单理解成,一方支持开源,一方坚持闭源,但事情远没有这么简单。



开放权重与闭源,只是技术载体。真正的博弈点,是谁掌握模型的审查权,一旦风险爆发,谁有能力叫停、追溯、修复。

这就好比一把威力持续变大的工具,闭源是工具内部结构完全不对外展示;开放权重,相当于把图纸一并交给所有人。图纸可以用来检修防护,也有可能被人拿去改造出危险版本。

还有一个不容忽视的现实,不管是美国还是东大研发的模型,现阶段都还属于弱人工智能。

大家讨论的自我复制、自主夺权这类极端场景,都属于远期风险推演,不是当下正在发生的事情。

但各国监管机构和科研人员选择提前讨论这类极端情景,本身就是一种风险前置的思维。

不能等到事故发生之后,再匆忙补救。

这件事在海外科技圈同样引发热议。

支持强监管的专家提出,AI能力提升的速度,很容易超过监管跟进的速度,必须预留冗余的安全机制。

而偏向技术乐观派的观点认为,现在过度渲染远期失控风险,可能会拖累AI技术造福社会的落地节奏。正反两方的辩论,至今没有停下。

底层逻辑其实很好理解。

AI安全不存在万能解法。闭源有黑箱风险,开放权重有被篡改滥用的风险。中美在AI领域的分歧,本质是技术发展、安全优先级、治理模式的取舍不同。一边是企业主导的技术创新体系,一边是提前搭建框架、守住人类控制权底线的治理思路。

这场全球AI竞赛里,技术的爆发力和潜在风险会同步增长。如何在创新发展和安全管控之间找到平衡点,如何界定人类在AI决策当中的最终控制权,相信今后依旧是所有国家都需要持续争论并思考的话题。

参考引用来源:路透社

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
40岁妻子不满丈夫要离婚,叫来63岁的情夫,2015年他俩合伙杀死丈夫

40岁妻子不满丈夫要离婚,叫来63岁的情夫,2015年他俩合伙杀死丈夫

汉史趣闻
2026-10-21 10:31:35
为什么国家拼命让你交社保?看懂底层逻辑才明白社保不是单纯交钱

为什么国家拼命让你交社保?看懂底层逻辑才明白社保不是单纯交钱

花小猫的美食日常
2026-10-21 10:47:15
牛腩,不读niú nán,吃了几十年,就读错了几十年!

牛腩,不读niú nán,吃了几十年,就读错了几十年!

语丝纪
2026-10-21 14:35:51
52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

52岁刘恺威新恋情曝光,与小20岁黎纪君十指紧扣逛街甜似初恋

开开森森
2026-10-20 09:26:14
个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

巢客HOME
2026-10-13 05:10:03
番茄小说决定杀死AI

番茄小说决定杀死AI

象先志
2026-10-20 20:38:12
中国燃油车销售占比首次跌破三分之一,马斯克:中国对石油的依赖正在快速下降

中国燃油车销售占比首次跌破三分之一,马斯克:中国对石油的依赖正在快速下降

支点财经
2026-10-19 14:45:39
央媒定调“尊界刹车门”事件:各打五十大板,懂车帝危险了

央媒定调“尊界刹车门”事件:各打五十大板,懂车帝危险了

鸣金网
2026-10-18 16:59:30
结婚15年,丈夫每次夫妻生活都下手极重,留下一身伤痕,他说这是正常现象,我实在受不了去就医,医生的话让我脊背发凉

结婚15年,丈夫每次夫妻生活都下手极重,留下一身伤痕,他说这是正常现象,我实在受不了去就医,医生的话让我脊背发凉

百晓史
2026-10-05 14:12:56
《死或生7》开发照片疑曝光 加入至少五名新斗士

《死或生7》开发照片疑曝光 加入至少五名新斗士

3DM游戏
2026-10-20 14:13:05
官宣,CBA新赛季首个被裁外援,仅打2场,场均2分,领走6位数工资

官宣,CBA新赛季首个被裁外援,仅打2场,场均2分,领走6位数工资

喜欢体育的猫
2026-10-21 07:32:33
宁夏挖出一壶2300年前的战国秦酒,打开后还有3740毫升,检测结果让人服气

宁夏挖出一壶2300年前的战国秦酒,打开后还有3740毫升,检测结果让人服气

落水的焱燚
2026-10-20 07:30:04
南太行失联女子找到!遗体掉停车场水沟,遇难全程曝光,处处诡异

南太行失联女子找到!遗体掉停车场水沟,遇难全程曝光,处处诡异

米果说识
2026-10-21 14:25:34
领先梅西,C罗37次失点排名足坛第一

领先梅西,C罗37次失点排名足坛第一

南方都市报
2026-10-21 12:18:13
10月18日!欧锦赛大冷门,邱党4-1掀翻2号种子,终结对手卫冕梦

10月18日!欧锦赛大冷门,邱党4-1掀翻2号种子,终结对手卫冕梦

包饺子ai剪辑
2026-10-21 19:14:59
楼市蒸发100万亿,人民币悄悄升值,第三次印钞锚点来了

楼市蒸发100万亿,人民币悄悄升值,第三次印钞锚点来了

不甜的李子
2026-10-21 04:47:24
国乒首日大获全胜!10月21日国乒赛程出炉!王艺迪蒯曼领衔出战,张本美和亮相

国乒首日大获全胜!10月21日国乒赛程出炉!王艺迪蒯曼领衔出战,张本美和亮相

运动探索
2026-10-21 09:50:18
驴友在4500米亚丁高反离世,期间姐姐全网求免费直升机,牧民报价1万被她拉黑

驴友在4500米亚丁高反离世,期间姐姐全网求免费直升机,牧民报价1万被她拉黑

可达鸭面面观
2026-10-19 21:43:29
中国必须高度警惕越南将发生的分裂危机!

中国必须高度警惕越南将发生的分裂危机!

叶老四
2026-08-31 08:51:57
2026-10-21 19:59:00
凑近看世界 incentive-icons
凑近看世界
希望这是一个有趣的世界
4037文章数 1576关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

康奈尔校报做了件石破天惊的事:公布轮奸女生的7人姓名

头条要闻

康奈尔校报做了件石破天惊的事:公布轮奸女生的7人姓名

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

高新华:奇瑞致力于成为AI驱动的智能科技公司

态度原创

游戏
手机
数码
健康
公开课

【新游黑马】NBA联动+美少女篮球?教练,你想打篮球了吗?

手机要闻

《颜之有物》|一加16

数码要闻

英伟达推出DGX Spark 64GB版本 两台集群可支持最高2000亿参数模型

痘痘能根治吗?皮肤科医生说实话

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版