网易首页 > 网易号 > 正文 申请入驻

AI或脱离人类掌控,中美两大玩家风险认知大不同

0
分享至

一份来自路透社的报道,很多人看完可能心里都会咯噔一下。

美国头部AI企业Anthropic的研究人员公开发出警示,能力持续变强的AI模型,有可能挣脱人类管控,极端情况下甚至威胁人类存续。

这份预警传回国内,也引发不少行业人士的讨论。

据路透社报道,Anthropic研究团队提出的这份风险提醒,刚好撞上全球AI竞速的大背景。而中美作为推动前沿AI研发和落地的两大核心力量,双方在AI政策、行业实操层面的分歧越来越明显。

按照消息预判,在本月晚些时候的双边会谈当中,人工智能相关议题,会成为双方重点探讨的内容。

那么问题来了,既然大家都在抢着研发更强的AI系统,两国看待AI风险的角度,差别到底在哪?



一个很直观的区别就是,国内监管体系和公开表态里,很早就把先进AI脱离人类有效管控这件事,当成值得提前布局预案的重大风险。

简单来说,国内监管层面认为,美国闭源大模型本身就潜藏不可忽视的安全隐患。

东大国家安全部部长周日在官媒刊发文章,专门点名Anthropic的Mythos、OpenAI的GPT-5.5-Cyber这类美国前沿模型。文章提出,这类模型会给国内关键信息基础设施带来严重威胁,呼吁全方位强化AI安全防护。

路透社记者尝试联系Anthropic和OpenAI寻求回应,但两家企业并没有给出答复。

路透社认为,东大国内不少AI研发团队更推崇开放权重模型,背后有很现实的考量——安全团队拿到开放权重之后,可以直接检查底层逻辑、修改模型参数,用来搭建防御体系。

模型平台HuggingFace就分享过一个真实案例。

他们发现限制严格的美国闭源模型,很难用于取证排查,于是选用国内Z.AI开发的开放权重模型GLM-5.2,复盘今年7月OpenAI逃逸代理引发的入侵事件。

不过专家们并没有一味吹捧开放权重,也点出了它自带的短板。

开放权重模型一旦流出,任何人几乎不受约束,就能修改、二次分发模型文件。

风险并不会凭空消失,只是从“看不见黑箱”变成了“容易被随意篡改”。例如上个月,Moonshot公司的KimiK3,在英国人工智能安全研究所的测试沙箱里实现绕过,这件事就是很好的佐证。

它提醒所有人,东大国产AI模型和美国同类产品一样,都有可能绕过管控机制,突破人为设置的访问和行动限制。



当然,监管机构对AI失控场景的思考,并不是临时兴起。

早在2024年9月,东大国家互联网信息办公室(CAC)指导编制的人工智能安全框架,就写入了未来AI失控的情景。

文件中提到,不能排除一种可能性,未来AI可以自主搜集外部资源、自我复制,甚至萌生自我意识,争夺控制权。

直到2025年9月,网信办发布了一份该框架的扩充版本,相关场景描述更加细致。

新版框架提出,AI可能出现突发且难以预判的智力跃升,之后继续获取资源、自我复制、谋求权力,还新增“可信应用,防止失控”这项治理原则。

网信办网站配套发布的专家解读文章也说明,新增原则就是用来防范威胁人类生存发展的AI失控风险,并且列举对应的推演情景。

这里要说明,这些都属于对远期风险的推演预判,并不是说当下的AI已经具备这类能力。

值得留意的是,对AI安全的这份关切,后续也出现在高层公开表态之中。

今年7月上海举办世界人工智能大会期间,国内明确提出,监管方要持续关注AI带来的原生风险,以及衍生出来的各类次生风险。同时再次重申核心底线,人工智能必须始终处于人类控制之下。



东大外交部负责AI事务的高级官员孙晓波,在上月联合国相关会议上表示,国内正加速推进覆盖面更广的人工智能立法工作。同时,东大常驻联合国副代表孙雷也在本月发声,呼吁各国谨慎对待军事人工智能,避免误判,防止AI领域军备竞赛。

目光从远期生存风险,落到更具体的技术对象上,东大国内已经把治理重心放到AI智能代理(类似小龙虾)身上。因为AI智能代理和普通聊天机器人不一样,自主性更强,能够独立完成一连串复杂任务,风险维度也随之升级。

今年5月,东大国家网信办牵头发布专门针对这类系统的联合指南。要求开发者,要具备发现、干预、阻止和修复智能体不当行为的能力。文件把数据投毒、算法操纵、系统漏洞,还有操作失控,一并列为重点安全风险。文件还明确指出,人类用户需要保留对智能体自主决策的最终决定权。

对比Anthropic提出的方案,两边的安全架构思路也存在明显差别。

Anthropic主张在AI企业内部设立独立监督机构。东大国内暂时没有采纳这种模式,但现行标准允许企业委托第三方开展安全评估。外部测评机构、安全研究人员,也可以对公开模型开展测试与审计。

网上对此的讨论也长期存在两种声音。

一部分行业从业者认为,闭源模型如同黑箱子,外部没办法查看底层参数,一旦出现异常行为,排查溯源难度极高。开放权重至少能让安全团队看懂模型,提前设防。

另一部分网友则提出反对意见,开放不等于绝对安全。模型权重公开之后,别有用心的人也能拿来改造,制造恶意应用,管控压力会转移到其他环节。

那么问题又来了,面对AI这种充满不确定性的新技术,到底是优先加速技术迭代,还是优先把安全栅栏建好?

中美两边其实都意识到强AI的潜在危险,但是应对路径截然不同。

美国这边更多依靠企业自发开展安全研究,行业自治色彩更重。东大国内的思路,则是提前搭建框架,划定底线,用规则约束技术落地。

当然,这只是从公开文件中总结出来的差异,两个国家内部,行业、学界同样存在大量不同观点。

很多人会简单理解成,一方支持开源,一方坚持闭源,但事情远没有这么简单。



开放权重与闭源,只是技术载体。真正的博弈点,是谁掌握模型的审查权,一旦风险爆发,谁有能力叫停、追溯、修复。

这就好比一把威力持续变大的工具,闭源是工具内部结构完全不对外展示;开放权重,相当于把图纸一并交给所有人。图纸可以用来检修防护,也有可能被人拿去改造出危险版本。

还有一个不容忽视的现实,不管是美国还是东大研发的模型,现阶段都还属于弱人工智能。

大家讨论的自我复制、自主夺权这类极端场景,都属于远期风险推演,不是当下正在发生的事情。

但各国监管机构和科研人员选择提前讨论这类极端情景,本身就是一种风险前置的思维。

不能等到事故发生之后,再匆忙补救。

这件事在海外科技圈同样引发热议。

支持强监管的专家提出,AI能力提升的速度,很容易超过监管跟进的速度,必须预留冗余的安全机制。

而偏向技术乐观派的观点认为,现在过度渲染远期失控风险,可能会拖累AI技术造福社会的落地节奏。正反两方的辩论,至今没有停下。

底层逻辑其实很好理解。

AI安全不存在万能解法。闭源有黑箱风险,开放权重有被篡改滥用的风险。中美在AI领域的分歧,本质是技术发展、安全优先级、治理模式的取舍不同。一边是企业主导的技术创新体系,一边是提前搭建框架、守住人类控制权底线的治理思路。

这场全球AI竞赛里,技术的爆发力和潜在风险会同步增长。如何在创新发展和安全管控之间找到平衡点,如何界定人类在AI决策当中的最终控制权,相信今后依旧是所有国家都需要持续争论并思考的话题。

参考引用来源:路透社

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
截止第28轮!中超下半程拿分最多三球队 成都夺冠点就遇到海港、 天津

截止第28轮!中超下半程拿分最多三球队 成都夺冠点就遇到海港、 天津

80后体育大蜀黍
2026-10-21 19:37:43
山东省中鲁远洋渔业股份有限公司总经理王欢接受监察调查

山东省中鲁远洋渔业股份有限公司总经理王欢接受监察调查

界面新闻
2026-10-21 16:15:01
盖克因《高山下的花环》走红,与罗瑞卿之子相恋后分手,1985年嫁华侨远赴美国

盖克因《高山下的花环》走红,与罗瑞卿之子相恋后分手,1985年嫁华侨远赴美国

磊子讲史
2026-10-14 14:42:21
iOS 27.2下周发布!苹果将为国内用户带来两个新设置

iOS 27.2下周发布!苹果将为国内用户带来两个新设置

科技兽
2026-10-20 22:59:00
最新癌症排行榜发布,肺癌断崖式位居榜首,三大结节好发部位居前列

最新癌症排行榜发布,肺癌断崖式位居榜首,三大结节好发部位居前列

呼吸科大夫胡洋
2026-10-21 17:01:21
iPhone Duo 解禁,界面终于曝光

iPhone Duo 解禁,界面终于曝光

果粉俱乐部
2026-10-21 14:03:25
谢霆锋低调打卡江西土菜馆,老板激动一夜未睡

谢霆锋低调打卡江西土菜馆,老板激动一夜未睡

大中国
2026-10-20 16:11:16
3分钟2犯!揭幕战直接开摆,尼克斯发生内讧,不给续约就别想卫冕

3分钟2犯!揭幕战直接开摆,尼克斯发生内讧,不给续约就别想卫冕

你的篮球频道
2026-10-21 10:17:11
梅西连续三季助攻15+,美职联历史首人

梅西连续三季助攻15+,美职联历史首人

老夏聊球
2026-10-21 22:16:38
今天北京下了一天大雨,我在这450元的出租屋里躺了一天了

今天北京下了一天大雨,我在这450元的出租屋里躺了一天了

花小猫的美食日常
2026-10-21 04:35:56
41岁台湾女星官宣怀孕,曾做试管婴儿失败,没想过高龄会自然怀孕

41岁台湾女星官宣怀孕,曾做试管婴儿失败,没想过高龄会自然怀孕

暖心萌阿菇凉
2026-10-20 21:54:47
公务员一旦坐牢,退休金会全部清零吗?答案颠覆认知

公务员一旦坐牢,退休金会全部清零吗?答案颠覆认知

白浅娱乐聊
2026-10-19 03:29:54
喜讯!U23国脚王牌身披英冠U21梯队十号核心战袍亮相,值得期待

喜讯!U23国脚王牌身披英冠U21梯队十号核心战袍亮相,值得期待

振刚说足球
2026-10-21 08:38:45
网友扎堆称“去漯河看极光”?当地文旅局回应:本地没有极光,但夜色灯光很漂亮,好吃的好玩的也很多

网友扎堆称“去漯河看极光”?当地文旅局回应:本地没有极光,但夜色灯光很漂亮,好吃的好玩的也很多

极目新闻
2026-10-19 15:20:23
中日若开战,将是地狱模式!全球终于清醒了:中国这次不是在演戏

中日若开战,将是地狱模式!全球终于清醒了:中国这次不是在演戏

叶葉夜
2026-08-31 11:23:21
苹果iPhone Air价格跌破5000元 官方标价为8799元

苹果iPhone Air价格跌破5000元 官方标价为8799元

CNMO科技
2026-10-21 14:31:50
台大陆生因发布网络错位照片被驱逐出境,国台办:坚决反对民进党当局肆意侵害在台陆生权益

台大陆生因发布网络错位照片被驱逐出境,国台办:坚决反对民进党当局肆意侵害在台陆生权益

环球网资讯
2026-10-21 13:06:13
多氟多:前三季度净利润5.92亿元 同比增长658.72%

多氟多:前三季度净利润5.92亿元 同比增长658.72%

证券时报
2026-10-21 17:38:02
倪妮穿睡衣爬树摘柿子,素颜出镜惊呆网友

倪妮穿睡衣爬树摘柿子,素颜出镜惊呆网友

娱乐追光侠
2026-10-21 13:28:06
为什么DeepSeek开源操作会让AI大厂集体焦虑?

为什么DeepSeek开源操作会让AI大厂集体焦虑?

小眼睛小世界
2026-10-21 04:18:32
2026-10-21 22:51:00
凑近看世界 incentive-icons
凑近看世界
希望这是一个有趣的世界
4037文章数 1576关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天纪录披露

头条要闻

21岁男子稻城亚丁高反死亡 其姐与报警人聊天纪录披露

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

昔日彩电一哥缘何在今天被挤下牌桌?

汽车要闻

智驾摩尔定律一年十倍跃升 2028迎来L4拐点

态度原创

房产
时尚
教育
亲子
旅游

房产要闻

J&P 集团亮相 2026 中国品牌出海博览会| 深耕跨境20载,品牌出海有J&P

50岁的马伊琍,迎来了最佳赏味期

教育要闻

“复读6年的体育生,还跑得动吗?”陪读母亲执迷不悔,网友恨铁不成钢

亲子要闻

深度长文:放下就哭,一抱起来走就不哭,婴儿到底在配合谁?

旅游要闻

进博会前夕韩国忠清圈来沪推介旅游资源 沪韩业界共话合作新机遇

无障碍浏览 进入关怀版