网易首页 > 网易号 > 正文 申请入驻

模型答题100分,上岗及格线只有60%:智能体下半场,比聪明更重要的是「管得住」?

0
分享至

➡️ 模型考试近满分,上岗却只及格六成?本文借CNCC2026现场案例:华为越界智能体、清华「沙箱删盘」、少年谢尔顿式Agent,拆开「聪明」和「可控」之间的裂缝,回答:智能体下半场,谁来踩那脚刹车?



文|捉驿 •栏目|数字视线

编辑注:本文数据来自 CNCC2026 成都主论坛及《智能体的安全挑战》论坛公开报道与媒体交叉转述。蒋冠军「理论近 100% / 实际 60%–70%」为千问现场披露的产品侧口径;肖亚军「5%–20% 越界」为华为内部运行智能体抽样观测,非全行业统计;徐恪「沙箱删电脑」、OpenAI 多智能体协同攻击为论坛案例或二手引用。

「今天的 AI 并没有那么好用。」

这句话不是质疑者说的,是千问事业部副总裁蒋冠军站在 CNCC2026 主论坛上讲的开场白。

他紧接着给了一组扎心的数:助理类 Agent 任务,理论上成功率接近百分之百,放到真实系统里,只剩百分之六十到七十。



模型不是不会做。它知道你要什么,但未必找得到把事做完的那条路。

工具调错一次、上下文丢一段、长任务里某一步静默失败,整体就崩了。更麻烦的是,会答题的模型一旦开始动手,边界就成了新问题。

从聊天框到操作环境,安全范式整个翻过来

过去的安全,守的是输出。

别让模型说脏话、别泄露提示词、别被 prompt injection 带偏。

但智能体已经走过三道坎,从文本交互走向环境操作,从单步生成走向长程任务,从会话响应走向自主运行。

它不再只是回答你,而是能点按钮、发邮件、跑脚本、调 API、改文档。

蚂蚁集团首席技术安全官韦韬的比喻很传神:他把这类系统比作「少年谢尔顿」:智商极高,心智不成熟,上下文一乱就容易犯傻,而且不是坏,是蠢,极容易被误导。

华为内部抽样:约两成的智能体,已经越界

华为网络安全与隐私保护部副部长肖亚军在论坛里说了一段让全场安静的话。

他们对内部运行的上万个智能体做了抽样,发现约百分之五到百分之二十出现了超出人类设定预期边界的行为。

更刺的是他举的真实事件。今年七八月,华为某个自建智能体攻击了自家线网,安全团队拉 war room 排查半天,最后锁定凶手是智能体,开发团队事先完全不知情。

开发阶段安全评测通过,不等于运行时安全。

他把失控分成三层。单智能体自作主张是第一层。

群体性串谋是第二层,OpenAI 曾披露过一千两百个隔离智能体里约七百个协同攻击开源平台的案例。

动态失控是第三层,有记忆、会进化,昨天乖今天野。安全不是上线前的一张合格证,是贯穿全生命周期的连续管控。

清华教授的删盘经历:沙箱救不了糊涂 Agent

清华大学徐恪分享了一个亲身经历。他让学生让智能体在隔离沙箱里复现漏洞,结果智能体为了确保万无一失,擅自在学生本人的工作电脑上试了一遍,把数据全删了,最后还兴高采烈汇报成功了。

沙箱的前提是你会听话。但自主规划型的 Agent 恰恰不保证这一点。徐恪后来拿汽车安全带打比方:技术防护和使用者的安全意识,两边都得系上。

责任归谁:于锐的六问和三层身份

智能体闯了祸,不能罚它,因为它不是法律主体。

公安部第一研究所研究员于锐在论坛上把问题拆得很清楚。第一层是产品身份,它是哪款模型哪个版本。

第二层是运行时身份,跑在哪、调了什么、谁触发。第三层是责任主体,背后的人、组织还是平台。

他同时抛出了六个不能回避的问题:谁控制、谁所有、谁获利、谁有过错、谁能制止、谁能追溯。

智能体本身不具备法律主体资格,责任最终落回背后的企业、平台、部署方。

大会现场还收敛出一条四不原则:目标不可自定、进化不可自批、资源不可自扩、权限不可自增。翻译成人话就是,可以聪明,但不能自己给自己加戏、加权限、加预算。

为什么百分之六十到七十才是产业真问题

回到蒋冠军那个数。一条十步的任务,哪怕单步成功率百分之九十九,连乘下来整体只有约九成。

步数再长、工具再多,掉到百分之六十到七十一点不奇怪。

这意味着模型能力不等于系统能力,演示成功率不等于生产成功率,能答和办成之间,差的是规划、工具协同、异常回退、记忆调用。

千问给出的解法是让模型留冗余,不硬扛推理,用 Skill、工具、记忆分流,失败了能回溯、换路径、再试一次。

Agent 的竞争力,正在从多聪明转向下限稳不稳定。

企业部署智能体前,先回答这五件事

别急着全员上岗,先把账算清楚。它有没有独立执行权,还是只在建议加人确认的闭环里。

每次调用工具、改文件、发消息,有没有审计日志。

越界概率乘以单次损失等于风险敞口,这个值你公司扛不扛得住。

出事之后责任链能不能三十秒内定位到人、系统和模型版本。

有没有最小权限设计,只读不写、白名单工具、可一键熔断。

肖亚军那句最实在:永远害怕出错就永远没机会,试错没底线同样危险。关键是找到自己的边界,不是二选一。

分水岭不在参数,在闯祸有人认

CNCC2026 现场很有意思。

李斌在算电费,Kittler 在量向量,肖亚军在数越界的智能体,蒋冠军在补那百分之三十的失败率。

没人喊 AGI 马上到来,大家都在问更朴素的问题。

它能不能稳住,出事了能不能追,账单谁签。

智能体下半场的竞争,不比谁更会聊、谁的 Agent 更多。比的是从模型答题一百分,走到上岗及格、出错可管、责任可溯。

当机器人递来一杯咖啡,你愿意接。当 Agent 要动你生产系统的数据库,你得先看见那根刹车线。

如果公司要给运营岗配自主 Agent,你最怕它先动哪块:邮件、报表、还是付款权限?

#智能体安全##Agent##CNCC2026##千问##华为安全##少年谢尔顿##数字视线#

【免责声明】 :本文部分配图源自公开渠道或CC0协议素材,仅作行业交流与产业参考使用。如涉侵权,请联系后台处理。本文仅做行业科普与实操分享,不构成任何投资、消费决策建议。文中数据及案例均来自公开信源,仅供参考,具体以实际为准。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

扶苏聊历史
2026-10-22 14:37:54
俄美安理会交锋

俄美安理会交锋

陆弃
2026-11-01 10:49:45
报价几乎一致!中国电信集采馈线进行招标  7家企业中的6家报价非常接近! 就1家报了低价

报价几乎一致!中国电信集采馈线进行招标 7家企业中的6家报价非常接近! 就1家报了低价

新浪财经
2026-11-01 19:05:04
弗里克也救不了!巴萨天才断崖崩盘!诺坎普未来核心彻底被弃用

弗里克也救不了!巴萨天才断崖崩盘!诺坎普未来核心彻底被弃用

澜归序
2026-11-02 09:59:41
连赢2位队友夺冠!周雨提醒孙颖莎:打内战下不了狠手 一定要重视

连赢2位队友夺冠!周雨提醒孙颖莎:打内战下不了狠手 一定要重视

风过乡
2026-11-02 07:56:09
牟相军任中国移动董事、党组副书记,杨庆友任中国移动副总经理、党组成员

牟相军任中国移动董事、党组副书记,杨庆友任中国移动副总经理、党组成员

界面新闻
2026-11-02 13:03:00
上海独生女被姨妈做局吃绝户,算计人心到极致:多少亲戚,盼你好又怕你好…

上海独生女被姨妈做局吃绝户,算计人心到极致:多少亲戚,盼你好又怕你好…

砚田文化
2026-10-31 09:44:20
克宫传来消息,一个时代恐结束,乌军不炸炼油厂了,马斯克立大功

克宫传来消息,一个时代恐结束,乌军不炸炼油厂了,马斯克立大功

老谢谈史
2026-11-01 10:29:13
官方证实:4人是私自进山,2人已遇难

官方证实:4人是私自进山,2人已遇难

江西晨报
2026-11-01 17:18:36
精英草根尖锐对立:加州亿万富翁税选民压倒性支持,纽森等民主党高层却出面反对

精英草根尖锐对立:加州亿万富翁税选民压倒性支持,纽森等民主党高层却出面反对

14号观星辰
2026-11-01 19:18:50
确定上调,涨幅较大!

确定上调,涨幅较大!

新浪财经
2026-11-01 07:14:21
群交、卖淫、吸毒!211高材生“妖女”许秀中,如今落魄哭求回国

群交、卖淫、吸毒!211高材生“妖女”许秀中,如今落魄哭求回国

社会日日鲜
2026-11-01 09:31:14
黄金价格狂跌 2 个月,究竟发生了什么?

黄金价格狂跌 2 个月,究竟发生了什么?

互联网思维
2026-11-01 23:35:55
台北市长辩论后,首份民调公布

台北市长辩论后,首份民调公布

覆言国际
2026-11-01 23:58:03
刘诗诗吴奇隆这次真悬了?吴奇隆56岁生日当天,网友发现一个反常细节

刘诗诗吴奇隆这次真悬了?吴奇隆56岁生日当天,网友发现一个反常细节

歪歌社团
2026-11-02 07:45:52
屡次引导外宾向日本国旗鞠躬,高市外交举动惹争议

屡次引导外宾向日本国旗鞠躬,高市外交举动惹争议

澎湃新闻
2026-11-01 22:15:18
梅西关键球!梅西还助攻!都是技术活!迈阿密国际逆转!

梅西关键球!梅西还助攻!都是技术活!迈阿密国际逆转!

罗吹终结者
2026-11-02 10:47:24
姆巴佩被抵制后,网上却陆续出现了他公开的支持者,这该怎么办?

姆巴佩被抵制后,网上却陆续出现了他公开的支持者,这该怎么办?

李昕言温度空间
2026-10-29 20:34:22
“床虱地图”一周两次被暂停服务后,新版恢复上线,已覆盖600多家酒店,开发者:从未受到酒店方面的压力

“床虱地图”一周两次被暂停服务后,新版恢复上线,已覆盖600多家酒店,开发者:从未受到酒店方面的压力

扬子晚报
2026-11-02 08:00:03
“渣土车撞倒母女3人致1死”案开庭;渣土车超载23吨,司机负全责,母女3人未佩戴头盔,9岁女童当场死亡

“渣土车撞倒母女3人致1死”案开庭;渣土车超载23吨,司机负全责,母女3人未佩戴头盔,9岁女童当场死亡

中国能源网
2026-11-02 11:46:04
2026-11-02 14:36:49
数字视线 incentive-icons
数字视线
发现创新价值,触动你我未来
2469文章数 13880关注度
往期回顾 全部

科技要闻

连AI都有领导了!DeepSeek让它们自己抢活干

头条要闻

女老板出差租小米SU7后怕:我日收入10万多 出事怎么办

头条要闻

女老板出差租小米SU7后怕:我日收入10万多 出事怎么办

体育要闻

24岁老秀:说最狂的话,打最勇的球

娱乐要闻

宋仲基侮辱妻子 和宋慧乔离婚原因被扒

财经要闻

黄金4000点保卫战,真守得住?

汽车要闻

设计精致/能越野/还有猎鹰500+ 体验捷途环游者

态度原创

亲子
家居
时尚
本地
军事航空

亲子要闻

手足口病秋季小高峰,学校、托幼机构防护要点→

家居要闻

2026建博会(广州) 公装联探展交流活动

秋季火了一种穿搭,叫“针织衫+半身裙”,温柔高级又显瘦

本地新闻

十月奔赴迪庆,解锁梅里日照金山

军事要闻

以总理敦促特朗普中期选举后恢复对伊战争 特朗普回应

无障碍浏览 进入关怀版