网易首页 > 网易号 > 正文 申请入驻

AI把东大一艘普通货船“升级”成高危目标,美方差点信了

0
分享至

AI最危险的,不是答错,
而是把错答案写得像真的

一份AI辅助生成的“专业报告”,如何从货单误判一路进入真实行动:真正的风险,不是模型会犯错,而是错误可以穿上权威外衣。


插图:本次事件不是AI独立“做决定”,而是错误先进入分析,再被包装成正式报告。

一、这次到底发生了什么:飞机已经升空,最后一刻才发现AI判错了

先把这件事说清楚。9月18日,CNN援引4名知情人士披露:今年春季,在中东局势高度紧张时,一份在美方军事体系内流转的情报报告称,一艘来自“东大”的货轮正在运送与某高敏感项目有关的关键部件。这个判断很快触发了拦截准备。两名消息人士称,相关人员已经准备登船;另有消息人士称,配合行动的飞机已经升空。

飞机已经升空,人员已经就位;真正的“刹车”,发生在行动前最后一轮复核。

这份报告怎么来的?按CNN的描述,一名特种作战体系分析员先把货单相关信息交给聊天机器人处理。模型将公开信息与内部信号情报混合后,错误识别了船上货物,并给出了一个高度危险的结论。CNN没有披露被误判的实际货物究竟是什么,因此这里也不替报道补空白。

更关键的是第二步:这名分析员随后又让AI把前面的判断整理成标准化情报报告。于是,AI第一次参与“判断”,第二次负责“包装”。一个未经充分核验的结论,就这样从聊天框变成了格式规范、措辞确定的正式材料,并沿着工作流继续向上流转。

直到行动即将开始前,更资深、熟悉相关领域的分析人员重新查看底层材料,才发现核心判断是AI“幻觉”,行动随即被叫停。CNN援引一名消息人士称,这份报告的关键结论“完全错误”;报道同时显示,相关机构当时未就此作公开回应。所以这次真正惊险的,不是“AI答错了一题”,而是错误只经过几步,就从原始材料走到了真实行动的门口。


图1|本次事件的关键链条:从货单信息,到AI误判,再到行动准备

二、AI最会制造的一种假象:专业感

人脑有一个很朴素的判断捷径:越像正式材料的东西,越容易被当成已经审核过的东西。聊天窗口里的一句话,我们会怀疑;有抬头、有编号、有“结论”“风险等级”“建议措施”的报告,人会下意识提高信任权重。

生成式AI偏偏特别擅长“专业感”。它能把一堆碎片信息写得层次分明,把不确定的事情写成肯定句,把互相矛盾的材料整理成一个看起来顺滑的故事。

美国国家标准与技术研究院(NIST)在生成式AI风险框架里把这种现象叫“confabulation”,中文常译作“幻觉”或“虚构”:模型可能生成错误内容,而且会非常自信地呈现。NIST还特意提醒,AI甚至可能把错误的引用、推理过程一起补齐,让人更容易相信它。

更麻烦的是,人并不总能抵抗这种“机器给出的确定感”。2024年发表在《Computers in Human Behavior》的一项实验发现,即使AI建议与现场信息相冲突,参与者仍会出现明显的过度依赖。换句话说,AI不需要永远正确,只要它多数时候好用,人就会慢慢把“核验”这一步省掉。

三、这种错误并不新鲜,只是代价越来越贵

过去几年,AI出错已经从“尴尬”一路走到了“要有人赔钱、有人担责”。

三个案例看上去毫无关系:一个是运输研判,一个是法律文件,一个是客服。它们的共同点却极其一致:AI的错误并没有停留在聊天框里,而是被人带进了真实流程。

四、“有人在环”为什么也不一定安全

很多企业会说:没关系,我们最后还有人工审核。

这句话听上去很稳,实际上只解决了一半问题。所谓“人类在环”,前提是这个人真的在审,而不是在点确认。

当AI连续几十次都没出错,人会形成惯性;当任务堆积、时间紧张、材料复杂,人更容易把AI当成一个“已经帮我看过一遍的同事”。这就是自动化偏见:机器给了一个答案,人会倾向于沿着它继续往下走,而不是从头重新检查。

甚至有研究发现,单纯加一个“人工确认”步骤,并不天然提高准确率。真正有效的是让审核者看到原始证据、保留质疑空间,并且知道自己要对最后结论负责。

所以,高风险场景里最危险的一句话往往不是“AI说这是对的”,而是“前面应该已经有人看过了”。

五、企业真正需要的,不是“少用AI”,而是三道闸

AI当然应该用。它在摘要、分类、检索、整理、翻译、初稿这些工作上,已经能省掉大量时间。问题在于:越接近不可逆决策,越不能把“生成”当成“验证”。


图2|高风险AI工作流的“三道闸”

第一道:来源闸。所有关键事实必须能回到原始材料。AI说“某文件提到”“某名单包含”“某货物属于”,必须一键看到原文。找不到原文,这句话只能算线索。

第二道:交叉闸。金额、合同、法规、医学结论、货物性质等高影响事实,至少用一个独立渠道复核。最忌讳的是:让同一个模型先做判断,再让它自己给判断找证据。

第三道:责任闸。凡是会触发对外付款、停运、封禁、重大风控、医疗处置等不可逆动作,都必须有明确的人签字负责。AI可以给意见,但不能成为责任的藏身处。

六、这可能是未来几年最常见的一类事故

过去大家担心AI“取代人”。现在看来,更现实的风险也许不是AI把人赶出办公室,而是AI坐在人旁边,替人把一个错误做得又快、又漂亮、又像真的。

它不会像电影里的机器人那样突然失控。它更可能以一种非常日常的方式出错:帮你总结一份材料,补全一个结论,生成一份报告,然后让所有人都觉得——这事已经有人认真看过了。

这才是生成式AI进入企业以后,最需要警惕的地方。

AI不会替你承担后果。它输出的是概率,人承担的却是真实世界的责任。

所以,未来真正优秀的组织,不是“AI用得最多”的组织,而是最早把一件事想明白的组织:什么可以交给AI提速,什么必须由人慢下来。

资料来源与增量信息

1. CNN,2026-09-18:援引4名知情人士披露本次AI辅助情报误判事件(经CNN Newsource转载页及CNN节目文字稿交叉核验) 打开来源

2. ZeroHedge,2026-09-18:本文所据二次报道之一;本文不沿用其地缘叙事,仅核对事件链条 打开来源

3. NIST:Artificial Intelligence Risk Management Framework — Generative AI Profile(2024,2026更新) 打开来源

4. Mata v. Avianca(2023):AI虚构判例导致法院制裁,罚款5000美元 打开来源

5. Moffatt v. Air Canada(2024):公司需对网站聊天机器人错误信息承担责任 打开来源

6. Klingbeil et al.(2024):Trust and reliance on AI,关于AI建议过度依赖的行为实验 打开来源

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
最佳论文:中国财政供养人员达6846万,占总人口4.85%

最佳论文:中国财政供养人员达6846万,占总人口4.85%

玛丽姬丝
2026-11-16 13:15:03
新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社
2026-11-16 09:01:02
疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

疑似用虾滑充当肿瘤?中南大学湘雅医院被爆出史诗级全AI论文

西虹市闲话
2026-11-16 18:42:42
原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

澎湃新闻
2026-11-16 09:20:27
美国媒体说黄仁勋疯了...

美国媒体说黄仁勋疯了...

新动察
2026-11-16 16:09:57
倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

倍诺达价格直降100万元!药企回应:定价经过深思熟虑,不存在“卖一针亏一针”的情况

红星新闻
2026-11-16 20:35:09
三天吃了20%跌幅:科技股现跌停潮不少股民爆仓!

三天吃了20%跌幅:科技股现跌停潮不少股民爆仓!

城事堂
2026-11-16 18:48:46
《奥特曼》女星,突然去世,年仅23岁

《奥特曼》女星,突然去世,年仅23岁

中国新闻周刊
2026-11-16 19:04:57
东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

东契奇43+3+9无缘今日最佳!对不起,你碰到创纪录的阿门了

微评体育圈
2026-11-16 12:41:43
大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

大反转!黄仁勋准备杀回英伟达,谁说的短剧节奏太快脱离现实,今天开始认真学习红果

起点财经
2026-11-16 11:37:48
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-16 16:13:14
“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

“乡村田地停放两架废弃飞机9年”调查:企业买飞机改造为住宿餐厅早已停业 镇政府回应土地属非基本农田

红星新闻
2026-11-16 18:07:10
西甲向总台澄清,涉亚马尔种族歧视内容系伪造

西甲向总台澄清,涉亚马尔种族歧视内容系伪造

上观新闻
2026-11-16 19:58:57
4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

4岁藏族小女孩牵着高反女游客找氧气:“别哭了,哭的话会越来越缺氧”

一丝不苟的法律人
2026-11-15 17:01:02
突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

突发!英特尔陈立武被起诉!四大芯片公司华人CEO,要被逐个清算?

起点财经
2026-11-16 15:41:03
网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

网友翻出黄仁勋18年前探望四川地震灾区孩子的照片

3DM游戏
2026-11-15 19:51:38
深圳,准备好了!APEC盛会开幕进入倒计时

深圳,准备好了!APEC盛会开幕进入倒计时

新民晚报
2026-11-16 20:09:22
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

挥泪斩马谡!曼联驱逐“顶薪大核”,签约顶星!两强援闪电加盟

头狼追球
2026-11-16 17:53:47
2026-11-16 21:12:49
大曦财经
大曦财经
守正出奇,传递价值
2170文章数 3857关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
教育
时尚
家居
游戏

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

家居要闻

2026建博会(广州) 公装联探展交流活动

传《GTA6》主线约50个小时 全成就大约200个小时

无障碍浏览 进入关怀版