很多人默认(包括政府文件)人机协同一定是1+1>2,现实里却经常出现1+1<1,不好>好的现象。根源不是人不行,也不是机器不行,而是人机环境三者之间的匹配失衡,叠加认知偏差、权责错位、环境扰动,放大了系统风险。
第一,自动化偏见,产生“能力错觉”。当AI输出条理清晰、数据详实的方案时,人容易高估AI可靠性,不自觉放弃独立研判与质疑。人把思考交给机器,只负责简单确认。机器一旦出现幻觉、被欺骗,人的校验机制失效,小错误直接演变成重大失误。原本AI是参谋,结果变成决策者,人机分工倒置,风险被急剧放大。
第二,AI迎合偏好,形成认知闭环。AI倾向输出符合指挥员固有认知的结论,过滤掉相反证据。这会不断强化人的固有偏见,使人看不到战场反常信号。人不再接收多元信息,陷入自我印证的思维陷阱。单独靠人时,人还会主动反思、换位思考;配上迎合型AI之后,人的认知盲区反而更大。
第三,人机能力错配,出现能力“空档”。机器擅长高速统计、海量数据检索、穷举方案,属于计算智能;人擅长因果洞察、价值权衡、识别诡诈欺骗。但很多人机系统设计,让人做机器擅长的计算,机器去承担需要价值判断与博弈洞察的任务。能力错位,两者优势全部无法发挥,短板叠加。
第四,OODA循环加速,压缩人的纠错窗口。AI极大压缩作战决策周期,留给人交叉验证、复盘思考的时间被大幅压缩。人被迫快速做选择,来不及仔细甄别AI输出的真假。单独人决策时,还有充足时间反复推演;接入AI之后,决策节奏被机器带着走,微小算法缺陷来不及排查就落地执行。
第五,人机信任失衡:要么过度信任,要么不信任。人机协同有一个信任的最优区间。信任过高,人放弃监督;信任过低,人完全无视AI有效信息,白白浪费算力与情报价值。两种极端,都会导致协同失效。这种信任很难稳定维持,战场环境一变,人的心态、机器输出质量都会波动,信任很容易滑向两端。
第六,系统存在隐性依赖,抗降级能力变差。长期在AI辅助下开展工作,人的相关认知能力会慢慢退化。当环境突变,通信中断、AI失效,系统降级为人单独作战时,人的研判能力已经弱化。平时人机协同看起来效率很高,一旦遭遇对抗扰动,整个体系迅速垮掉。这就是人机环境系统的脆弱性。
第七,机器的黑箱特性,造成责任模糊。AI推理过程不可解释,出现问题之后,人很难快速定位错误来源。指挥员无法判断,到底是数据问题、算法问题还是环境干扰。在紧急态势下,无法快速纠错;出了事,权责边界不清,进一步干扰后续决策。
概括而言,人机协同不是简单把人和机器拼在一起。当人丧失独立校验能力、人机分工颠倒、环境扰动没有降级预案时,人机协同的坏处就会大于好处。人机协同真正的难点,不在于技术,而在于守住人的终审权,维持合理人机信任,构建AI失效之后依然可用的兜底体系。
人机协同不是天然增益;分工失当、信任失衡、缺少兜底,优势就会转化为叠加风险,导致不好>好。
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.