当机器不害怕坐牢：AI 正在拆掉企业最后一道「隐形安全边界」

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs，原文标题：《当机器不害怕坐牢：AI 正在拆掉企业最后一道「隐形安全边界」》

在几乎所有企业的安全架构图上，都找不到这样一道防线。它不是防火墙，不是IAM，不是审批流，也不是审计系统。它没有厂商，没有采购预算，没有SLA，甚至没有一个正式的名字。

但它一直在工作。它是人对后果的感知。

一个财务人员知道，错误地转出几千万元意味着什么；一个运维工程师知道，删除生产数据库之后的那个下午会如何度过；一个交易员知道，绕过风控限额不只可能失去工作，还可能失去从业资格。这种对职业、声誉、组织纪律与法律责任的感知，会在真正按下按钮之前形成一层天然摩擦。人会犹豫，会反复确认，会觉得"哪里不对劲"，会为了一个数字重新打一通电话，也会在某些时刻因为清楚地预见到后果而拒绝执行。

过去几十年，企业IT从未把这些心理因素写进安全设计文档。它们不可度量、不可配置、不可审计，因此也从未被当作正式的安全组件。但它们真实存在，并且悄悄承担了系统最后一段安全性。

AI Agent的进入，正在改写这个前提。机器可以拥有身份、权限和工具，却不会害怕失去工作，不会担心职业生涯，也不会因为明天可能面对一场调查而在执行前多停留三秒。

问题从来不是AI"胆子更大"。真正的问题是：

企业正在把原本只交给"知道后果的人"的执行能力，逐渐交给一个根本不存在"后果感知"的主体。

这可能是AI从辅助工具走向自主执行之后，最容易被忽略的一次安全结构变化。

一、过去的企业安全，其实一直默认"最后执行的是人"

今天企业里绝大多数安全基础设施，本质上都在回答几个经典问题：你是谁，你能访问什么，你拥有哪些权限，谁批准了这件事，以及出事之后能不能追溯。围绕这几个问题，企业逐步建立起IAM、RBAC、PAM、审批流、日志、SIEM、审计与合规的完整体系。

这些机制非常重要，但它们背后长期存在一个从未被明确写出的假设：最终使用这些权限的，是一个能够理解行动后果的人。

权限体系解决的是资格问题，某个人有没有进入系统的身份；审批体系解决的是流程问题，某个动作有没有获得组织允许；审计体系解决的是回溯问题，事后能不能还原发生了什么。三者叠加起来看似严密，但它们共同回避了一件事：当现实真正被改变的那一刻，仍然有一个人坐在终端前。

而这个人不只是一个Credential Holder。他同时还是一个会承担后果的社会主体。

于是人类操作员实际上长期扮演着两个角色。一个是系统内部的身份主体，另一个是现实世界中的责任主体。这两个角色高度重叠，重叠到我们几乎从未意识到它们本来就不是一回事。员工用自己的账号转账，他知道这个账号指向自己；工程师执行生产命令，他知道日志最终会找到自己；主管批准一项操作，他知道自己的名字会留在审批记录里。法律、组织纪律、职业风险与人的直觉，就这样在系统之外织成了一层约束。它难以量化，却始终生效。

真正的隐患在于，当身份主体与责任主体开始分离，这一层约束不会随着权限一起被迁移过去。

二、AI带来的真正变化，不是"机器变坏"，而是责任主体与执行主体开始分离

这也是为什么把AI风险简单理解成"AI会不会产生恶意"，很容易错过问题的核心。

一个Agent完全可能没有任何恶意，甚至严格按照任务目标工作，问题依然会发生。它可能错误理解上下文，可能调用了错误的工具，可能使用了一段已经过期的状态，可能把审批对象与最终执行对象错误绑定，也可能在任务规划过程中生成一个看似合理、实际上已经越出原始意图的动作。更常见的情形是，上游数据本身就是错的，而Agent在完全正常的权限范围内忠实地执行了一个错误操作。

最值得注意的是，在这些场景里，整条执行链从传统安全系统的视角看，往往都是"合法"的。身份是真的，Token是真的，API调用是合规的，权限确实已经授予，调用来自可信环境，网络链路也没有遭到任何攻击。所有检查都通过了，结果却是错的。

这意味着AI Agent时代正在出现一种非常特殊的风险：

没有恶意主体，也可以产生过去只有"内鬼"才能产生的行为结果。

传统Insider Threat的典型逻辑，是一个本就拥有合法身份与合法权限的人，利用这些权限做了组织不希望发生的事。AI Agent的不同在于，它不一定恶意，不一定被攻击，甚至不一定违反任何访问控制规则，却仍然可能造成同样的现实后果。从结果看，这非常像Insider Behavior；从动机看，却根本不存在Insider。

可以把它称为"无内鬼的内鬼行为"。

这个变化之所以重要，是因为过去的安全体系习惯于把问题归纳成一句话：如何阻止坏人拿到权力。而AI时代必须补上另一句：如果拿到权力的主体本身并没有恶意，但仍然可能错误使用权力，怎么办？

这已经不是传统身份安全能够完整回答的问题。要回答它，就必须往下追问一层：人类过去究竟凭什么没有把权力用错？

三、人类过去拥有一种机器没有的控制变量：恐惧

答案有些不舒服。很多商业系统过去之所以能够稳定运行，并不是因为技术边界已经完全封闭，而是因为人在里面，而人有恐惧。

这里的"恐惧"不是贬义词，它是现代组织治理中相当重要的一部分。法律之所以具备威慑力，是因为行为主体能够预期后果；内部处罚之所以有效，是因为员工知道违规可能意味着失去工作；职责分离之所以成立，是因为不同的人都清楚自己要为自己的签字负责；审计之所以能够形成约束，是因为操作人员知道自己的行为会被永久记录。

现代企业制度实际上默认存在一条闭合的链条：行动指向后果，后果指向责任，责任反过来约束行为。一个正常的员工会把这条链条带进每一次高风险操作，而机器不会。

AI不会因为"这个操作可能让公司损失一个亿"而紧张，不会因为"这条指令明天可能被监管机构调阅"而失眠，也不会因为"如果执行错误我可能失去从业资格"而多核对一遍账户。它当然可以被提示"这是高风险操作，请谨慎"，但被告知风险和承担后果是完全不同的两件事。

大模型可以准确解释"刑事责任"这个概念，却不会承担刑事责任；可以理解"公司可能破产"，却不拥有任何一家公司；可以流利地论述"职业声誉"，却没有职业生涯。

所以当企业把执行权交给Agent，一个过去天然存在于组织内部的控制变量开始消失：

后果无法直接约束执行主体。

这条链条一旦断开，就不会自行修复。过去依赖人性承担的那部分安全性，从此必须被重新工程化。而在此之前，还有一个更棘手的问题需要面对：链条断的只是前半段，后半段并没有断。

四、真正困难的不是AI犯错，而是出了问题之后"责任仍然在人类社会"

机器可以越来越自主，责任却不会因此自动转移给机器。这是AI Agent大规模进入企业之后，一个非常现实的商业矛盾。

假设一个Agent自动调用支付接口，产生了一笔错误付款，谁来负责？模型厂商、Agent开发团队、采购这套系统的企业、提出需求的业务部门、批准上线的人、配置权限的管理员，还是提供接口的金融机构？无论技术链路多长，最终在现实世界里，责任仍然需要在人类、企业与法律主体之间完成分配。机器本身无法成为现实意义上的最终责任承担者。

于是出现了一种新的不对称：执行越来越机器化，责任仍然高度人类化。

这种不对称直接削弱了传统治理手段的有效性。在过去的体系里，一个员工每天完成几十笔重要操作，出了问题可以逐笔调查、逐笔归因。但一个自主Agent可能在一分钟内产生数百甚至数千个动作，并且这些动作之间还存在链式依赖。当执行速度、规模与自主链路同时放大，事后治理的边际能力会迅速下降——不是制度失灵，而是制度追不上。

法律依然存在，审计依然存在，合规依然存在。但它们大多解决的是事情发生之后怎么办。真正需要被补上的问题是：

在事情发生之前，谁能够阻止它真正发生？

这是一个完全不同的控制位置。

五、所以问题不是"AI有没有权限"，而是"这一刻它是否应该执行"

很长一段时间里，企业安全的核心问题是Authorization，即某个主体是否拥有某项权限。在AI Agent时代，这个问题依然重要，但已经不够。因为一个越来越明显的事实是：Permission并不等于Execution。

一个Agent拥有转账权限，并不意味着它在任何时刻都可以转出任何一笔钱；拥有服务器运维权限，并不意味着任何一条被生成出来的命令都应该进入生产环境；拥有设备控制权限，也不意味着在某一个时刻、某一个位置、某一种现实状态下，这个动作依然成立。

企业因此必须开始拆分两个长期被混在一起的问题。第一个是"Can you do it"，你有没有资格做；第二个是"Should this action happen now"，这一次动作此刻究竟应不应该发生。前者属于访问与权限，后者属于执行控制。二者看起来只差一步，实际上处在两个不同层次。

因为在真正执行之前，系统需要重新确认的远不止身份。它还需要知道：执行主体到底是谁，要做的究竟是什么，最终作用对象是不是当初那一个，现实状态是否仍然成立，所依赖的证明是否可信且新鲜，最终参数是否仍在约定边界之内，以及原始意图、审批对象与实际执行对象之间有没有在漫长的链路中发生漂移。

只有这些条件在执行前重新成立，才能说明这一笔动作在此刻仍然拥有发生的资格。

这也是为什么AI Agent越自主，Execution Control反而越重要。自主性增加的，本质上就是机器自行决定"下一步做什么"的空间；而控制系统必须回答的，是这个下一步最终能不能真的改变现实。

六、AI Governance解决不了所有问题，因为Policy本身不会阻止现实发生

越来越多企业开始建设AI Governance，这是必然的。组织需要清楚哪些模型可以使用，哪些数据可以提供给模型，哪些Agent可以访问哪些系统，哪些工具允许被调用，哪些行为违反组织策略。

但Governance与Execution Control之间存在一个关键区别。Governance定义的是"什么是允许的"，Execution Control判断的是"这一次是否满足允许发生的全部条件"。前者是规则空间里的陈述，后者是现实发生前的最后一次校验。

一条Policy可以写得非常漂亮，但Policy自己不会挡住一笔银行转账；一个审批系统可以显示"已通过"，但审批记录本身不会去检查最终广播出去的参数有没有变化；一套IAM可以正确证明Agent的身份，但身份正确从来无法证明行为正确。

因此，AI时代的安全体系可能会逐渐延展成一条更完整的链路：

Identity→Permission→Approval→Execution Control→Execution→Evidence

Identity回答是谁，Permission回答拥有什么能力，Approval回答组织是否同意，Execution Control回答这一动作在此刻是否仍满足执行条件，Execution真正改变现实，Evidence负责在事后证明到底发生了什么。

这几个环节并不相互替代。它们之所以必须被逐一拆开，是因为机器正在获得越来越大的行动能力，而过去把它们压缩在一起的那个东西——人的判断——正在退出现场。

七、企业真正需要补上的，可能不是更多审批，而是一道机器无法绕过的执行边界

面对这种情况，一个自然的反应是增加人工审批：既然AI可能出错，那就让人再确认一次。

早期这当然有效，但它很难成为长期答案。如果每一个Agent动作最终都需要人重新确认，自主Agent的效率优势会被迅速抵消。一天十个动作，人可以审批；一天十万个动作，人工逐笔确认在物理上就不成立。更现实的风险是，当审批量超过注意力上限，审批本身会退化成机械点击，形式仍在，约束已失。

所以可扩展的方向不是把人重新塞回每一次执行链路，而是把过去由人类天然承担的那部分判断，变成机器执行之前必须通过的独立边界。

这些边界并不神秘。金额必须处于某个范围之内；最终对象必须与批准对象完全一致；关键状态不能过期；多个事实来源不能相互冲突；必要证明缺失时不能默认通过；执行参数一旦发生变化，原有批准就不能继续被复用；某些动作必须满足特定的时间、位置或设备状态；真正危险的执行凭证，也不应该被永久暴露给上层Agent。

它们的共同特点是，都不试图让AI变得更聪明，而是在承认AI会犯错之后，限制错误能够传播到现实世界的距离。

这是一种完全不同的安全哲学。它的目标不是让机器永远做对，而是：

即使机器做错，也不能无限制地把错误变成现实。

八、AI越强，企业反而越需要重新设计"谁拥有最后一步"

在关于执行控制的讨论中，有一种感受正变得越来越强烈：AI真正改变的并不只是生产效率，它开始改变企业内部权力的分配方式。

过去，一个系统可以拥有很高的权限，但最后一步通常仍然掌握在人手里。现在，Agent正在逐步获得调用支付系统、修改云资源、操作数据库、控制设备乃至直接影响现实资产的能力。最后一步正在悄悄换手。

于是一个以前并不显眼的问题变得关键：

Who can make the action happen？

谁最终能够让一个动作真正发生？

这不是一个纯粹的IAM问题，也不只是审批问题，它指向的是最终执行权本身。近年来围绕Execution Control展开的讨论，本质上正是从这个问题出发：当机器成为长期存在的执行主体，原本依赖人的犹豫、责任感与后果意识所形成的最后一道安全摩擦，需要被重新表达为明确、独立、可验证的工程边界。安全的支点，正在从"可信的人"转向"可信的结构"。

这并不意味着企业应该限制AI。恰恰相反。只有当最后的执行边界足够可靠，企业才可能真正放心地把更多自主性交给机器。汽车拥有可靠的刹车之后，人们才敢把它开得更快；金融系统拥有成熟的清算与风控之后，交易规模才能持续扩大。

AI Agent也一样。最终限制自主Agent大规模进入高风险业务的，未必是模型还不够聪明，而更可能是企业尚未回答一个更现实的问题：如果它做错了，谁能在现实被改变之前把它停下来？

结语：我们过去把"人性"误认为了"系统能力"

AI正在迫使企业重新审视许多习以为常的安全假设，其中最容易被忽略的一条是：我们过去并没有真正把所有安全边界都做进系统。

有一部分安全，一直存在于人的脑子里。它来自经验，来自责任，来自职业伦理，来自对法律的理解，也来自非常朴素的恐惧。当最终执行者从人逐渐变成机器，这些东西不会跟着权限一起自动迁移。

于是一个被长期隐藏的问题终于浮出水面：

我们究竟有多少系统安全，实际上依赖的不是技术，而是"最后那个操作的人知道自己在干什么"？

AI Agent正在取消这个默认条件。所以未来企业真正需要建设的，可能不只是更好的模型、更严格的权限和更完善的AI Governance，还包括一道新的基础设施：在身份已经正确、权限已经合法、审批已经存在之后，仍然能够独立回答——这一动作，现在，到底该不该真正发生。

说到底，需要被治理的从来不是某一个主体的善恶。

AI最大的风险之一，也许从来不是它有一天产生恶意，而是我们正在把原本只敢交给"知道后果的人"的权力，交给一个永远不会害怕后果的执行主体。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4887267.html?f=wyxwapp