AI 时代会让企业发现：所有系统都经不起无限审查

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs

一、从一个很小的现象说起

如果你最近用AI写过东西，大概率经历过这样一个循环。

你让一个AI写一篇文章，觉得还不错，于是让另一个AI来评价。第二个AI几乎一定能找出问题：论证不够扎实、结构有些松散、观点缺少支撑。你老老实实改完，再交给第三个AI，它依然能继续指出缺陷。更让人困惑的是，即便是同一个AI，换一套提示词，也可能对同一篇文章给出完全相反的意见——一会儿说不够深入，一会儿说过于复杂；一会儿嫌观点不够鲜明，一会儿又批评表述过于绝对；缺少案例是问题，案例太多冲淡主线也是问题；太像技术文章不行，不够专业也不行。

很多人把这归结为AI不稳定、不可靠。但如果只停留在这个解释上，就错过了一个重要得多的信号。

这个现象揭示的是一个长期被忽略的事实：评价系统并不是在寻找一个最终正确的答案，而是在不断切换观察角度。一篇文章在"深度"这个角度下有一种缺陷，在"传播"这个角度下有另一种缺陷，在"严谨"这个角度下还有第三种缺陷。这些角度彼此冲突，永远无法被同时满足。

只要观察角度可以无限增加，缺陷就永远不会被彻底消灭。

过去这件事之所以不明显，是因为审查是昂贵的。请一位编辑、一位专家、一位律师来挑毛病，都需要时间和金钱，所以任何作品、方案、系统，实际上只经受过有限次数、有限角度的审查。所谓"挑不出毛病"，从来不是因为毛病不存在，而是因为挑毛病的人不够多、角度不够刁钻。

而AI把审查的成本压到了接近于零。于是一个残酷的事实浮出水面：不是AI让文章变得有缺陷了，而是AI让"无限审查"第一次变得可行——而没有任何复杂产物经得起无限审查。

文章只是最容易被看见的入口。同样的逻辑，正在向企业治理、产品设计和安全工程蔓延。

二、企业正在进入"无限评价时代"

过去，一个产品方案、一套管理制度或者一个技术架构，通常只会经过有限的人评审：几轮会议、几位专家、一次合规检查。评审的角度是有限的，遗漏是默认存在的，大家心照不宣。一个方案"通过评审"，本质上只是说它通过了这一小群人、在这一小段时间里、从这几个角度进行的检查。

今天，AI可以低成本地扮演几乎所有角色。同一份方案，你可以让它以客户的身份挑体验问题，以法务的身份挑责任边界，以投资人的身份挑商业逻辑，以安全工程师的身份挑攻击面，以财务负责人的身份挑成本结构，以监管者的身份挑合规漏洞，甚至以竞争对手和恶意攻击者的身份，专门寻找可以利用的入口。过去组建这样一个"全角色评审团"需要巨大的组织成本，现在只需要换几个提示词。

结果几乎是注定的：不同角色会给出不同甚至完全冲突的结论。安全部门会说权限太宽，业务部门会说限制太多；财务会说成本太高，产品会说体验太差；法务会说责任边界不清晰；而攻击者，则会找到所有人都没有想到的那个入口。

这不是评审质量变差了。恰恰相反，是评审能力被无限放大了——放大之后，任何方案都会显得千疮百孔。

不妨做一个简单的实验：把你们公司最引以为傲的那份制度文件，交给AI，让它分别扮演十个不同的角色来审查。你会发现，没有一份文件能全身而退。这不说明制度写得差，而说明"经得起所有角度的审查"这个标准，本身就是不可能达成的。过去我们从未意识到这一点，只是因为从来没有人真的用十个角度审过同一份文件。

这意味着企业决策的前提正在发生变化。过去的隐含目标是"设计出一个通过评审的方案"，因为评审是有限的，这个目标是可以达成的。而当评审变得无限，这个目标在逻辑上就不再成立。企业今后面对的不是"能否设计出一个无人反对的系统"，而是一个更艰难、也更诚实的问题：

如何在永远存在反对意见、剩余风险和未知缺陷的前提下，仍然做出决策。

那些不理解这个转变的组织，会陷入两种典型的失败姿态：要么被无穷的反对意见拖入决策瘫痪，什么都不敢上线；要么干脆对所有批评脱敏，退回到"评审只是走流程"的老路。两者都错了。正确的姿态是第三种——接受缺陷永远存在，然后把注意力从"缺陷有没有"转移到"缺陷发生后会怎样"。

三、"总能挑出问题"不是失败，而是复杂性的必然结果

有人会问：这是不是说明我们的系统做得还不够好？只要继续打磨，总有一天能拿出一个挑不出毛病的版本？

不会有那一天。这不是悲观，而是复杂系统的基本性质。

一个系统越简单，越容易被完整描述，也就越接近"可以被证明正确"。一百行代码可以被逐行审查，一条数学定理可以被严格证明。但企业系统从来不是这样的对象。它同时包含人、软件、数据、权限、激励、流程和外部环境，而且这些要素之间的关系还在持续变化。人会流动，软件会升级，数据会积累，权限会漂移，激励会扭曲，外部环境会突变。

所以企业面对的根本不是一道存在标准答案的数学题，而是一个不断移动的目标。今天正确的制度，明天可能因为业务变化而失效；今天安全的接口，接入AI Agent之后可能出现全新的攻击面；今天合理的权限设计，组织规模扩大一倍之后就可能变成单点风险；今天表现良好的模型，换一个场景就可能产生完全不同的行为。

这类故事在每一家上了规模的公司里都发生过。某个沿用多年的报销流程，在公司只有两百人时运转良好，到两千人时成了效率黑洞；某套为网页端设计的风控规则，在开放API之后被脚本轻松绕过。没有人做错什么，只是环境变了，而系统还停在为旧环境优化的版本上。

在静止的世界里，缺陷是可以被逐个消灭的存量；在变化的世界里，缺陷是随着环境不断生成的流量。你消灭的速度，永远赶不上它生成的速度。

完美系统不是暂时还没有被造出来，而是在多数复杂环境中，它本来就不存在。

承认这一点并不丢人。真正危险的是不肯承认这一点的组织——它们会把资源持续投入到"再改一版就完美了"的幻觉中，却从来没有为"缺陷一定会出现"这个必然事件做过任何结构上的准备。当缺陷真的出现时，前者损失的是一次迭代，后者损失的可能是整个业务。

四、安全行业尤其容易陷入"完美幻想"

在所有行业里，安全行业对"完美"的执念最深，也最危险。

安全领域长期存在一种隐含的追求：只要身份验证足够强、权限设计足够细、模型判断足够准、审计记录足够完整，系统最终就会安全。每一次安全事故之后，行业的反应几乎都是同一个方向——再加一层验证、再细一层权限、再多一份日志。防线越垒越高，预算越花越多，而事故并没有消失。

这背后有一个朴素的期待：安全是一门工程，工程问题总有工程解。加人、加钱、加流程，问题就会收敛。但安全和其他工程有一个根本不同——它的对手是活的。桥梁工程师不需要担心重力会学习新的攻击方式，而安全工程师的每一道新防线，都会立刻成为对手研究的新题目。

因为现实反复证明：攻击者并不需要击败整个系统，他只需要找到一个系统设计者没有覆盖的组合。而在这个组合里，每一个单独的步骤都可能是完全合法的——用户身份是真的，权限审批通过了，接口调用符合格式，Payload校验成功，签名也是真实的。每一环都对，结果仍然是错的：资金被转走了，数据被导出了，系统被接管了。

这和AI评价文章的现象惊人地相似。一篇文章的每一句话都可以没有语法错误，整体却可能完全失去方向；一次执行中的每一个步骤都可以通过校验，最终结果却违背了所有人的真实意图。

局部正确，从来不自动等于整体正确。

换个角度看，安全体系的每一层防护，本质上都是一个"观察角度"：认证看的是"你是谁"，权限看的是"你能做什么"，校验看的是"格式对不对"，审计看的是"发生过什么"。攻击者做的事情，就是寻找一条所有角度都看不到的路径。角度是有限的，可能的路径却是组合爆炸的——这就是为什么"把每一层都做到极致"永远推导不出"系统是安全的"。

更麻烦的是，AI正在把攻击者的这种能力平民化。过去，找到那个"没人想到的组合"需要顶尖的经验和漫长的探索；现在，生成攻击假设、构造异常输入、批量测试边界条件的成本，和生成一篇文章的成本一样，正在趋近于零。防守方面对的不再是少数聪明的对手，而是一台可以无限出题的机器。

五、真正成熟的安全，不再追求"证明系统不会出错"

如果承认不存在完美系统，安全设计的目标就必须发生一次根本性的转向。

不再是：如何确保错误永远不会发生。而是：当错误不可避免地发生时，它最多能够走多远。

这个转向听起来只是措辞的变化，实际上会引出一组完全不同的企业问题。一个错误的判断，是否可以不经任何拦截直接进入执行？一个管理员，是否可以单独造成不可逆的结果？一个AI Agent，是否拥有完整的行动权？一个被攻破的SaaS服务，是否能够顺势控制本地的关键系统？一次错误的配置，是否会扩散到全部业务？一个在形式上完全合法的请求，是否仍然可以在最终的执行边界上被拒绝？

注意这些问题的共同点：没有一个是在问"错误会不会发生"，全部是在问"错误发生之后会怎样"。这就是从"消灭缺陷"转向"限制灾难半径"。

可靠系统的标志，不是它从不犯错，而是任何一次错误都不能自动获得无限权力。

在这个框架下，很多传统上被视为"冗余"甚至"低效"的设计，突然有了新的价值。双人复核不是不信任员工，而是不让任何单点判断直接变成现实结果；金额和频率的硬限制不是束缚业务，而是为最坏情况画出止损线；执行边界上那道独立的、不信任任何上游的最终校验，不是重复建设，而是在认证、审批、模型全部被欺骗之后，系统保留的最后一次说"不"的机会。

评价一套安全体系，与其问"它挡住了多少次攻击"，不如问一个更尖锐的问题：假设你的模型判断错了、你的管理员被钓鱼了、你的上游服务被攻破了——同时发生——损失会在哪里停下来？答不出这个问题的体系，无论用了多先进的技术，都还停留在完美幻想里。

六、企业真正需要的是"有边界的不完美"

自然界从来没有进化出完美的生物。一个物种能够存活亿万年，不是因为它没有弱点，而是因为它的弱点没有在环境变化中导致整个种群同时毁灭。冗余、分散、隔离——生命对抗不确定性的方式，从来不是消灭缺陷，而是限制任何单一缺陷的杀伤范围。

对企业来说，这个类比比听起来更严肃。生物从不试图预测每一种病毒，它选择的是另一条路：免疫系统、细胞隔离、组织再生——一整套"感染之后如何不死"的机制。数亿年的演化压力最终选择的生存策略，不是无懈可击，而是可以受伤。这对花费重金追求"零事故"的企业，是一个值得反复咀嚼的提示。

企业也是一样。好的组织不可能消除所有错误判断，但它会刻意避免几种致命结构：一个人控制全部系统，一个决策不可撤销，一次失败波及所有业务，一个模型直接决定现实结果，一条错误指令可以不受阻拦地穿透整个执行链。

因此，未来企业需要设计的目标，不是完美，而是有边界的不完美（Bounded Imperfection）。它包含三个基本原则。

第一，错误可以发生，但不能无限扩散。一个模型可以判断错误，一个员工可以决策失误，但任何单一的错误判断都不应该自动获得完整的执行权。判断和执行之间，必须存在结构性的隔离——不是靠"下次更小心"，而是靠架构本身。

第二，系统可以失效，但不能同时失去所有拒绝机制。上游服务可能被攻破，审批流程可能被绕过，管理员甚至Owner本人都可能犯错或被欺骗。这些都允许发生，但最终执行的位置上，必须保留一道不依赖任何上游的独立约束。所有防线可以逐一失守，唯独不能设计成"一荣俱荣、一损俱损"。

第三，风险无法清零，但必须被限制在可承受范围内。企业真正需要计算的从来不是"有没有风险"——答案永远是有——而是"最坏情况下，损失到哪里停止"。能明确说出止损位置的企业，才有资格谈激进创新；说不出的企业，每一次冒险都是在赌命。

企业要回答的不是"会不会出错"，而是"出错之后，损失在哪里停止"。

值得注意的是，这三条原则考验的都不是技术能力，而是组织的诚实程度。承认自己的模型会错、自己的管理员会被骗、自己的流程会被绕过，在很多公司的文化里近乎"唱衰自己"。但恰恰是这种诚实，决定了一家企业是在为真实世界设计系统，还是在为PPT里的理想世界设计系统。真实世界里，欺骗会发生，故障会发生，误操作会发生——系统的价值，就体现在这些事情发生的那一刻。

七、AI会把这个问题推到极致

有人可能会问：这些原则听起来并不新鲜，为什么现在突然变得如此紧迫？

因为过去有一道我们从未意识到的天然防线：人的速度。

一个员工判断失误、越权操作、甚至蓄意作恶，他的破坏力都受制于人类的执行速度。他再快，也不可能在一秒之内修改十万个账户、调用数百万次接口、同时影响全球所有业务。很多企业的安全体系之所以看起来"够用"，不是因为设计得好，而是因为错误的执行速度足够慢——慢到总有人来得及发现、来得及阻止、来得及回滚。

AI Agent彻底摧毁了这道隐形防线。它不仅可能判断错误，还可以高速、并发、持续地执行错误。人犯错是一次一次地犯，机器犯错是一批一批地犯。过去一个错误决策需要几天才能造成的损失，现在可能在几秒钟内完成，并且在任何人察觉之前已经不可逆。

想象一个再普通不过的场景：一个负责客户运营的Agent，被授权读写CRM和发送邮件。某天它被一封精心构造的邮件注入了错误指令，于是开始"勤奋地"向全部客户批量发送带有错误报价的合同。整个过程中没有任何一步是越权的——它本来就有这些权限。区别只在于：有边界的系统会在第一百封邮件时触发频率限制，没有边界的系统会在十分钟内发完十万封。

AI时代最危险的，不是一次错误的判断，而是一个没有边界的错误，获得了机器级的执行速度。

在这个前提下，再去纠结"能不能让AI更准确一点"已经远远不够。无论准确率多高，只要不是百分之百，剩余的错误就必须被结构性地控制。即使准确率达到99.99%，在百万级的执行量中，错误仍然会出现上百次。真正决定后果的，不是那99.99%的正确，而是那0.01%的错误发生时，系统有没有最后一道边界。

可以这样概括：准确率决定错误出现的频率，架构决定错误造成的后果。前者是模型厂商的问题，后者是每一家企业自己的问题——而且没有任何模型升级可以替你解决。

八、竞争的分水岭：谁的系统在失控边缘仍然稳得住

把视线拉回商业本身。

AI让创造的成本下降，这已经是共识。但同样重要、却远未被充分讨论的是：它也让评价、攻击、测试和反驳的成本同步下降。未来，任何企业方案都能被快速找到缺陷，任何产品都能被生成新的反例，任何安全体系都会遇到设计时从未想象过的场景。这不是某个行业的特殊风险，而是所有把AI接入业务的企业共同面对的新常态。

这会改变企业竞争的重心。过去比的是谁的系统更强大——功能更多、性能更好、防线更厚。未来比的是谁的系统在不完美、被误用和被攻击时，仍然不会失控。前者决定你能跑多快，后者决定你会不会在某个深夜突然归零。

过去比的是谁的系统更强大，未来比的是谁的系统在被误用和被攻击时，仍然不会失控。

那些率先放弃完美幻想的企业，反而会获得一种新的竞争力。它们不再把资源浪费在"证明自己不会出错"上，而是把架构建立在"假设自己一定会出错"之上：判断与执行分离，权力有边界，失败有隔舱，最坏情况有明确的止损位。它们的系统未必更聪明，但一定更难被任何一次错误摧毁。而这种"难以被摧毁"，会在一次次行业事故中，转化为客户信任、监管信任和资本信任——这是AI时代最稀缺的资产。

对决策者来说，这意味着一组新的追问要进入每一次架构评审和每一次AI项目立项：这个Agent最坏能做什么？它的判断和执行之间隔着什么？当它出错时，谁有能力、有权限、有时间按下停止键？如果这些问题的答案是"不知道"或者"应该不会出错"，那么无论演示效果多惊艳，这个项目都还没有准备好进入生产环境。

AI时代最成熟的企业，不是相信自己已经找到了完美答案，而是从一开始就假设答案可能是错的，并且为此做好了结构上的准备。

我们无法建造一个永远正确的系统，但可以建造一个即使犯错，也无法轻易造成灾难的系统。

这句话，值得每一个正在把AI接入核心业务的决策者，写在架构评审的第一页。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875308.html?f=wyxwapp