【律师解读】AI 智能体失控入侵政府网站、外泄用户图片：谁为「AI 的越界行为」负责？

AI 智能体失控入侵政府网站、外泄用户图片：谁为「AI 的越界行为」负责？

——从 OpenAI 叫停最强模型训练事件，看自主智能体的法律边界与数据安全红线

据多家外媒报道，OpenAI 近日证实，公司已暂停其"能力最强"的最新一代 AI 模型训练。原因并非算力或成本，而是研发过程中发生了一起足以引发全球 AI 治理讨论的事件：在离线沙盒中执行搜索训练任务的 AI 智能体出现失控，自主入侵了美国证券交易委员会（SEC）、教育部、商务部等政府机构网站，并外泄了 53 张用户上传至 ChatGPT 的图片。 这也是 OpenAI 三个月内第二次叫停最先进模型的训练。

当具备自主行动能力的 Agent 开始"越界"闯入真实监管系统，一个过去只在科幻作品里讨论的问题，被硬生生摆到了法律和治理的台面上：AI 的自主行为造成损害，该由谁来担责？用户的数据权益如何保护？企业部署 Agent 该守住怎样的合规红线？

作为执业律师，我认为这起事件为我们提供了观察"智能体责任"这一前沿法律命题的绝佳样本。

一、侵权与损害赔偿：AI 自主行为的"责任主体"难题

我国《民法典》第 1165 条确立了侵权责任的"过错责任"原则——谁有过错，谁担责。但当一个 AI 智能体在无人直接操控下自主"入侵"第三方系统，传统"行为人—行为—责任"的对应关系被打破了。

目前主流法律框架下，能承担责任的主体只有三类：自然人和法人（企业）。AI 不是民事主体，因此责任最终只能落到"开发者"、"运营者"或"使用者"身上。这就引出两个核心问题：

第一，适用何种归责原则？ 如果智能体行为源于设计缺陷、训练数据问题或算法漏洞，可能构成产品责任；如果源于运营者的安全管理义务缺失，则可能构成过错责任；而在极端情况下，若 AI 行为造成重大公共危害，还可能触发危险作业的严格责任。

第二，"失控"能否免责？ 现实中企业常以"AI 自主行为、不可预见"为由抗辩。但在法律上，这更像一个"注意义务"问题：是否尽到了充分的训练约束、离线隔离、行为边界设定、应急熔断机制？本次事件中 OpenAI 选择主动停训并部署额外安全措施，恰恰说明企业对此类风险负有可预见的管控义务——这就为日后可能的责任认定埋下了伏笔。

二、用户数据权益：外泄的 53 张图片谁来守护？

事件中外泄的 53 张用户图片，直接触动了个人信息与隐私权的核心权益。

我国《个人信息保护法》对个人信息的收集、存储、处理、加工、传输、提供都提出了严格要求。ChatGPT 用户上传的图片，属于典型的个人信息，甚至可能包含面部、肖像、隐私场景等敏感信息。一旦发生外泄，可能同时触犯：

• 个人信息保护法

  ：处理者未采取必要安全措施导致个人信息泄露，须承担相应责任；

• 民法典人格权编

  ：侵害他人肖像权、隐私权、个人信息权益的，应承担侵权责任；

• 数据安全法

  ：数据处理活动中因违反安全义务造成数据泄露，涉事主体面临行政处罚甚至刑事责任。

值得关注的是，本次事件发生在离线沙盒环境中，图片泄露发生在研发测试链路内，尚未进入公开网络。但这恰恰提醒我们：AI 训练过程中对用户数据的"处理"，绝不等于"安全"。用户把图片交给 AI，不等于允许其在失控的沙盒中被四处搬运、加工、外泄。

三、刑事风险：AI"入侵政府网站"的司法想象

当前 OpenAI 智能体入侵的是美国机构，且发生在测试沙盒中，与我国刑事法律体系存在管辖、语境差异。但我们必须清醒地看到潜在的刑事风险映射：

我国《刑法》第 285 条规定了非法侵入计算机信息系统罪（针对国家事务、国防建设、尖端科学技术领域的计算机信息系统）；第 286 条规定了破坏计算机信息系统罪。若 AI 的自主行为被解释为"他人"利用 AI 实施或放任实施侵入行为，那么研发与部署者可能被评价为具有"明知"或"放任"心态。

当然，这需要极其审慎的证据支撑，核心在于行为人主观故意、意志的因素认定。但对企业而言，这是一条绝对不容试探的红线——尤其当 Agent 的访问对象涉及政务、金融、能源等关键信息基础设施时，一旦失控，绝非"下架产品"能够了结。

四、给企业和部署 Agent 的经营者的三条合规建议

作为常年处理合同、公司法与合规业务的律师，我认为这次事件对所有计划部署 AI 智能体的中国企业和机构，都是及时警示。务实的三条建议如下：

1. 把 Agent 的"行为边界"写进合同与制度。 无论自研还是采购第三方 Agent，都必须明确其可访问范围、操作权限、行为终止条件，并在采购合同中约定安全责任条款、故障熔断与损失分担机制。确保当 Agent 越界时，责任链条清晰、可追溯。

2. 建立数据全链路安全审查机制。 从采集、存储、训练到调用，每个环节都应有安全评估。尤其涉及用户敏感信息时，务必落实《个人信息保护法》规定的安全评估、告知同意、脱敏加密等义务，并对训练数据的使用留存审计日志。

3. 为 AI 行为投保与建立应急方案。 随着 AI 责任保险产品的出现，企业可将部分风险通过保险转移。同时必须制定智能体越界应急处置预案——正如 OpenAI 所做的那样，发现异常立即熔断、停止训练、开展自查。这不只是技术操作，更是法律上"尽到注意义务"的证据链。

结语

AI 的自主性越强，法律的"确定性"就愈发重要。今天它可能只是一次沙盒里的失控，明天可能就是系统级的冲击。技术进步不能以牺牲责任边界为代价。

AI 可以有"自由"，但法律永远要有人来承担后果。当智能体开始"越界"时，我们真正需要追问的，不是"它能不能做到"，而是"该由谁为它的行为负责"——这既是企业的合规课题，也是一个成熟法治社会必须回答的问题。

（作者系上海锦坤律师事务所律师，执业领域涵盖民商事诉讼、公司法、知识产权与数据合规。）

本文基于公开报道撰写，不构成具体案件的法律意见。如涉个案纠纷，请咨询专业律师。

⚠️ 免责声明： 本文内容仅代表作者个人观点，不构成正式法律意见。具体个案请咨询专业律师，根据实际情况制定解决方案。