国内游戏大厂前员工，“越狱”大模型后，用提示词就能生成淫秽内容，涉及1万多张图！其辩称是用户生成，法官：技术中立≠无罪

近日，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案，被告人郑某曾是某游戏公司程序员，其组建研发团队，通过改写系统提示词实现人工智能模型“越狱”、设定角色卡诱导对话场景等方式，为用户输出淫秽内容提供技术条件，法院认定郑某等人构成制作淫秽物品牟利罪。

AI模型遭“越狱”

沦为“造黄”牟利工具

被告人郑某曾是国内一家游戏大厂的员工，在AI领域有一定影响力，也曾赴国外进行深造，2024年7月，他接触到境外一款AI色聊机器人后，萌生了开发同类软件非法牟利的想法。

浙江省余姚市人民法院刑事审判庭法官助理 孙钰萍：有了想法以后，郑某邀请同事谢某，还有在网上认识的严某等6人，组建了一个研发团队，在经过一段时间的调试，2025年1月，他们研发的生成式人工智能模型在境外平台上线了，还接入了“第四方支付”、虚拟币等多种渠道向用户收取费用。

△郑某等6人涉嫌制作淫秽物品罪案庭审现场

郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。

浙江省余姚市人民法院刑事审判庭法官助理 孙钰萍：用户在充值付费后，就可以在这个模型中选择角色卡和AI机器人进行色情聊天，这些聊天内容还可以通过消耗积分来生成淫秽的静态或者动态图片。

2025年7月，公安民警在发现违法犯罪线索后进行立案侦查。历时两个月，将郑某等六名被告人全部抓获归案。

浙江省余姚市人民法院刑事审判庭法官助理 孙钰萍：这个AI模型运营期间，一共生成了静态图片37万多张，动态图片6000多张，用户充值金额有24000美元，折合成人民币大概17万元。经鉴定在随机抽取的12500张静态图片和全量动态图片中有9000多张静态图片，5000多张动态图片被认定为淫秽物品。

通过AI技术输出淫秽内容

是否属于“制作淫秽物品”？

郑某等生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制，输出淫秽内容是否属于“制作淫秽物品”？这是本案的核心争议焦点。刑法意义上的“制作”淫秽物品，是指将特定想法、观念或情感通过构思、设计、安排等方式在淫秽物品中予以表现的行为。传统语境下，“制作”往往体现为人工创作、编辑等直接行为。进入人工智能时代后，又该如何认定？

浙江省余姚市人民法院刑事审判庭法官 诸张琳：目前的生成式人工智能模型本身都自带内容安全过滤功能，主要是为了拦截各类不良违法信息，它本身不是犯罪的工具。但在这起案件中，被告人郑某等6人使用提示词工程，通过反复编写修改系统提示词、设置角色卡、搭建对话场景等方法，突破了AI模型原有的伦理和安全防护限制，让用户在使用时能自动生成各类淫秽内容，把AI模型从一种通用工具训练成了一款专门输出淫秽物品的犯罪工具。

郑某等6人涉嫌制作淫秽物品牟利罪案涉案软件

庭审中，被告人辩解，是用户选择角色，输入特定指令的操作，法院对此如何认定？

浙江省余姚市人民法院刑事审判庭法官 诸张琳：虽然也存在用户选择角色输入特定指令的情况，但用户的所有操作都是被限定在被告人提前搭建好的技术框架内。被告人对AI模型的内容输出拥有实质性的控制权，这个行为与淫秽内容的产生之间存在刑法上的直接因果关系。所以，通过技术手段突破AI模型算法的伦理和安全限制输出淫秽内容，应当认定为“制作淫秽物品”的行为。

法院经审理认为，被告人郑某等六人以牟利为目的，结伙利用AI技术制作淫秽物品，情节严重，其行为均已构成制作淫秽物品牟利罪。综合考虑其犯罪事实、情节、认罪悔罪态度以及对社会的危害程度等情形，分别判处被告人郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后，当事人均未提起上诉。目前，判决已经生效。

法官：技术中立不等于技术无罪

这是一起典型的AI技术被滥用实施犯罪的案件，既暴露出生成式人工智能快速发展背后潜藏的刑事风险，也为人工智能产业划定不可逾越的刑事法律红线。

浙江省余姚市人民法院刑事审判庭法官 诸张琳：“技术中立”从来不是违法犯罪的挡箭牌，我们不能以内容由AI生成，就否定了开发者的“制作者”身份。开发者主动篡改模型的安全机制，搭建便于产出淫秽内容的技术环境，对违法内容的生成具备实质性的控制力。虽然这个内容是应用户要求生成的，但开发者仍属于刑法意义上淫秽物品的“制作者”，应当承担相应的刑事责任。

法官强调，AI具有一键生成、批量产出的技术特性，数量极易呈指数级增长，司法裁判不能机械套用传统标准。

浙江省余姚市人民法院刑事审判庭法官 诸张琳：针对使用AI模型生成淫秽物品的犯罪，我们要结合传播范围、扩散风险、实际危害进行综合评价，区分是批量生成的还是按需生成的、公开传播还是一对一交流，确保罪责刑相适应。一方面，我们要对海量生成广泛传播的行为依法从严惩处，另一方面，也要对因技术特性导致的数量虚高部分进行合理调整，让案件的量刑精准适配人工智能时代的新型犯罪形态。

浙江省宁波市中级人民法院刑事审判第二庭庭长 陈靖：提示生成式人工智能服务提供者，在追求商业利益的同时，必须严守法律底线和科技伦理，主动履行内容安全管理义务。任何试图利用技术手段规避监管、突破法律红线的行为，都将受到法律的严肃惩处。此类案件的审理，向社会传递了明确信号：技术中立不等于技术无罪，算法不是法外之地。

依据9月7日发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》要求，利用深度伪造等技术进行诈骗、侮辱、诽谤、侵犯公民个人信息、制作、贩卖、传播淫秽物品的行为构成犯罪的，坚决依法严惩，追究刑事责任。

本文转载自央视新闻

未经授权，不可转载，欢迎爆料

欢迎购买《自媒体红利》，最畅销的自媒体运营书籍，京东有售！