滥用AI换脸魔改名著等账号被处置！南都曾起底魔性侵权乱象

9月2日，南都N视频记者从“网信中国”获悉，中央网信办聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。南都N视频此前持续推出《AI魔性侵权乱象系列调查》，起底滥用AI生成技术的侵权现象背后产业链。

“AI魔改”视频截图。

多个AI“换脸”“换声”账号被处置

据了解，中央网信办组织开展“清朗·整治AI应用乱象”专项行动以来，各地网信部门切实履行属地监管责任，因地制宜推出一系列针对性治理措施。网站平台积极响应专项行动部署安排，持续健全AI内容常态化治理机制。

据“网信中国”披露，专项行动期间，一批违法违规账号和应用受到处理。典型案例包括，利用AI“魔改”经典、生成“数字泔水”。账号“天**小”“歪**国”“小*菌”“咸*i”等，滥用AI技术“魔改”《三国演义》《西游记》等经典名著，颠覆重要人物人设，虚构低质猎奇剧情博取流量。相关账号已被依法依约处置。

AI制作发布虚假不实信息。账号“云**视”“有*头”“7**员”“长**帆”等，利用AI生成合成虚假灾害现场、救援画面，编造不实社会热点信息，发布封建迷信内容，打造AI数字人进行虚假宣传带货，误导老年人，制造恐慌情绪。相关账号已被依法依约处置。

AI假冒仿冒他人。账号“特**力”“石*”“潮**件”“M**勒”等，利用AI“换脸”“换声”等技术，假冒仿冒公众人物形象，生成合成低俗舞蹈、拥抱接吻等图片视频，借机营销牟利。相关账号已被依法依约处置。

AI侵害未成年人权益。账号“小**娃”“豆*a”“半**历”“若**雪”等，发布AI生成合成未成年人怀孕、打架等与其年龄特点不符的内容，批量制作传播“毒动画”、儿童“虐向”“邪典”视频，伤害、恶搞未成年人形象，影响未成年人身心健康。相关账号已被依法依约处置。

此外，还有账号涉及制作发布暴力低俗等信息；利用AI“托管”从事网络水军活动；AI产品服务和应用程序违规。

网信部门将密切关注AI生成合成内容新情况新风险，及时采取有效措施防范AI技术滥用恶用。

南都曾曝光AI侵权相关产业链

南都此前报道，7月20日，“网信中国”曾发文指出，中央网信办部署启动“清朗·未成年人网络保护”专项行动，重点整治“编造毒动画，利用AI技术恶搞经典动画形象，刻意放大暴力恐怖元素”等突出问题。

南都N视频曾持续推出《AI魔性侵权乱象系列调查》，起底滥用AI生成技术的侵权现象背后产业链。

南都此前报道。

4月上旬，南都记者实测发现，在AI创作平台ViiTor AI上，只需上传3秒原声，几分钟便能克隆音色并任意改词；电影《哪吒之魔童闹海》主角配音演员吕艳婷等人的多段原声，出现在音色库公开素材中，使用人数早已过万；而二手交易平台上AI声音克隆服务每50字收费不到1元。大量商家声称AI克隆音色相似度超98%，但面对侵权质疑时直言“问就是有侵权”。

调查报道发出后，多地监管部门将“AI技术滥用”列为整治的重点领域。4月16日，南都记者再次进入ViiTor AI平台发现，“音色克隆”功能中已无法直接上传音视频文件，“请上传3-5秒音频或视频”的选项被删除；而公共素材库中已无法搜索到“哪吒”等相关音色。

面对AI魔性侵权乱象，4月2日，中国广电联合会演员委员会发布严正声明，坚决维护演员声音、形象等人格权益，呼吁加快完善法律法规，遏制技术滥用。声明指出，应强化平台监管责任，建立健全侵权内容的快速识别与下架机制。

“AI角色撞脸真人明星”现象、利用AI技术伪造视频推荐产品也持续引发各界关注。南都记者此前调查发现，“AI明星换脸”在网络上有不同的消费套餐，价格在28元至138元不等，68元即可购买一套AI技术明星换脸淫秽视频，共500部左右。

2025年5月，孙俪、邓超工作室发文，针对近期网络上大量利用AI技术伪造两人形象和声音进行虚假广告宣传的行为公开打假。南都记者搜索发现，有账号将克隆的明星声音“做一些鸡汤、人生哲理”视频引流变现。

采写：南都N视频记者 彭雨欣