网易首页 > 网易号 > 正文 申请入驻

国安部点名 “数字泔水”:AI 批量造谣专坑青少年,封号赶不上开号

0
分享至

国安部 9 月 22 日的开学季安全提示,把 “数字泔水” 这个词推到了公众视野里。 有人用 AI 批量生成歪曲事实的内容,披着娱乐外衣传播,专挑判断力尚不成熟的青少年下手。 别觉得这只是普通的 AI 造谣骗流量。从 “大象救人” 假视频到批量毒动画,这已经是条完整的产业链 —— 封号的速度,根本赶不上开号的速度。



“狗拆炸弹、大象救人” 批量刷屏,封号为什么追不上开号

今年 8 月,一段 “尼泊尔泥石流里大象救下被困男子” 的视频刷了不少人的屏。画面看着逼真,情节又暖心,很多人转的时候还配文 “万物有灵”。结果 Meta 的 AI 检测工具一查,这视频纯纯是 AI 生成的,整件事压根就不存在。

这类 “动物英雄” 的视频,早就有固定模板了:灾难发生、有人被困、动物出场、跨物种营救。把大象换成狗,把泥石流换成高铁站,就能生成新的版本。熟练的操作者几分钟就能出一条,批量替换场景和动物种类,几十条 “感人新故事” 就到手了。



很多人以为这种内容就是零星的营销号搞的,其实早就产业化了。2026 年 2 月网信部门第一批通报,处置了一万三千多个账号,清理五十四万多条违规信息。到 9 月专项行动第二阶段,累计清理的违法违规信息已经到了五百六十一万条,查处账号四点九万个。 才半年多,查处数字翻了将近四倍。不是监管力度降了,是生产的速度太快了。

在我看来,这本质上是一场成本不对等的战争。 生产端的成本几乎可以忽略不计。AI 套模板生成内容,几分钟十几条,电费都花不了几毛。封一个账号,人家换个手机号注册新号,换个头像改个名字就能接着发,相当于 “换个壳” 的成本,生意不受影响。

治理端呢?每封一个号都要人工研判、平台配合、属地走流程,单位成本是生产端的几十上百倍。更别说还有专门的 “去 AI 标识” 软件和教程在网上卖,规则要求标注,工具帮你抹掉,每一层对抗都在消耗监管资源,造假者的成本却没涨多少。 这么打下来,封号的速度永远追不上开号的速度,太正常了。



专挑青少年下手,最该警惕的不是被骗,是不会怀疑了

国安部特意选在开学季点这事,不是没道理的。 数字泔水的核心目标受众,就是青少年,也是防御力最弱的群体。

有组数据很值得琢磨:78.5% 的未成年网民会在学习、娱乐里用到 AI 工具,但只有 25% 的青少年能准确识别 AI 生成的深度伪造内容。更值得注意的是,这个比例比前一年还下降了 —— 用 AI 用得越频繁,辨别真假的能力反而越弱。



很多家长觉得不就是看点假视频嘛,没什么大不了。可事情没这么简单。 2026 年暑假的清朗专项行动里,第一批整治的就有 “AI 毒动画”:用孩子熟悉的卡通形象,篡改剧情,加进去暴力、低俗情节,艾莎和奥特曼扭打,哥斯拉追着小猪佩奇跑,专门给低龄孩子看。 孩子对熟悉的卡通形象天然没戒心,看多了这种内容,首先受影响的不是认知,是审美和是非观的阈值。

而更深层的问题在于,当 AI 生成的内容每天几十条刷进信息流里,青少年慢慢会习惯一种 “情绪优先” 的信息接收方式:内容够不够劲、好不好玩、感不感人,比 “是不是真的” 重要。 我个人觉得,这才是数字泔水最危险的地方。



它不是让孩子相信某一条假消息,是让孩子慢慢失去 “怀疑” 这个习惯。看到煽情的、激烈的、打动人心的内容,第一反应不是 “这是真的吗”,是 “这内容给我的感觉是什么”。 这种习惯一旦养成,后面再进来歪曲历史、放大社会矛盾的内容,渗透起来就顺理成章了。国安部把这事放进开学安全教育,根本不是小题大做,是在给认知打预防针。

怀疑能力,从来不是天生的,是要刻意练习的。

AI 生成要标注?靠自觉的制度,天生就有漏洞

说到这有人可能会问:不是要求 AI 生成内容必须标注吗?怎么还能混进来? 理想很丰满,现实很骨感。



就说 “大象救人” 那条视频,最后是 Meta 自己的检测工具识别出了数字签名,才实锤是 AI 生成的。可 Meta 这套工具本身就不完美:路透社之前测过,它连自家 Muse 模型生成的图片都未必认得出,图片裁剪一下就可能检测失败,还设置了每日使用次数上限,只认新模型,旧模型生成的内容管不了。 头部平台自己的检测工具都这水平,中小平台的能力就更不用说了。

我们国内也有明确的 AI 内容标识规定,要求发布的时候勾选对应标签,包括 “AI 生成”“虚构演绎” 这些。但这套制度的核心逻辑,是 “生成者主动标识”。 说白了,就是让发布的人自己给自己贴标签。 你想想,故意做数字泔水骗流量的人,会主动给自己贴 “我这是 AI 编的” 标签吗?当然不会。 网信办通报的那些案例,不管是假救援视频还是假社会热点,全都是没加任何 AI 标识的。平台发布的时候没查出来,都是事后专项排查才揪出来的。



在我看来,靠自觉的标识制度,天生就防不住故意造假的人。让造假者主动标注自己造假,等于让小偷自己给自己贴小偷标签,逻辑上就说不通。 真正有效的拦截,一定得放在发布之前。内容进入推荐池之前就识别、标注、分流,而不是等传得满天飞了,再去删帖封号。

全球都在治数字泔水,第一道防线设在哪最合适

现在全球都在跟数字泔水较劲。 TikTok 给超过 30 亿条 AI 生成视频自动加了标签,一季度就删了三十七万多条违规的;Spotify 删掉了七百五十万条批量上传的垃圾音轨;谷歌研究团队半年关停了十三万个持续发低质内容的频道。国内这边,网信办的专项行动,半年清了五百多万条信息,封了近五万个账号。



大家都在动手,但思路不太一样。 欧美那边更偏向 “用户赋权”:给你举报按钮,让你自己调信息流里 AI 内容的比例,不想看就少推。我们这边更强调 “平台责任前置”:要求平台从源头审核,严把输出关,从生成端就卡住违规内容。

两种思路哪种更好? 结合之前那组数据看 —— 只有 25% 的青少年能识别深度伪造内容。对绝大多数普通人来说,就算给了赋权工具,也未必会用,甚至未必意识到自己需要用。 现阶段来看,把第一道防线设在平台端,让技术能力更强的平台来做前置拦截,反而更现实。



当然这也不是说用户端不重要。长期来看,每个人信息判断力的提升才是根本防线,只是这个过程见效太慢,根本赶不上 AI 技术迭代和内容生产的速度。两者必须并行,不能二选一。 而且现在国内的治理已经往更深层走了,不止管内容真假,还开始管 AI 拟人互动、虚拟伴侣这类服务,防止未成年人和 AI 建立不健康的情感依附。这已经从 “信息治理” 延伸到了 “关系治理”,比单纯的标注走得更远。

数字泔水这事,说到底就是技术跑在了规则和人的判断力前面。 AI 批量生产内容的速度,远快于监管制度迭代的速度,更远快于普通人认知升级的速度。 对我们每个人来说,最简单也最有效的防线,永远在自己身上。看到太煽情、太反常、来路不明的内容,先别急着转发,先停下来问一句:真的假的,出处在哪? 多一分怀疑,就少一分被数字泔水裹挟的可能。

声明:包含AI生成内容

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

Hi科普啦 incentive-icons
Hi科普啦
传播有益的生活知识及科学文化
2870文章数 34564关注度
往期回顾 全部

专题推荐

乌蒙深处 清凉毕节

无障碍浏览 进入关怀版