小红书平台AI应用乱象丛生：15万篇笔记 1400个账号违规被处置

8月26日，小红书发布治理成效，平台共处置AI应用乱象违规笔记15万余篇，违规账号1400余个。从AI换脸假冒名人引流带货，到AI“魔改”经典名著植入低俗内容，再到AI托管账号批量发布同质化文案——AI技术在小红书上的滥用形态，远比人们想象的更为复杂和多样。

出品｜网经社

作者｜可乐

审稿｜云马

配图｜网经社图库

本文摘要

一、七大AI乱象

8月26日，@小红书薯管家发布“清朗·整治AI应用乱象”第二阶段治理成效：自6月份响应中央网信办工作部署，积极参与“清朗·整治AI应用乱象”专项行动以来，小红书落实网站平台主体责任，深入清理AI违规信息，持续优化升级AI治理工作。薯管家现将近期治理成效公示：

处置数据：自专项行动第二阶段开展至今，平台共处置违规笔记15万余篇，违规账号1400余个。

治理措施：存量清理，增量拦截，形成闭环处置链路：平台建立风险线索快速响应机制，加强新增风险前置拦截。 · 突出重点场景，实施全链路分类治理：平台切实阻断违规商品和黑灰产交易，加强搜索和推荐环节治理，强化AI问答模型安全管理。 · 发布“AI知识包”，提高公众对AI生成内容的识别能力：薯管家推出“这些AI套路你中招了吗”系列知识包，引导用户合规使用AI工具，防范AI生成虚假内容的误导与欺骗。

小红书官方披露的典型案例，勾勒出一幅AI滥用的全景图。

第一类是文化解构型滥用。 账号“大＊法”“小＊3”等利用AI技术“魔改”古典名著《西游记》，植入低俗内容，歪曲解构经典的精神内涵。当AI可以低成本地解构、重组甚至亵渎文化经典，其危害不仅在于内容本身低俗，更在于对文化传承根基的侵蚀。

第二类是信息造假型滥用。 账号“小＊5”“小＊F”等利用AI生成传播虚假极端天气信息，散布谣言。今年暑期，大连湾海底隧道“全透明玻璃穹顶、鱼群环绕”的AI生成“种草贴”就曾在小红书引发关注，不少网友专程打卡却失望而归，最终由大连市城市管理局出面辟谣。AI让造假变得前所未有的“逼真”，而辟谣的成本却远高于造谣。

第三类是身份盗用型滥用。 账号“值＊你”“唐＊活”等利用AI换脸换声假冒知名公众人物，引流带货、营销牟利。南都记者此前调查发现，“AI明星换脸”在网络上有不同消费套餐，价格在28元至138元不等，68元即可购买一套AI技术明星换脸视频。当公众人物的脸和声音可以被随意“租用”，信任本身就成了可以被买卖的商品。

第四类是内容暴力型滥用。 账号“蜜＊智”“懵＊飓”等利用AI制作发布恐怖惊悚、诡异猎奇画面，破坏社区生态。

第五类是未成年人侵害型滥用。 账号“我＊人”“王＊叨”等以《熊出没》《小猪佩奇》等未成年人喜爱的动画形象为原型，利用AI制作带有不良价值观的二创动画。这是最令人警惕的一类——当AI被用来“污染”孩子们的精神食粮，技术伦理的底线已经被彻底突破。

第六类是账号工业化型滥用。 账号“小＊发”等发布教授利用AI工具批量注册账号、矩阵化运营的推广教程，助长网络水军活动。

第七类是服务灰产型滥用。 账号“小＊2”等推广售卖违规AI产品和服务，采用作弊手段搭建国内中转服务器，为境外AI服务平台引流。

七类乱象，七个切面，共同指向同一个事实：AI技术在小红书上的滥用已从“个体行为”升级为“产业行为”。

二、“赛博农场”的收割逻辑

理解这些乱象的蔓延，不能仅停留在“技术作恶”的道德谴责层面。真正驱动这场闹剧的，是一条清晰而冷酷的经济链条。

小红书的核心竞争力并非算法或技术，而是由海量真实用户构建起来的、充满“活人感”的社区生态。真实性、经验分享和用户间基于真实体验的信任是小红书的命脉，AI的“机器感”与小红书的社区“活人感”存在显著区别。

小红书的商业价值建立在“真实分享”之上——用户信任其他用户的体验，从而做出消费决策。这种“信任变现”模式，恰恰为AI造假提供了最大的套利空间。一个由AI生成的“种草笔记”，从图片到文案全部由代码完成，成本趋近于零，却可以在算法推荐下获得真实的流量，进而通过带货、广告分成、引流等方式变现。

这便是所谓“赛博农场”的收割逻辑：用AI批量播种虚假内容，用算法推荐放大传播，用真实用户的信任完成收割。更令人警惕的是，这套模式正在被“产业化”推广——有人专门教授如何用AI工具批量注册账号、矩阵化运营，将造假做成了一门培训生意。

截至2026年5月的数据触目惊心：小红书AI治理团队累计处置AI托管账号超110万个、AI造假笔记近18万篇。仅2026年以来，AI托管账号就超过80万个。110万个账号是什么概念？ 如果这些账号全部活跃，它们可以轻松制造出海量的虚假内容流，彻底淹没真实用户的发声空间。一个精心构思、反复打磨的原创内容，可能在几分钟内被AI模板批量复制，并在流量分配机制中被同质化的“代码内容”挤压生存空间。

当AI可以让一个虚假账号表现得比真人还“活跃”，甚至可以自动完成点赞、评论、收藏等互动行为时，“种草”社区的核心价值——“活人感”——正在被系统地稀释和瓦解。用户点赞的是一个有趣的灵魂，还是一个装满代码的瓶子？这个疑问一旦普遍存在，社区的信任根基便会动摇。

不仅是AI应用乱象，近年来，小红书平台还涉及涉黄低俗、团播乱象、虚假营销与黑灰产、黑医美等乱象，从数据看，多个乱象的规模已相当惊人：AI托管账号超110万个、虚假营销账号逾1200万个、单月违规处置近180万起、黑医美半年封禁30万账号……这些数字远非“个别用户钻空子”可以解释，而是指向了平台生态被系统性侵蚀的现实。

小红书几乎每个月都有专项通报，但从“处置数据”与“问题蔓延”的对比来看，平台明显处于被动防守的节奏。更值得警惕的是，各类乱象并非孤立存在：AI技术被同时用于换脸诈骗、批量产号、生成谣言；黑灰产利用AI加速虚假账号的工业化生产；甚至“毒动画”和色情导流也在共用相同的流量分发机制。

三、治理的结构性困境

浙江省数智技术与服务联合会数字经济专委会副秘书长、网经社电子商务研究中心分析师陈礼腾表示，AI降低了造假门槛，让“种草”沦为“数字泔水”，叠加算法推荐机制进一步放大误导效应。平台正通过主动标识、封禁纯AI托管账号等手段加强治理。技术应当服务于真实分享，而非成为造假牟利的工具，守护“真诚分享”的社区底色，是平台不可推卸的责任。

据网经社获悉，小红书在过去半年多时间里确实搭建了一套三层治理体系：规则层面发布《社区公约2.0》及系列公告，建立AI内容标识规范；技术层面上线AIGC识别能力，日均打标笔记超30万条；处置层面采取梯度措施，从警告到封禁形成闭环。

然而，这套看似严密的治理框架，面临着几个几乎无解的结构性困境。

第一，技术对抗是一场注定跑不赢的马拉松。 AI生成模型，尤其是深度伪造技术，迭代速度以月甚至以周为单位。平台的识别能力必须持续投入巨量研发资源才能勉强跟上节奏。而造假者同样可以利用AI技术来规避平台的识别——“道高一尺，魔高一丈”在这条赛道上不是修辞，而是日常。

第二，“主动标识”依赖的是人性自觉，而造假恰恰是对人性的利用。 小红书要求AI内容主动标识，但在流量和利益面前，指望造假者主动“坦白”自己的AI身份，无异于与虎谋皮。平台后续的稽查能力即便再强，也无法做到100%覆盖，而只要存在漏网之鱼，造假就有利可图。

第三，平台治理存在“打地鼠”式的根本性无力。 AI工具让账号注册和内容生成的边际成本趋近于零。平台封禁一个账号，造假者可以借助AI在几分钟内“生产”出十个新账号。这种不对等的攻防节奏，让任何以账号封禁为核心的治理手段都显得力不从心。

第四，更隐蔽的伤害在于误伤风险。 有用户反馈，小红书此前打击黑灰产时就曾误伤过普通创作者。在AI识别技术尚未足够精准的情况下，每一次大规模处置都伴随着误伤正常用户的概率。当真正输出优质内容的创作者因为算法误判而被限流甚至封号，社区生态的伤害将不仅来自AI造假，还来自治理本身。

更深层的隐患在于：当AI生成的低质量、同质化内容大量充斥平台，再用这些内容训练下一代AI模型，可能导致算法性能的系统性退化。 学界称之为“模型塌陷”——AI在用自己生产的垃圾训练自己，最终走向自我吞噬。这意味着，AI乱象不仅危害当下的社区氛围，还在客观上污染着整个互联网的内容生态根基，而这种污染的后果，可能要数年之后才能真正显现。

当AI让造假变得前所未有的容易，每一个用户都被迫卷入一场信任的保卫战：需要重新学习分辨真伪，需要为“真实”付出更高的信息筛选成本。而更残酷的现实是，在这场造假与反造假的拉锯战中，普通用户永远是信息不对称中弱势的一方——他们看到的，永远只是AI生成内容的最终成品，而无法知晓其背后的代码真相。

小红书这场“清朗·整治AI应用乱象”专项行动仍在持续。但一个令人不安的问题正在浮出水面：当代码可以以趋近于零的成本无限复制“真实”，那些真正源于人类思考、亲身体验和原创表达的内容，还能在流量的洪流中存活多久？

【小贴士】

网经社深耕电商与互联网近19年，依托旗下网络消费纠纷调解平台“电诉宝”及开放型电商智库平台网经社电子商务研究中心，通过立法参谋、监管课题、监管培训、监管会议、监管调研、专项报告六大方式，在推动消费维权、参与行业立法、促进平台合规等方面成果显著，持续获得有关部委的认可。