AI时代的风控攻防战：Soul如何用AI治理AI

伴随AI技术的发展，内容生成、图像处理以及自动化互动能力正在快速进入社交场景。越来越多的人开始使用AI生成图片、文字与视频，AI也逐渐参与到聊天、互动与情绪陪伴等场景之中。它让表达变得更容易，让很多创作行为的门槛被进一步降低。

但与此同时，一些新的问题开始出现，比如利用AI伪造身份、批量生成内容、制造不真实互动，或通过AI营造高度逼真的“人设”与社交关系，这些变化，正在重新影响人们对于“真实社交”的判断。

近期，围绕AI在社交场景中的应用，Soul对《社区公约》进行了AI相关补充更新，新增了关于AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范，这些新增规范关注AI在社交场景中的真实边界——AI可以成为表达工具，但不应被用于伪造身份、制造虚假关系，或替代真实互动本身。

《社区公约》AI相关补充更新
 

相比过去，AI时代的风险内容正在变得更加复杂。很多违规行为不再只是简单的“敏感词”或明显的诈骗话术，而是开始呈现出更强的伪装性与场景化特征。

一位参与相关治理能力建设的技术人员提到，现在很多高风险账号已经不再依赖明显违规内容，而是会尽量让所有内容“看起来正常”，相比过去大量发送模板化话术，现在一些异常账号会尝试模拟正常社交节奏，通过更自然的聊天方式建立信任关系。例如先进行较长时间的日常聊天，再逐步引导投资、转站外或情感依赖等行为。“以前可能是很明显的套路，现在更像是在‘养一个关系’。”

正因为风险行为开始变得更加“自然”，因此平台治理能力也在向更深层的行为识别与关系判断升级。近年来，Soul持续加强AI治理能力建设，将AI进一步应用于虚假人设识别、异常互动判断、风险内容拦截等场景，持续提升对异常社交风险的识别效率。

如何分辨“真实”

在部分典型高风险案例中，一个账号可能会通过豪车、高薪职业、高消费生活方式等内容，塑造“成功人士”“高净值男性”或“精英职业”等人设，再配合高度模板化的话术与情绪引导，逐步建立信任关系。单独看其中任何一个内容，可能都并不足以构成传统意义上的违规。图片本身没有敏感信息，聊天内容也可能只是普通社交表达。但当这些信息被放在一起时，风险特征就会逐渐显现——

“豪车男”账号的问题，不在某一句话或某一张图单点，而是整套“人设逻辑”本身。也正因此，Soul开始更多采用跨模态联动的AI治理能力，将图片、文本、视频、声纹以及用户行为等不同维度的信息进行综合判断。

目前Soul已经逐步形成了一套覆盖图片、文本、视频、声纹以及用户行为等维度的多模态AI治理体系，并将其应用于虚假人设识别、异常互动判断、风险内容拦截等多个场景。

例如在图片场景中，平台会结合AI生成痕迹识别、图片原创性判断等能力，对AI生成图、盗图、拼接图等内容进行综合分析；在文本与互动场景中，则会通过大模型意图识别能力，对异常导流、人设包装以及欺诈倾向进行识别，而不仅仅依赖关键词本身。

同时，平台也在持续加强对视频、语音等复杂场景的风险识别能力。针对AI伪造声纹以及跨账号关联等问题，Soul逐步建立起基于声纹特征以及行为链路的联动识别机制，以提升对高伪装风险内容的发现能力。

前置留住“真实”

目前Soul风控AI已经逐步实现毫秒级风险识别与对抗能力。相比传统“内容违规—人工处理”的单点治理方式，如今的AI治理更接近持续性的风险识别系统。它不仅关注单条内容本身是否违规，也会结合账号行为、互动关系以及上下文场景，对异常社交行为进行动态分析。

AI能力的引入也显著扩大平台风险治理的覆盖范围。过去，很多风险内容的识别与审核高度依赖人工处理能力，平台能够覆盖的高风险内容规模相对有限。而在引入AI 与自动化风险识别机制后，平台对于疑似风险内容的监测与审核能力，提升至过去的数倍以上。

除了对异常内容进行即时发现与判断之外，平台也开始加强对黑产“反复作案”行为的持续治理。例如，一些被识别出的作弊图片、风险视频或高风险素材，在首次出现后，后续相同或高度相似内容将迅速失效并停止分发，相关账号也会被自动回溯识别与处置。

相比过去“发现一次、处理一次”的治理模式，这种持续性的AI对抗能力，也正在不断提升黑产与异常账号的作弊成本，从而进一步压缩黑产反复作案空间。

随着相关治理能力逐步上线，平台对于异常社交风险的识别效率持续提升。目前，相关系统识别准确率已达到95%，重点风险场景覆盖能力相比过去提升数倍；平台内部分高风险行为开始呈现下降趋势。根据数据，杀猪盘高危触达量同比下降37.37%，相关深度风险互动持续减少；与此同时，异常互动相关用户举报量也进一步下降。

大量高风险账号已经能够在真正接触用户之前被提前识别与自动化处置，超过66%的高风险账号实现前置拦截，平台日均拦截异常与涉诈行为已超过10万次，累计帮助用户避免潜在损失超千万元级别，相比传统“事后封禁”，如今的平台治理也正在逐渐转向更前置、更持续的风险识别与干预——

例如在上文“豪车男”假人设治理场景中，相关能力上线后，针对盗图、合成图以及高风险人设包装等场景，平台已经能够提供毫秒级辅助判断能力，自动处置效率与用户感知量相比已达到10:1以上。

重新确认“真实”

除了风险治理本身，AI进入社交场景后，另一个被广泛讨论的问题，是“AI陪伴”与真实社交之间的边界。

目前，Soul在部分场景中已经提供了明确标识的AI虚拟角色等产品功能。这类功能更多被定位为情绪陪伴、表达支持与互动体验的一部分，而不是以“真实用户”身份参与社区社交关系。围绕这一点，Soul此次也在《社区公约》中新增了相关说明，进一步明确AI虚拟角色的使用边界，并提醒用户注意区分AI角色与真实用户。

与此同时，平台也在逐步增加相应的使用提醒机制。例如，在用户与AI虚拟角色进行长时间连续互动时，系统会适时进行提醒，引导用户合理安排使用时长。相比将AI单纯理解为“聊天工具”或“虚拟陪伴”，Soul更倾向于将其视为一种辅助表达与情绪支持能力，而非替代人与人之间真实关系本身。

除了技术治理之外，Soul也在持续尝试将社区治理更多地向“用户共治”延伸。相比完全依赖平台单向审核，社交社区中的很多风险内容、异常互动与新型套路，往往最早由真实用户感知与反馈。

过去几年，Soul逐步建立起包括用户反馈、风险举报、社区巡查以及护星员在内的社区共治机制。一些用户会主动分享反诈经验、识别异常互动特征，或参与社区安全相关内容的共建。这类来自真实社交场景的反馈，也会反向帮助平台持续优化风险识别能力与治理策略。

相比传统意义上的“平台管理”，AI时代的社区治理更像是一种持续演化的协同机制。一方面，平台通过AI能力提升风险识别效率；另一方面，用户对于真实感、互动体验以及异常行为的感知，也正在成为社区治理的重要组成部分。

某种程度上，Soul此次对《社区公约》进行AI相关补充更新，并不仅仅是一次常规规则调整，而更像是AI时代下，社交平台对于“真实边界”的一次重新确认。

官方账号@Soul风纪球长 违规案例公示
 

继续守护“真实”

当AI开始进入内容创作、情绪陪伴与社交互动之后，“真实”本身正在变得越来越难被简单定义。相比过去单纯依赖人工判断或静态规则，如今的平台治理，也开始逐渐转向一种持续演化的动态治理能力——不仅需要识别风险内容本身，也需要理解行为逻辑、互动关系以及更复杂的社交场景。

对于Soul来说，AI既是产品能力的一部分，也正在成为社区治理能力的一部分。它可以帮助用户更方便地表达与交流，也可以被用于识别虚假人设、异常互动与高风险行为。但无论技术如何变化，真实、善意、自然的互动，仍然是社交关系成立的基础。

而这或许也是AI时代下，所有社交平台都需要面对的一个长期问题：当“像一个人”越来越容易时，平台该如何继续守护人与人之间真实的连接。围绕这个问题，Soul正在尝试给出自己的答案。