网易首页 > 网易号 > 正文 申请入驻

315曝光的AI大模型投毒,技术上很好治,生意上很难治

0
分享至


AI大模型投毒技术,我可太熟悉了,我的工作就是折腾大模型deepsearch。

简单了解一下豆包、千问这些AI的技术原理,就能理解如何AI投毒、如何收拾投毒者。AI APP收到用户提问后,响应过程分为三步:S1.把用户问题分解为几个搜索关键词,S2.去网络搜索,S3.从搜索结果中提取问题答案。

S1和S3都是大模型推理运算,数据都在GPU里,很安全。S2可以做手脚。315晚会曝光的AI投毒正是发生在S2步,好听的名字叫GEO(Generative Engine Optimization, 生成式引擎优化)。


GEO公司用AI生成一批文章,可能几篇、十几篇、几十篇,然后发布到一堆僵尸自媒体账号上。AI大模型搜索的时候,搜到这些虚假文章,然后当成真实内容一本正经地告诉用户。AI中毒了。

很明显,整治AI投毒的技术方法有多个:

一是,自媒体平台提前识别AI生成的文章,打上标记,让大模型不采纳这些文章的信息。国标GB 45438-2025《网络安全技术 人工智能生成合成内容标识方法》[1]已经在2025年9月1日开始实施。网信办在2025年03月14日发布的《人工智能生成合成内容标识办法》,也是2025年9月1日开始实施。

按照这两个文件的规定,社交平台有责任识别AI生成的自媒体文章,并打上显式标识和隐式标识。显式标识看得见,例如图片上的水印“AI生成”;隐式标签看不见,例如文件的元数据、图片的元数据。

二是,把投毒骗子控制的僵尸账号都封掉,至少得限流,让它0曝光。

三是,AI APP只搜索可靠的信源,例如媒体账号、政府企业账号、身份经过认证的大号,例如雷军的账号、杨紫的账号,粉丝小于100万的小卡拉米账号不收录。我自己的工作中,deepsearch的信源只选蓝V(媒体、政企机构)和金橙V(头部大V),避免中毒。

技术上给AI排毒很简单,但实际上不容易。先是社交平台没动力,GEO公司运营着大量的僵尸账号,而且发贴很多,舍得出钱买流量。如果把这些账号封了,平台财报上的日活、月活、营收数据都不好看。

AI APP也没动力,大模型推理很费钱,生成一张图片要3毛钱,生成1秒视频要一块钱。每天上亿人在免费用,烧钱太快,必须得想办法挣钱,否则没法向投资人交待。

AI APP没有能力杀掉所有虚假文章。搜索引擎的技术含量很高,不是一个初创团队能搞得定的。因此,AI APP会向某度等公司购买数据。某度,大家都了解,挣钱不要命,夹杂虚假信息再正常不过了。

最后一个原因,也是315晚会上所有乱象的根本原因:消费者没有实力把坏蛋送进去踩缝纫机,没有实力让他们倾家荡产。有毒的鸡爪天天吃,有毒的文字看点咋了?!多大点事!

全文完,求关注,求转评赞三连。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
表演型教练?领先疯狂叫嚷,被反超就沉默,郭士强临场指挥惹争议

表演型教练?领先疯狂叫嚷,被反超就沉默,郭士强临场指挥惹争议

弄月公子
2026-09-17 08:49:05
国少选拔,4名乒二代亮相!王皓马琳俩儿子一轮游、王楠之女收获亚军

国少选拔,4名乒二代亮相!王皓马琳俩儿子一轮游、王楠之女收获亚军

十点街球体育
2026-09-16 22:35:00
比达洛特、多古更差!曼联弃将彻底崩盘!卡里克该直接弃用

比达洛特、多古更差!曼联弃将彻底崩盘!卡里克该直接弃用

澜归序
2026-09-17 09:04:35
做好最坏准备,若俄局势生变,约700万平方公里的博弈中国输不起

做好最坏准备,若俄局势生变,约700万平方公里的博弈中国输不起

随遇而安之心
2026-09-14 19:41:09
全国哪的月饼最好吃?经过评比:这7种月饼脱颖而出,好吃不踩雷

全国哪的月饼最好吃?经过评比:这7种月饼脱颖而出,好吃不踩雷

阿龙美食记
2026-09-14 16:17:19
100个抽烟到75岁的人,会有几个得肺癌?答案让很多人沉默

100个抽烟到75岁的人,会有几个得肺癌?答案让很多人沉默

王医生健康讲坛
2026-08-04 23:00:05
新赛季恐无球可打!美媒列10大待业球员:托马斯高居第1怀斯曼第3

新赛季恐无球可打!美媒列10大待业球员:托马斯高居第1怀斯曼第3

锅子篮球
2026-09-16 11:45:11
高血压用药的常见误区,快对照自查→

高血压用药的常见误区,快对照自查→

健康报
2026-09-16 13:17:48
欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

欧美挖的比特币大坑,中国绕着走过去了,回头一看坑里都是自己人

尘世闲云
2026-09-01 05:12:01
被嘲“80年代乡镇审美”,上海歌剧院新Logo翻车,网友集体出手了!

被嘲“80年代乡镇审美”,上海歌剧院新Logo翻车,网友集体出手了!

老张聊设计
2026-09-17 09:32:14
黑龙江省双鸭山市人大常委会原党组副书记于世军被“双开”

黑龙江省双鸭山市人大常委会原党组副书记于世军被“双开”

界面新闻
2026-09-16 16:02:40
养老院发生冲突:吕某某(1936年出生)、赵某某(1957年出生)均受伤!涉事机构被责令整改

养老院发生冲突:吕某某(1936年出生)、赵某某(1957年出生)均受伤!涉事机构被责令整改

南方都市报
2026-09-16 15:13:54
你有洗屁股的习惯吗?医生提醒:天天洗肛门的人或能预防4种毛病

你有洗屁股的习惯吗?医生提醒:天天洗肛门的人或能预防4种毛病

芹姐说生活
2026-08-21 22:28:55
敬一丹离世仅3天,荒唐一幕接连出现,女儿女婿被扒只是冰山一角

敬一丹离世仅3天,荒唐一幕接连出现,女儿女婿被扒只是冰山一角

米果说识
2026-09-17 09:53:22
“卖中国苏-30战机,是个错误”,俄专家后悔:虽然赚钱,但让中国搞出了更先进的歼-16

“卖中国苏-30战机,是个错误”,俄专家后悔:虽然赚钱,但让中国搞出了更先进的歼-16

蓝星杂谈
2026-09-15 19:45:37
前TVB艺人王贤志欠巨债潜逃加拿大,亲妹控诉:债主上门恐吓我们

前TVB艺人王贤志欠巨债潜逃加拿大,亲妹控诉:债主上门恐吓我们

小彭美识
2026-09-17 00:57:14
美国使团抵京,中方73岁老将亲自出马,一句话彻底了结台湾问题

美国使团抵京,中方73岁老将亲自出马,一句话彻底了结台湾问题

青烟小先生
2026-09-17 09:45:01
儿子死亡、孙子非亲生后续来了!臧梵清律师首次公开男孩的愿望,现场的人无不流泪

儿子死亡、孙子非亲生后续来了!臧梵清律师首次公开男孩的愿望,现场的人无不流泪

火山詩话
2026-09-16 21:19:08
如果没有冯玉祥发动的北京政变,溥仪大概率不会去东北当汉奸

如果没有冯玉祥发动的北京政变,溥仪大概率不会去东北当汉奸

兴趣知识
2026-09-14 16:18:52
贵州一公园内男子怀抱猕猴幼崽,保安阻拦报警,警方:经核实系投喂,未打算抱走

贵州一公园内男子怀抱猕猴幼崽,保安阻拦报警,警方:经核实系投喂,未打算抱走

新京报
2026-09-16 23:45:03
2026-09-17 10:55:00
小小河
小小河
数学博士,互联网大厂AI算法工程师。 互联网、科技、AI, 白话说清背后真相。 关注一下,给你信息差
147文章数 258关注度
往期回顾 全部

科技要闻

赛力斯全面接盘,华为真的“撤”了吗?

头条要闻

牛弹琴:印巴军舰茫茫大海上罕见相撞 有三个疑点

头条要闻

牛弹琴:印巴军舰茫茫大海上罕见相撞 有三个疑点

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

比起敬一丹的退而不休 章伟秋更显明智

财经要闻

美联储加息!沃什重磅发声

汽车要闻

激光雷达+EVA机器人+爆胎稳行 星瑞L PLUS预售限时价11.57万起

态度原创

房产
旅游
本地
时尚
健康

房产要闻

突发!三亚安居房出台新政!

旅游要闻

北京环球度假区迎来开园五周年,两大全新体验亮相拓展 “超无限世界”

本地新闻

不止胖东来!许昌藏着半部三国史

8年没换过|| 每次“垮脸”都靠它救,这笔小投资已值回本

亲属查出脑动脉瘤?你也尽快筛查!

无障碍浏览 进入关怀版