北京
- 紧急警告：AI反馈循环正在瓦解我们对现实的感知。再见了，互联网！
作者：ToxSec2025年11月24日
紧急警告：AI反馈循环正在破坏我们对现实的感知。
简而言之：上次我讲了社交层面的噩梦：个性化回音室正在摧毁共识现实。这次来说说它不可逆转的技术原因：用AI生成的内容训练的AI就像是复制品的复制品。质量不断下降，直到真相变得面目全非。
- “复印效应” 已经出现
你早觉得互联网不对劲了，这点我们之前说过。现在说说它在结构层面崩塌的原因。
AI是在人类纷繁复杂、精彩纷呈的互联网环境中训练出来的。如今，这些AI正向网络倾泻数十亿条合成文章、评论和帖子。更糟糕的是，下一代AI将基于这些被污染的数据进行训练。
这是个恶性循环。
接下来发生的事情有一个专业术语：模型崩溃。
想象一下，这就好比复印一份复印件再复印一份。第一版清晰锐利，第二版也还不错。到了第十版呢？就变得模糊不清、扭曲变形，几乎看不出原图的模样了。
这种情况现在正在我们的互联网上发生。当AI不再从真实人类经验学习，而是从其他AI生成的内容里学，真相就会被 “其他AI说法的平均值” 取代。独特的视角消失了，细微差别也随之消亡。最终剩下的只是一堆听起来权威却毫无意义的千篇一律的同质化信息。
过度自信是最危险的 “漏洞”
这才是最可怕的地方。
AI是“预测引擎”，而不是“真相引擎”。它的核心工作就是生成统计上最有可能出现的下一个词，这使得它即使完全错误，也能听起来信心十足。
这就形成了一个虚假信息的洗白过程：
1.AI在一篇博客文章中自信地抛出一个虚假 “事实”。
2.其他AI爬虫会收录这篇文章，学到同样的错误。
3.人们看到某个“事实”在多个网站上重复出现，就想当然地认为它是经过验证的。
4.更多AI基于这种“共识”进行训练，并进一步放大错误。
通过纯粹的重复，AI产生的幻觉最终变成了人们接受的现实。这其中并无恶意，只是机器在执行其预设的任务，却带来了灾难性的副作用。
问题远不止事实偏差那么简单。偏见被无限放大才是真正的噩梦。
AI从人类混乱且充满偏见的互联网中学习，然后以研究论文般的“学术权威感”，将我们最恶劣的刻板印象呈现给我们。算法没有 “伤害” 概念，它只是识别训练数据中频繁出现的模式。
结果就是，问责机制出现真空。
如果AI撒谎，导致你蒙受经济损失或名誉受损，谁该为此负责？是开发它的开发者？部署它的公司？还是发出指令的用户？我们被越来越多“看似合理的谎言”包围，却找不到明确的责任人，也没有清晰的追责路径。
新的生存规则
当机器大规模自信撒谎时，该怎么办？
不要把AI当作专家来对待，而应该把它当作一个过于自信的实习生。
它速度很快，口齿伶俐，但缺乏实际经验。如果你不核实它的工作，它还会一本正经地捏造信息来源。
以下是您的新工作流程：
- 让它 “亮明底牌”
提问时务必加上以下内容：“请提供你论点的来源和链接。”
然后逐一核实。点击链接看看，可能一半都是编造的或无关的。
- 质疑它的答案
让它反驳自己：“现在请给我三个理由，说明为什么这个答案是错误的。”
这会暴露逻辑漏洞，迫使你进行批判性思考，而不是接受第一个自信的回答。
- 提问要非常具体
不要问：“经济形势如何？”
要问：“根据美国经济分析局的数据，2024年第三季度美国的季度GDP数据是多少？”
提问越具体，AI越难用模糊的套话糊弄你。
能解决“污染”问题吗？
保持警惕是必要的，但这并不能解决结构性崩溃的问题。
要大规模地遏制模式崩溃，我们需要系统性的解决方案：
- 数字水印：给所有合成内容打上“AI生成”的标记，虽不完美（坏人会去除），但能增加大规模欺骗的难度，让用户有机会区分人机内容。
- 认证数据集：对于高风险领域而言，经过认证的数据集至关重要。我们需要的是经过人工审核和验证的数据集，而不是在混乱的开放网络上训练医疗或科学AI。如果我们打算让AI做出关乎生死的重要决定，它需要学习的是经过验证的真相，而不是从Reddit上抓取的统计平均值。
- 人机协作系统：对于关键性工作而言，人机协作系统必不可少。新闻报道、法律分析、医疗诊断：这些都需要判断力、伦理道德和背景知识，而算法从根本上缺乏这些。AI应该辅助专家，绝不能取代他们。
底线
模型崩溃不是遥远的未来，而是正在发生的事。互联网正在用自身的数据进行训练，而数据质量却在每一代都在下降。
我们正在眼睁睁地看着“真相的技术基础架构”实时崩溃。
常见问题解答
问题一：什么是AI模型崩溃？
答：模型崩溃是指AI使用AI生成的内容进行训练。就像复印件的复印件一样，模型质量会随着每一代的迭代而下降。模型会遗忘现实世界的细节，并放大通用模式，从而产生准确性和多样性都降低的输出结果。
问2：如何识别AI生成的内容？
答：注意观察语法是否过于完美、语气是否平庸、结构是否重复以及是否存在缺乏来源的模糊事实陈述。这类文章通常感觉“空洞”，技术上正确但缺乏人性化的视角。
问3：我应该相信AI生成的内容吗？
答：不应该，必须进行核实。AI擅长头脑风暴和初稿撰写，但它会凭空捏造事实，并对此深信不疑。切勿在未交叉核对多个可靠的人工来源之前，轻易相信任何关键信息。
问4：用AI做研究的最佳方式是什么？
答：将AI作为起点，用于头脑风暴生成关键词、概括主题或寻找潜在信息来源。然后，利用可信的数据库、期刊和人工机构进行实际研究。务必核实所有信息。
本文编译自substack，原文作者ToxSec
https://substack.com/@toxsec/p-175913709
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
