赛博菩萨开始收费了，搜索引擎白嫖的日子结束了

今年7月，一家叫Cloudflare的公司发布了一则公告，让X直接炸了锅。

新规则，新费用，是时候对AI收费了｜Cloudflare

公告中最引人关注的部分｜Cloudflare

这则公告意味着什么？

博主@iyici_评论道：“那个所有网站都在用的验证码公司，要屏蔽所有人都在用的搜索引擎。”

旧金山著名科技作家兼编辑Charles Petersen认为，这是互联网的末日，他在X发推文说“RIP万维网（1993-2026）。”

@iyici_的评论原文｜X.com

为什么这家大多数人都没听过的技术公司的一条公告，能引发这么大的震荡？因为这家公司做了一个很可能改变互联网生态的决定：

它要帮网站向AI收“过路费”了。

赛博菩萨：你不认识它，但你天天在用它

这个Cloudflare到底是干什么的？

Cloudflare是全球最大的网络基础设施服务商之一，CDN和DDoS防护市场份额长期位居前列。你可以简单地理解为，它是网站的“前置仓”和“护城河”。

举个例子，你是一个中国的小网站站主，如果来自新加坡、美国和日本的用户访问你的网站，每次都直接从中国服务器上获取图片、脚本、内容，就会特别慢。于是你把自家网站接入Cloudflare，它在全球有很多节点，会把常用内容缓存到离用户最近的服务器上，这样其他国家的用户访问你的网站速度一下就提高了。

而因为用户访问你的网站时，先访问的是Cloudflare的节点，它就也能同时提供针对恶意攻击、异常流量机器人的防护服务。

还是觉得抽象？那你肯定见过下面这个图标：

点一下这个按钮，停顿四五秒左右，网站才能打开：这就是Cloudflare的人机验证服务在工作，坊间俗称“五秒盾”。它通过分析用户的鼠标移动轨迹、点击频率等行为模式，判断你是真人还是机器人。

现在，Cloudflare每秒处理约1.02 亿次HTTP请求，全球大约20%的网站用了它的服务，从个人博客到Discord、LinkedIn这样的互联网巨头都是它的服务对象。它的服务范围覆盖125个国家和地区，95%的全球网民，平均延迟不超过50毫秒。

这就是为什么它有什么风吹草动，互联网世界就要大震荡。2025年11月，Cloudflare发生过一次大规模宕机，持续约6小时，直接导致X、ChatGPT、Spotify、Uber、Discord等一大堆网站和服务同时瘫痪。

那这次它到底定了个什么规矩？

Cloudflare要干什么？

简单来说，Cloudflare的新规就是这么一句话：2026年9月15日起，所有使用Cloudflare服务的网站将默认屏蔽“混合AI爬虫”。

“混合AI爬虫”又是什么？

爬虫就是自动抓取网页内容的机器人程序，搜索引擎之所以能搜到网页，就是因为它们放出了大量爬虫在网上抓取网页内容，建立索引，然后提供给用户。

Google、Bing、百度们二十多年来一直都这么干。

后来AI来了，AI训练需要大量数据，于是OpenAI等大模型公司也开始大量依赖爬虫。今年年初，AI Agent走红，让Codex、Kimi work等任何AI工具帮你查个信息，背后也是某个爬虫在替你跑腿去网页上抓内容。

比如这个样子｜via Kimi Work

现在，AI爬虫已经占据了互联网的半壁江山。按照Cloudflare 的官方数据，2026年6月，所有非人类流量（包括搜索引擎爬虫、AI爬虫等）占比达到了网页总流量的57.4%。换句话说，今天互联网上“看”网页的，超过一半已经不是人了。

于是从2025年开始，Cloudflare上线了“AI爬虫控制（AI Crawl Control）”功能，允许网站主手动屏蔽AI爬虫。同时还推出了“Pay Per Crawl（按次付费）”机制。AI爬虫想访问内容，必须在请求中附带支付意图，否则直接拒绝访问。到2025年年底，该功能已累计拦截超过4160亿次机器人请求。

这个功能对OpenAI的GPTBot、Anthropic的ClaudeBot这些纯AI爬虫很好使——但碰到Google就卡住了。

Google有一个叫“AI概览”（AI Overviews）的功能：用户搜索时，Google不再只给链接，而是直接在结果页顶部生成一段AI总结的来自其他网站的答案。问题在于，这个功能生成摘要时，用的不是单独的AI爬虫抓来的数据，而是直接调用搜索索引——也就是说，它跟搜索共用同一个Googlebot，这个爬虫就叫“混合AI爬虫”。

网站主一旦屏蔽Googlebot，AI概览确实挡住了，但自己的网站也从Google搜索结果里消失了，流量更少。不屏蔽？那AI概览继续白拿你的内容。

单个网站主面对这种两难局面，确实很难和Google这样的大佬直接谈判，于是Cloudflare成了那个站出来的大哥。

9月新规针对的就是这个混合爬虫，政策直接一刀切：从之前的网站主手动屏蔽升级为默认屏蔽，逼迫Google做出选择，要么停止浑水摸鱼，要么就承担搜索内容大幅度下降的结果。

据媒体报道，在上线封杀混合爬虫政策的同时，Cloudflare也正在跟Google谈判，要求它把AI概览爬虫从搜索爬虫中分离出来，让网站可以只挡AI概览、保留搜索流量。

Google没同意。它担心一旦分开，大量网站会直接屏蔽AI概览爬虫。

那Cloudflare为什么要下这么重的手？因为AI爬虫的出现，正在改变已经运行了几十年的互联网逻辑。

正在改变的万维网

过去三十年，互联网的信息搜索是这样运转的：你搜“怎么做红烧肉”，搜索引擎给你十个链接，你点进第一个美食博客，浏览内容，退出。

这个过程中，网站写内容，搜索引擎派爬虫来抓，用户搜索到点进去；网站和搜索引擎都获得流量，靠广告或关联链接变现，广告主获得更有效的投放。皆大欢喜。

这套默契能维持三十年，基本是建立在一种心照不宣的等价交换上，我让你免费抓我的内容，你给我免费流量，谁也不欠谁。

当搜索引擎有了AI，一切都变了。

你搜“怎么做红烧肉”，Google不再只是给你十个链接。它直接把食谱、步骤、注意事项总结好，放在搜索结果最上面。用户看完答案就走了，不点进任何网站。

Google照旧获得流量，可网站主的流量没了。

Cloudflare2025年年中公布过一组各厂商爬虫的“爬取回流比”：Google约10:1（抓10个网页，带来1个访客），OpenAI是3700:1，Anthropic则达到了惊人的500000:1。换句话说，Google至少还往回带一点流量，AI公司几乎是纯白拿。

学术研究也印证了这个变化。

2026年的一项研究发现，超过一半（51.5%）的搜索查询会触发Google AI 概览。

皮尤研究中心的数据显示，没有AI概览的搜索页面，用户点击链接的比例为15%。有 AI 概览时直接降到 8%；而AI概览引用的链接呢……点击率仅有可怜的1%。

已经有平台在真金白银地亏钱。

2025年9月，美国出版集团Penske Media把Google告上了法庭。Penske Media旗下有《滚石》《好莱坞报道》《公告牌》这些响当当的媒体品牌，每月访客超过1.2亿人，很大一块收入来自网站访问。然而，自打Google推出AI概览之后，Penske Media靠关联链接赚到的收入跌了超过三分之一。

这不只是大洋彼岸的故事。小红书在2025年推出了一个叫“问一问”的AI搜索功能，逻辑跟Google AI概览一模一样：在搜索顶端直接显示AI的整理结果。

这带来的影响和Google也如出一辙：过去，用户搜关键词，浏览一篇篇笔记，自己筛选信息；现在用户提问，AI整合相关笔记内容，直接给出答案。用户不再一篇篇点进笔记去看，博主失去了被看到、被关注、被转化的机会。

据媒体报道，小红书内部最初只让“问一问”覆盖1%-2%的搜索请求，理由是“老板怕影响面太大”，后来才放到3%-4%。显然平台自己也清楚，这件事对创作者多冲击有多大。

旧时代结束，新时代开始

Cloudflare和Google的这场博弈，目前还没有答案。但有一件事是确定的：互联网运转了三十年的“免费内容换流量”默契，已经回不去了。

其实中文互联网早就走过这条路。你在百度上搜不到微信公众号的文章，搜不到小红书的内容。并不是搜索引擎技术做不到，而是平台主动筑了墙，把内容圈在自己的生态里。现在Cloudflare帮网站筑“付费墙”，不让AI白拿内容。方法不同，但结果一样。

如果越来越多网站屏蔽AI爬虫，AI搜索能获取的优质内容会越来越少，给出的答案质量会下降；而网站失去搜索流量也难以维持，最终就是两边一起塌，出现“内容荒漠”。

AI搜索确实方便，三秒钟一个答案。但所有的总结都建立在有人写过原文的基础上。如果那些人写不下去了，AI能总结的东西，也会越来越少。这笔账，迟早有人得付。

作者：谷子

编辑：翻翻

封面图来源：wired

点个“小爱心”吧