2026年9月20日,一组测试把120个用AI建站工具生成的网站,按AI爬虫的方式抓了一遍:纯HTTP请求,不跑浏览器,不执行JavaScript。104个站点有响应,其中63个返回的HTML里,可见文本不到300个字符——占比61%。
抓取方式本身就是这次测试的核心变量。GPTBot、ClaudeBot、PerplexityBot这类爬虫取页面时,不会像人一样打开浏览器等脚本跑完,它们只发一次请求,拿回服务器直接吐出的那份HTML。页面内容如果依赖JavaScript在客户端渲染,爬虫看到的就是一个空壳。
正方会说,这不过是抓取姿势的问题,人用浏览器访问一切正常,站点没坏。反方则指出,一个页面在爬虫眼里是空的,等于在AI检索这条链路上不存在——内容再漂亮,进不了索引就是零。两边的分歧不在技术事实,在于“可用”这个词到底以谁为准。
测试给出的数字很干脆:120个站点里104个有响应,说明服务器层面大多活着;但63个的HTML可见文本不足300字符,说明活着的只是外壳。这两个数字放在一起,指向的是同一件事——响应成功和内容可读,是两回事。
判断落在工程侧。AI建站工具把渲染压力推给浏览器,对真人访客是体验问题,对爬虫是可达性问题。要验证自己的站点,方法不复杂:关掉JavaScript发一次请求,看返回的HTML里有没有正文。有,就没问题;没有,就得考虑服务端渲染或预渲染这条路。
61%这个比例来自一次特定样本的抓取,不代表所有AI建站产物的整体水平。但它至少说明,在“不跑JS”这个条件下,空页面不是个别现象。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.