断网的时候,你还能查到你想查的东西吗?
![]()
我们早就习惯了打开搜索框、敲几个字、几秒钟拿到答案。但这件事有个前提——网得是通的。哪怕你本地跑着大模型,问它问题之前,它要查的资料还是躺在互联网上。一旦断网,能问的东西就少了一大截。
有人干脆把维基百科搬回了家。他下载了维基百科的数据,用 Kiwix 自托管,现在所有想要的信息就在自己家里,断网也能翻。
把维基百科装进自家电脑,听起来像天方夜谭,但真做起来没想象中那么难。他在自己的 Proxmox 家庭实验室里部署了 Kiwix,用的是社区脚本,只把磁盘从默认的 4GB 调到了 10GB,用来装准备下载的维基百科数据库。
维基百科的数据库有好几种版本可选,就算你只想保留英文条目,选择也很多。完整列表可以自己去看,下载方式是在容器的终端里进入数据文件夹,用 wget 把想要的文件拉下来。
为了塞进这个不算大的容器,他选了简单英语版维基百科,而且专门挑了 nopic 变体——连文章里的图片都不包含。这个数据库只有 1GB 出头,任何电脑都能轻松放下。他也动过下载标准英文版的念头,那大概要 50GB,但最后还是放弃了,主要是时间上耗不起。
数据库下载完、Kiwix 重启加载之后,大量信息就摆在手边了。每一个下载的数据库都会显示成一本独立的“书”,所以完全可以同时放好几个版本,不管是想专注某个学科领域,还是想要不同语言的维基百科。
简单英语版的信息量确实没那么大,但查一下保罗·路德,能看到他演过哪些电影,这已经很酷了。实际上,几乎任何东西都能查到,拿到一个相对基础的概览。页面看起来和网页版维基百科基本一样,链接也都保留着。
维基百科页面离线能看,但里面的链接自然还是需要联网。不过链接留在这儿本身就很好了——最重要的信息离线可见,真要核对来源,有网的时候也方便。
接下来是另一个挑战:让它回答问题。
他想试试能不能用自然语言向这个私人维基百科提问。这一步费了点功夫。首先得搭一个能查询 Kiwix 的 MCP 服务器。他选了一个现成的,但主构建文件里声明了一个似乎并不存在的“capabilities”参数,只好把 main.ts 里那一段删掉,才用 npm 把 MCP 服务器构建起来并跑通。
然后要用 llama.cpp 下载一个离线大模型,他选了 Qwen3.8-27B。一开始试的是这个模型的 4B 蒸馏版,但得到的错误信息太多,只能升级到更强的模型和硬件。这部分跑在一台 Minisforum AI X1 Pro 上,配的是 AMD Ryzen AI 9 HX 370 处理器和 64GB DDR5 内存。
最后还需要一个 agent 框架,把 MCP 和大模型连起来,才能用自然语言提问。他装了 Pi,把 MCP 服务器加进配置,再连到机器上的 llama.cpp 模型。Pi 里有个设置必须改——把 MCP 服务器的暴露方式从默认的 codemode 改成 direct,否则提问时 Pi 会绕过 MCP 服务器。
全部弄完之后,他就能向 Pi 提问这些文章的内容,而它确实是在查询自己的 Kiwix 服务器来给答案,全程不连互联网。只是拿到答案要花上几分钟。
准确度方面,大部分还行。他注意到搭建过程中有些问题,可能正是需要 270 亿参数模型才能得到可用答案的原因。调用 MCP 服务器启用的工具时,目标内容被当成纯文本解析,HTML 标签全带着,然后在下一步被粗暴地剥掉,这可能浪费了 token,也影响了信息提取的效果。
这或许就是 4B 模型给出胡言乱语的原因。问它“保罗·路德是谁”,名字和生日这类基本信息对了,但作品列表完全是编的。
换成 270 亿参数模型后,结果接近现实多了,但依然不完美。保罗·路德的作品列表大部分正确,只是说他在漫威电影宇宙里的角色叫 Pete Peterson(应该是 Scott Lang),还编出了一部叫 Down and Out with the Ducks 的电影。有意思的是,再跑一次同样的查询,这些错误没有重复出现。
他又问了“任天堂 Switch 2 是什么”,这次回答基本完全准确:美国的公布日期和发售日期都对,关键规格也都说对了,还提到了平台早期的一些游戏,全部属实。回答里说这台主机在加拿大是 8 月 8 日发售,但查了 Kiwix 之后发现,维基百科数据库里这条信息本身就是错的,所以不是模型的问题。
两次查询最大的差别在于页面大小,以及保罗·路德在简单英语版维基百科上的页面有一张相当长的表格。处理请求时,那些 HTML 标签可能占掉了相当一部分 token,随着扫描页面往下走,输出质量就受了影响。
就算大模型给出的回答和 Kiwix 里的信息不是百分之百一致,整个过程还是有点惊人。光是拥有一个离线可用的私人维基百科就已经很酷了,再配上本地大模型来查询这个数据库、回答问题,全程不碰互联网,就更好了。它可能有些缺口,但跑起来确实挺顺。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.