一个125B参数的大模型,文件体积超过100GiB,没有服务器、没有API调用,直接在浏览器里跑起来了。开发者 nwtgck 完成了这件事,模型是 Qwen3.8-Flash-Next UD-Q4_K_XL,推理全程在浏览器沙盒内完成。
![]()
这意味着数据不需要上传到任何远端。模型加载、计算、输出,整条链路都留在本地。对隐私敏感的场景来说,这个路径的吸引力很直接:没有服务器调用,也就没有数据离开设备的机会。
真正卡住本地大模型的两道坎,一是算力,二是存储。100GiB 级别的模型文件,过去光是"怎么让浏览器读到它"就足够劝退。nwtgck 的做法是绕开上传环节,用 Chromium 的 showOpenFilePicker API 直接挂载本地的 .gguf 文件。
文件不进浏览器沙盒的存储区,而是以挂载的方式被读取。模型体积再大,也不需要先塞进某个容量受限的空间里。这一手解决的是存储痛点,而不是算力痛点。
算力侧靠的是另外两件东西:WebAssembly 负责把推理逻辑带进浏览器,WebGPU 负责把计算压到显卡上。两者加上现代文件系统接口,构成了这次跑通的完整技术组合。
三者缺一不可。WebAssembly 解决"能不能在浏览器里执行",WebGPU 解决"跑得动跑不动",文件系统接口解决"模型从哪来"。这套组合把浏览器从展示层推到了执行层的位置。
对边缘端 AI 来说,这个信号值得留意。浏览器是几乎每台设备都有的运行时,如果大模型能在这里离线跑通,部署的最后一公里就被大幅压缩——不需要装环境,不需要配驱动,打开页面即可。
当然,125B 模型在浏览器里跑,速度不会和专用推理服务持平。但这次验证的重点不在跑分,而在边界:浏览器能承载的模型规模,被往上推了一截。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.