我不允许还有人不知道Strata！本地AI时代正式开启！性能日增10%

专为Qwen打造的推理引擎

流传输榨干硬件每一滴性能

最近，开源本地推理引擎Strata在AI圈引起轰动！不仅能把大模型一键部署在英伟达、AMD、intel、苹果等各种硬件上，更关键的是，动辄跑出数百tok/s！实现了实用性。而不是数s/tok那种笑话。

本地AI终于能跟云端AI API服务掰手腕了！

与以往的技术相比，Strata是如何稳定实现数百倍本地AI性能提升的？

关键就是Strata并没有去做一个通用AI引擎，而是从一开始就是专为 Qwen3.8-Flash-Next（125B 参数的超大规模 MoE 模型，实际每token只激活约6B参数）开发能在消费级显卡（12GB+ VRAM）+普通内存（32–64GB）上高速本地运行的专用引擎。

更刺激的是，其开发者Niko Veit（X账号 @coldniko）的更新速度，几乎每天一个新版本，每天睁开眼性能都提升10%。最新正式推送了开源本地推理引擎Strata v0.1.44。这个项目从最初只是他自己用来跑模型的工具，到现在已经成了本地大模型社区里热捧的当红炸子鸡。

Strata 主打什么？
让普通消费级硬件也能高效跑大模型。它深度优化了 NVIDIA、AMD、Intel 多平台GPU，支持多卡、低内存、旧显卡（甚至Pascal时代的P100、V100），还能把廉价的DDR3机器+小显卡组合玩出花来。很多人用它跑 Qwen3.8-Flash-Next 这类模型，轻松上百 tokens/s，团队部署也能当本地“Codex后端”用。

这位叫 Niko Veit 的斯洛文尼亚天才开发者，几乎以日更甚至半天一更的节奏，持续打磨一款名为Strata的本地推理引擎。它的目标简单到近乎疯狂：让普通游戏电脑，跑起原本需要服务器集群的Qwen3.8-Flash-Next（约125B参数 MoE 大模型）

一张 12–24GB 的 NVIDIA 或 AMD 显卡，加上 32–64GB 系统内存，Windows 或 Linux 一键安装，就能在本地获得 60–95 tokens/s 的输出速度，支持超长上下文，提供 OpenAI / Anthropic 兼容 API，数据完全不出本机。

到 2026年10月中旬（v0.1.44 系列），它已经支持 Apple Silicon、新增 Qwen3.6-35B-A3B，并持续把性能往上推。社区已经开始调侃：“下载最新版的时候小心点，Niko 可能在你下载完成前又发了新版本。”

这不是普通的开源项目，而是一个人用极致工程，把大模型推理门槛彻底拉低的现实样本。更关键的是——它到底是怎么把普通硬件的性能“榨干”的？

Strata 到底是什么？

Strata 是专为Qwen3.8-Flash-Next这类超大规模 MoE（Mixture-of-Experts）模型优化的推理引擎。

这个模型一共有24,576 个“专家”（48层 × 每层512个）。但每生成一个 token，路由器只会激活其中大约10个。也就是说，真正需要计算的权重只占总量的约2%。

普通推理框架要么把整个模型塞进显存（需要上百GB），要么简单卸载到内存/SSD（速度崩盘）。Strata 选择了第三条路：把整个PC当成一个分工明确的厨房——常用的东西放在台面（显存），次常用的放在冰箱（内存），偶尔用的放在储藏室（SSD），并且让灶台（GPU）和案板（CPU）同时干活，互不等待。

核心榨干法：三层存储 + 并行计算 + 智能缓存

1. 显存（GPU VRAM）——最贵的“台面”
只放每个token都要用的核心部件：注意力与DeltaNet混合器、路由器、共享专家、输出头、MTP草稿层、KV缓存的热门部分。
剩下所有空间全部做成自适应专家缓存
12GB显卡大约能放下4000–4500个最常用的专家。每多1GB显存，大约多塞700个专家。缓存会在对话过程中持续学习：每几轮就把当前对话真正高频使用、却不在缓存里的专家换进来（一次最多换几十到上百个），同时把最冷的踢出去。换的动作尽量在GPU忙着做其他事时异步完成。

2. 内存（RAM）——所有专家的“冰箱”
全部24,576个专家都常驻内存（pinned，避免被系统换出）。
当某个专家不在显存缓存里时，CPU直接在原地进行计算（用AVX-512 / AVX2高度优化的内核），并且和GPU同时工作。GPU算缓存命中的专家，CPU算没命中的，两边结果再合并。
这样CPU和GPU几乎不互相等待，把本来最昂贵的“专家计算瓶颈”大幅压缩。

3. SSD——大查找表的“储藏室”
模型还有一张约28.8GB的n-gram查找表。每个token只需要读几行（最多约23KB），通过操作系统缓存快速获取，几乎不拖后腿。

低内存模式：如果内存不够放下全部专家，Strata会自动切换策略——只把显卡装不下的部分放进内存，其余直接从模型文件流式读取，并做预取。虽然会变慢，但至少能跑起来。

速度倍增器：猜测-验证 + 大块读取 + 流水线

• MTP投机解码（Guess then Check）
  
• 模型自带的小草稿层先快速猜测接下来的2–3个token，大模型一次过完整48层去验证。平均一次能产出2.4–3.2个有效token，整体速度提升约1.6–1.8倍。质量完全由大模型决定，答案一致性有保障。
• 长文本大块预填充
  
• 提示词按最高8192 token一块处理。当前层的注意力在跑的同时，下一层需要的专家已经通过PCIe提前流到GPU。长文档或代码库的读取速度轻松超过1000 tokens/s。
• 后续对话秒级响应
  
• 第一轮消息处理完后，对话状态被缓存。后续只计算新增部分，几乎瞬间开始生成。

再加上针对不同硬件的定制内核（融合int8 tensor-core、RDNA4矩阵核心、Intel Arc优化、多卡流水线、自适应PCIe份额等），每一次版本更新都在持续抠出5%–38%不等的实际加速。

支持的模型与版本（截至最新）

主力：Qwen3.8-Flash-Next（125B MoE）
Q2_0（最快）、IQ2_XS（推荐平衡）、IQ3_XXS / IQ3_S（更高质量）、Coder（编程专用，32GB内存可跑）、Swift 1.5（思考更短的微调版）、Unsloth高精系列（UD-IQ4_XS到Q8_0）、NVFP4（NVIDIA专用）。

新增：Qwen3.6-35B-A3B
更适合小内存、iGPU或需要“快速小工人”的场景。

安装程序会根据你的内存自动推荐最合适的版本。

Strata最让人震撼的地方，不是“能跑”，而是它把普通硬件的每一层资源都用到了极致：显存放最热的专家，内存做完整专家池并让CPU并行计算，SSD只承担轻量查找，再叠加投机解码和流水线预取。

一个人，用开源的方式，把原本属于数据中心的能力，硬生生塞进了游戏本。

如果你有一张还算新的游戏显卡和足够内存，真的值得亲自试一次。打开浏览器访问本地8080端口，看着125B模型在自己机器上流畅回答的那一刻，会有一种很特别的感觉——未来已经在自己电脑里，被彻底榨干性能地跑起来了。

项目地址：https://github.com/Niko1221/Strata
放在两个月前，你会相信一台笔记本电脑就能轻松跑起大模型和智能体吗？

文末点击下一篇或者扫码加入学习群，即可学习前沿AGI常识。