一个“个人开源项目”，可能正在改写本地AI硬件市场

作者 | ZDTL

前两天，我们发了AMD AI Max+ 495的国内首评。

测试里有一项，是用llama.cpp跑阿里前不久开源的Qwen3.8-Flash-Next，125B参数加4B的MTP草稿模型，速度大概每秒34个token，当时，这个成绩我们自己还挺满意的。结果评论区有位朋友留言，建议我们试试Strata。说实话，Strata这个名字我虽然不是第一次听，但之前确实关注不多，我印象中，它主要是帮助一些小显存的机器把更低量化的模型加载起来而已。不得不说，固化思维要不得。去YouTube上搜了一圈才发现，这东西最近两周在海外的本地AI圈已经爆火，相关视频一个接一个。其中一个让我愣了一下：两张二手的RTX 3060，插在一台二手的Dell工作站上，跑的也是Flash-Next，每秒52到63个token。整套机器，一千美元左右。虽然量化等级不完全一样，不能直接比，但一台七千多块钱的旧电脑，能跑出这个速度，着实让人吃惊。前段时间写DeepSeek V4.1 Flash的时候，我还说过一句话：本地AI最看重的不是算力，是显存。这个观点，我在不同的内容里讲过不止一次，显存不够，模型压根加载不起来，算力再强也白搭。可12G的显卡，就这么华丽丽的把125B的模型跑起来了。Strata是什么？Strata是一个开源的本地推理引擎，跟llama.cpp、Ollama算是一类东西，负责把模型读进来，在你的硬件上跑起来，MIT协议，免费。不同的是，它很偏科。Strata几乎是为Qwen3.8-Flash-Next这一个模型量身定做的，目标很简单，就是让一台普通的游戏电脑跑得动这个125B的模型，N卡A卡都行，显存12G起步。项目的发布者，是GitHub上一个叫Niko1221的个人账号，没有大厂背书，没有发布会，也没有融资新闻。上线还不到一个月，项目的Issue编号已经排到了一千五百多号，有人专门给它做了NVFP4的分支，让老一代的A6000也能用上；有人把它移植到了Tenstorrent的加速卡上；项目里还专门开了一个文档，收集各地网友在自己机器上跑出来的成绩。效果到底怎么样？YouTube上一个热度比较高的视频，作者用单张RTX 5090跑Flash-Next，标题直接写着200 t/s。而Strata项目文档里也有类似的数据，5090配锐龙9 9950X，三组测试平均下来，每秒从142个token提到了207个。不过5090本身就是比较贵的消费级显卡，一张五万+，它跑得快，或许说明不了太多问题。真正让我震惊的，是中低端卡。按项目方给出的数据，12G显存的RTX 5070，在Q2量化下每秒能输出94个token，读入提示词每秒2650个，系统内存最低32G就够。前面提到的那台一千美元的机器更典型。主机是一台大约150美元的二手Dell Precision T5810工作站，老款至强E5-2696 V4，64G的DDR4-2133内存，再加两张二手的12G RTX 3060。四档量化都测了一遍，生成速度都在每秒52到63个token之间，最关键的是上下文都开到了256K。要知道在这之前，12G显卡想跑125B的模型，想都不用想。那Strata是怎么做到的？带着浓厚的好奇与敬意，我研究了一下它的原理。原理其实不复杂。Flash-Next是MoE模型，125B的参数被拆成了大量的“MOE专家”，每生成一个token，只会调用其中很少的一部分。也就是说，模型虽然大，但每时每刻真正在干活的，只是一小撮。传统的思路是，不管用不用，所有专家都得塞进显存，塞不下，就加载不起来。Strata换了个思路，把经常被调用的专家放在显存里，剩下的放在系统内存里，用到了再调。打个比方，常用的工具放在手边，不常用的放进仓库，仓库远一点没关系，只要大部分时候伸手就能拿到。有网友在5090上测过，长上下文的情况下，专家缓存的命中率能到96%到98%，也就是说，绝大多数时候，伸手就有。在这个基础上，Strata又用上了比较激进的量化，还有投机解码，先让一个小的草稿模型猜接下来的几个字，再让大模型一次性验证，项目方称光这一项就能提速1.6到1.8倍。一句话概括，Strata并没有让显存变得不重要，它只是让显存容量不再是唯一的门槛。独显的绝境逢生说回硬件市场。过去一年我们测了不少本地AI设备，一个很明显的趋势是，在跑大模型这件事上，统一内存正在一点点蚕食消费级独显的地盘。原因也简单，模型越做越大。之前文章里我们提到过，DeepSeek的Flash从284B涨到了552B，GLM-5.3-Flash是320B，MiniMax M3约428B。就算是MoE，权重也不会凭空消失，总得有地方放。而消费级显卡的显存，天花板就摆在那儿，最顶的5090也只有32G，更大的专业显卡，RTX Pro 6000，虽然有96G显存，但价格10万起步。统一内存不一样，AI Max+、DGX Spark、RTX Spark，还有Mac，CPU和GPU共用一大块内存，128G是常见配置，AI Max+ pro 495甚至都做到了192G。价格上，一台128G的AI Max+ 395小主机，两万五左右，而一张5090光卡就要五万以上。一边32G，更贵，一边128G，更便宜，跑大模型选哪个，答案几乎是现成的。所以这两年，想在本地跑大模型的人，越来越多地绕开了独显。其实独显并不慢，模型能装进显存的时候，它依然是最快的，因为内存带宽足够高，问题在于，越来越多的模型根本装不进去。独显正在被大模型的容量门槛，挡在门外。Strata出来之后，这个格局难道要被改变了？显存不够，内存来凑。存量市场里那些12G、16G的显卡，突然就有了跑百B级模型的能力。二手市场上一两千块一张的3060，再配一台几百块的旧工作站，就能摸到过去要花上万块才能碰到的东西。对一直被统一内存压着打的独显来说，貌似是一次绝境逢生的机会。但事无绝对，有几件事，我觉得还是要弄清楚。最关键的一条，Strata目前几乎只为Flash-Next这一个模型做了深度适配。它能不能推广到DeepSeek V4 Flash、GLM这些别的MoE模型上，决定了它到底是一次性的奇迹，还是一条新的路线。如果永远只能跑一个模型，那它更像一个漂亮的特例。Strata的速度也是有代价的。高速度很大程度上靠的是激进的量化，Q2、IQ3都谈不上高精度，有的版本还直接裁掉了一半的专家。能跑，和跑得跟原版一样好，是两回事。压力也只是转移了，并没有消失。显存省下来了，系统内存就得补上，64G算是比较舒服的起点，想开长上下文最好上128G，虽然内存价格涨的飞起，但相比显存，还是要便宜。再一个，它毕竟是个人的项目，后面谁来维护，能维护多久，稳不稳定，都还需要时间来回答。所以两条路，到底怎么选？如果你手里已经有一张12G以上的显卡，内存也够大，那Strata几乎是零成本的尝试，花一个晚上装上试试，没什么损失。如果你打算新买一台机器，想省心，想今天跑DeepSeek、明天换GLM，那大容量的统一内存依然更稳妥，不挑模型，量化也能留得高一些。如果你追求速度，又愿意折腾，大显存的独显加上大内存，再配上Strata这类引擎，上限可能更高。我认为这两条路会并存很长一段时间。前不久写云栖的时候，我还在感慨，阿里开源了Flash-Next，给不同档位的本地设备都留下了选择。没想到，最先把这个选择接住的，是一个独立开发者。也要谢谢评论区那位朋友，一句“试试Strata”，让我们看到了本地AI的另一种可能。下周，我们会把Strata搬进至顶AI实验室实测，独显和统一内存的机器都会跑一遍。我们也很好奇一个问题，对于192G的AI Max+ 495这种显存本来就不是瓶颈的机器，Strata还有没有优势？结果出来，视频号和B站见。