Magnitude号称比Ollama快2.2倍，64K长提示词下整段请求快1.3倍

在本地跑过大模型的同学，应该都了解Ollama，这个工具是用来在自己的电脑上运行开源模型的。最近出现了一个款新工具，Magnitude，官网称它跑开源模型比Ollama快2倍以上。这个数字落到日常使用里能兑现多少，值不值得换，接下来我们一起来拆开看看：速度到底快在哪一段，你的模型和机器能不能享受到，换过去又要付出什么代价。

Magnitude是一款免费的开源推理引擎，采用Apache-2.0许可。据评测网站explainx.ai的报道，官网称11个常见本地模型在4比特量化、64K上下文、开启投机解码的条件下，平均成绩比Ollama快2倍以上：读提示词的预填充（prefill）在Mac上快1.32倍，写答案的解码（decode）快2.19倍。

1. “写答案快2.2倍”，读提示词快1.3倍

2.2倍和1.3倍，是Magnitude自家基准测试里的两个平均数：写答案约快2.2倍，读提示词约快1.3倍。放进一次完整请求，这两个数字会被读提示词拖下来。

智能体每次请求，都要先读完系统提示词、代码库文件和工具输出。在全新的64,000 token提示词下，读提示词占去Ollama总耗时的84%到98%，完整答案只快约1.3倍。阿里的千问（Qwen）3.6 35B在M4 Pro Mac上是107秒对134秒；谷歌（Google）的Gemma 4 26B在Mac上是2分11秒对2分06秒，只省5秒。各模型的差距也大：在英伟达（NVIDIA）推出的桌面级AI计算机DGX Spark上，约40亿参数的千问小模型写答案快近5倍，英伟达自家的Nemotron 3.5反而慢24%。Magnitude自己也指出有三种情形比Ollama慢。

写答案的领先有相当一部分来自投机解码（speculative decoding）：体量小的草稿模型先猜出接下来的几个词，主模型再一次性验证整批。关闭投机解码时，发布时的测试是千问3.6 35B比llama.cpp在Spark上快19%，在Mac上快92%。草稿模型帮多大的忙，取决于文本好不好预测：据Dflash 2草稿模型的模型卡，它搭配千问3.8 27B，在英伟达H200显卡上，数学题约提速3.4倍，聊天约2.7倍。Magnitude的测试负载是读《白鲸》（Moby Dick）的章节，再原样复述最新一段，接近最好预测的文本，既没有计时真实的智能体任务，也没有给回答质量打分。测试用的Ollama是0.35.1版本，之后已发了好几个版本，包括对投机解码的修复。

所以提速真实存在，但主要体现在长回复和上下文已缓存的后续轮次，冷启动时灌进整个代码库，感觉不到。

2. 清单上只有19个模型，不能导入自己的GGUF

快不快，需要先看模型在不在清单上。千问3.6 35B、千问3.8 27B、Gemma 4 31B这类常见主力模型有几种固定尺寸可选。整份清单只有19个模型，来自千问、谷歌、英伟达、Meta、Liquid和OpenBMB六家，没有DeepSeek、GPT-OSS、GLM、Llama和Mistral。

Magnitude的产品简介写明，清单就是引擎支持的全部模型，所以不能带自己微调过的模型，也不能导入从模型托管平台Hugging Face下载的任意GGUF格式权重文件。Ollama的模型库有200多个模型，还支持导入单个GGUF或SafeTensors权重。窄清单是有意为之，Magnitude的速度来自为热门架构手写调校的内核。它还要求自己管理下载，Ollama或LM Studio里已有的权重不能沿用，有用户为此把40GB的文件重新下了一遍。

3. 只认M1到M4和RTX 30系列以上，模型必须整个装进显存

Magnitude 0.2.7版本点名调校了M1到M4芯片，官方测试覆盖M4 Pro和DGX Spark，CUDA版本面向Ampere及更新的显卡，也就是RTX 30系列以上。Intel Mac只能用CPU。RTX 20和GTX 10系列不在支持范围，Ollama则能支持到GTX 900时代。AMD只通过Vulkan运行，没有ROCm后端，也没有公布AMD测试数字。创始团队在发布讨论串里确认，它暂不支持多GPU，两张显卡不会同时用上。

内存的差异最大。Ollama遇到模型比显存略大，会把其余部分溢出到系统内存，变慢但能跑。Magnitude要求模型整个装进GPU显存，从内存或硬盘流式加载还停留在路线图上，文档也说明64GB系统内存加一张8GB显卡不等于72GB显存。一张16GB显卡靠Ollama溢出跑20GB的模型，Magnitude会直接拒绝加载。

4. 外部实测里，llama.cpp有时反而更快

最早一批外部测试用的是0.2.1版本，出现了反例。一位用户在M5 Max上用千问3.8对比llama.cpp，后者读提示词和写答案的速度都约为Magnitude的两倍。另一位在M5 Pro上跑Gemma 4 26B，Magnitude写答案比另一款推理工具OMLX略快，读提示词却慢约2.6倍，创始团队承认内核还没用上M5芯片的新矩阵运算指令。RTX 5070 Ti上跑Gemma 4 12B，llama.cpp的生成速度快20%到30%。

汇总下来，提速只在M1到M4的Mac、单张RTX 30系列以上显卡和DGX Spark上成立，而且模型要整个装进显存。

5. 装起来快，退回也容易，代价是云端模型和成熟度

切换的代价是失去Ollama的云端模型，并押注一个还在修基础问题的0.2版本引擎。流程是安装应用，Discover页面推荐装得下的模型并给出速度估计，下载后调校最多一分钟，再点连接，Magnitude会为OpenCode、Claude Code这类编程智能体写好配置。速度估计只是粗略数字，没算草稿模型的提速，有M5 Max用户发现它只有实际速度的一半。Ollama也有一条命令完成对接的ollama launch，自动配置算不上换工具的理由。

连接Claude Code后，请求会走Magnitude的本地网关，即使用的是云端Claude模型，也得让它在后台运行，直到断开连接并重启。0.2.9版本起，Claude Code可以完全不登录Claude账号，由Magnitude在本地回答所有请求。Mac或Linux机器用一条server setup命令，可以变成通过网络访问的推理服务，Windows没有服务器模式。

Magnitude在2026年9月30日才发布，10月11日的版本还在修两个问题：Windows上一次性的硬件调校从未运行，Mac上长时间的智能体会话会耗尽GPU内存，把模型中途卸载。好在它用自己的端口，可以和Ollama并存。

6. 只换主力模型，其余留给Ollama

视频的结论带两个前提：想跑的模型在那19个之内；机器是M1到M4的Mac、RTX 30系列以上显卡或DGX Spark，且权重整个装得进GPU显存。两条都满足，才值得把智能体的主力模型换过去，提速主要体现在长回复和已缓存的后续轮次。

其余情形都留在Ollama：清单外的模型、老款英伟达显卡、双GPU、比显存大的模型，以及目前的M5 Max。视频作者把Magnitude定位成只服务少数模型和机器的速度引擎，不是Ollama这把瑞士军刀的替代品。他的做法是：把Magnitude装在Ollama旁边，让智能体在两边指向同一个模型，用一个真实的编程任务各跑一遍并计时，再做决定。