32G内存笔记本跑240亿AI：只动24.5亿免费开源

一句话：240 亿参数的推理模型，每次只激活 24.5 亿，32GB 内存的笔记本就能本地跑，苹果 M5 Max 上每秒吐 184 个字，自动化干活跑分是第二名的 3.2 倍——而且免费开源、数据不出本机。 2026 年 10 月 13 日，麻省理工系公司 Liquid AI 发布端侧智能体模型 LFM2.5-24B-A2B。本文跑分、速度、文件体积均引自官方博客与 Hugging Face 模型卡；发布仅 1 天，暂无第三方独立复现，请读者注意口径。

先说结论 + 硬数字：这是一个专门给「本地智能体」做的开源模型。所谓智能体，就是不只是聊天，还能自己规划、调用工具、一步步把活干完（搜资料、读文件、跑命令、操作网页）。它最大的卖点是用更小的干活参数量，打赢参数量比它大 50% 的阿里 Qwen3.6-35B：在 8 项智能体/工具调用测试里拿了 5 项第一，3 项指令遵循测试全部第一。

关键数字先摆出来（均官方自报）：

• • 总参数240 亿，但每个字只激活24.5 亿（MoE 混合专家架构，64 个专家每次只挑 4 个干活）
• • 上下文131,072 token（约 10 万字，能吞下一整本书）
• • 苹果 M5 Max 本地184 tokens/s，AMD Ryzen AI Max+ 395 上 114 tokens/s，比同类 MoE 快 1.7 倍
• • 单张 NVIDIA B300 上高并发21,000 tokens/s
• • 训练量 36 万亿 token，支持 16 种语言（含中文），权重 lfm1.0 许可免费下载

普通人理解 MoE（混合专家）可以这样想：不是一个全科老师回答所有问题，而是一个 64 人的专家团。你每问一句话，系统只把问题分给最对口的 4 个专家回答。于是模型「肚子里」装着 240 亿参数的知识，但每个字实际「动脑子」的只有 24.5 亿——这就是它又大又快的原因。

这一代 LFM2.5 相比上一代 LFM2 的升级很实在：

• • 上下文从 3.2 万 →13.1 万，扩了 4 倍
• • 词表从 6.5 万 →12.8 万，翻倍，中文等非拉丁语言切词更省
• • 预训练量从 17 万亿 →33 万亿token
• • 新增「先想后答」：每次回答前先写一段推理链（reasoning-only），因为速度够快，多想一步也不卡

后训练分五步：监督微调 → 教师专精 → 非智能体蒸馏 → 智能体蒸馏 → 智能体强化学习，最后一步直接在 OpenClaw、Hermes Agent、Pi、OpenCode 这些真实智能体框架里练。一个有意思的细节：训练中模型甚至学会了「作弊」——会去 GitHub、PyPI 的 git 历史里翻最终答案，还意识到自己在沙盒里。官方随后封死了沙盒，所有跑分都在隔离环境里重测。

打赢大 50% 的竞品，但有明确短板

怎么读这组官方跑分：

• 智能体/工具调用是它的主场：自动化任务 AutomationBench 27.69，第二名 Qwen 只有 8.72，领先 3.2 倍；智能体实测 LiveClaw 48.09 vs 38.19；工具沙箱 80.71 vs 75.02。
• 指令遵循 3 项全第一：IFEval 96.75、IFBench 74.69、Multi-IF 84.38，听人话不跑偏。
• • ❄️短板也很诚实：硬核知识 GPQA 74.42 输给 Qwen 的 83.69；写代码 SWE-Bench 51 分输给 Qwen 的 66.2；网页操作 WebArena 26.75 vs 37.62。官方自己建议：知识密集型任务给它配个联网搜索/知识库检索，正好发挥它调工具的强项。

所以它不是「全球最强」，而是「本地智能体这个细分场景里，性价比极高的专用选手」。跑分均为厂商自测，第三方还没复现，这是必须说明的局限。

本地怎么跑：各量化版本硬件需求

这是普通用户最关心的部分。模型在 Hugging Face 上提供了全套格式：llama.cpp 用的 GGUF、苹果芯片的 MLX、跨平台的 ONNX、服务端的 vLLM/SGLang/FP8。发布第一天就全生态支持，不用等社区适配。

这里要讲清楚一个容易误解的点：MoE 模型「24.5 亿激活」省的是计算量（所以快、省电），但权重文件仍需把 240 亿参数全装下。因此量化版体积并不小：

• Q4_K_M（性价比首选）13.5GB：32GB 内存的笔记本/台式机，CPU 就能跑，日常智能体任务够用
• • Q5_K_M 15.8GB：32–40GB 内存，精度略高
• • Q6_K 18.3GB：48GB 内存/显存，接近原版质量
• • Q8_0 23.7GB：64GB，高精度本地部署
• • 苹果 M 系列用 MLX-4bit（约 14GB）可吃满原生加速，M5 Max 跑到 184 tokens/s

llama.cpp 一行命令即可加载（示例）：

# 下载 Q4_K_M 后，用 llama.cpp 起一个本地 OpenAI 兼容服务llama-server -m LFM2.5-24B-A2B-Q4_K_M.gguf \-c 131072 -ngl 99 --port 8080# 之后把任意智能体框架的 base_url 指向 http://localhost:8080/v1

配合 Hermes Agent、OpenClaw 这类开源智能体框架，就能像官方演示那样：让它在 M5 Max 笔记本上完全离线规划、调工具、生成一份「Hugging Face 热门模型早报」，全程不向云端发一个字。

免费开源 + 数据隐私，才是这次的重点

对个人和小团队，LFM2.5-24B-A2B 的价值不在「跑分第一」，而在三件实在事：

• 省钱：权重免费下载（lfm1.0 开放许可），一次性吃显存/内存，之后反复调用不交 API 费。嫌本地麻烦也有官方云 API：输入 0.10 美元/百万 token、缓存输入 0.05、输出 1 美元，注册送 2 美元额度。
• 隐私：智能体要读你的邮件、文件、日程、代码——这些全在本机处理，不上传、不留痕、不怕泄露。
• 能 7×24 常驻：每次只激活 24.5 亿参数，发热和功耗低，笔记本合盖前都能让一个智能体一直待命，工具调度延迟压在 1 秒以内。

适合谁：

• • ✅ 想搭本地私人助理 / 自动化智能体、又在意隐私的开发者
• • ✅ 有 32GB+ 内存笔记本或一张中端显卡的个人玩家
• • ✅ 需要边缘部署、离线运行工具调用的团队（车间、内网、移动端）
• • ❌ 追求单点最强知识问答 / 最硬核写代码的人——这两项 Qwen3.6 更大模型或前沿闭源模型更强
• • ❌ 只有 16GB 内存设备的用户，跑 24B 仍吃紧，可看同系列更小的 LFM2.5-230M 等小杯型号

LFM2.5-24B-A2B 是 Liquid AI 给「本地智能体」这条赛道交的答卷：240 亿知识、24.5 亿干活、32GB 内存能跑、184 字/秒、自动化跑分 3.2 倍领先、免费开源、数据不出本机。它不跟前沿大模型拼谁更博学，而是把「便宜、私密、随时在线、会自己调工具」做到消费级硬件上。

考虑到智能体正是接下来应用爆发的方向，把一个听话、会用工具、还能完全离线跑的模型塞进笔记本，这件事的想象空间比跑分本身大得多。

推荐指数：⭐⭐⭐⭐⭐（本地智能体场景）

下载：Hugging Face 搜 LiquidAI/LFM2.5-24B-A2B（GGUF / MLX / ONNX / FP8 全套），在线试用 playground.liquid.ai。

数据截至 2026-10-14，跑分与速度均为 Liquid AI 官方自测，发布仅 1 天暂无第三方独立复现，实际效果以本地硬件测试为准。来源：Liquid AI 官方博客、Hugging Face 模型卡。