7B、14B、32B、70B：本地运行大模型到底需要什么配置？

把大模型下载到自己电脑上跑，门槛到底在哪？答案九成在显存，一成在带宽。这篇把四档模型的体积账、配置账、速度账一次算清。

1、什么是B 和量化

模型名字里的 B是 Billion，十亿参数的意思。7B 就是 70 亿个参数，70B 是 700 亿个。参数可以粗略理解成模型"记住"的旋钮数量：越多，模型通常越聪明，但文件也越大越难伺候。

每个参数在文件里要占地方。原精度（FP16）下，一个参数约占 2 字节。所谓量化就是把每个参数的"记账精度"降下来：压到约 1 字节是 Q8，压到约半字节是 Q4。体积小了一大截代价是回答质量有可接受范围内的损失。

FP16 是原味，Q8 非常接近原味，Q4 是社区公认的甜点：体积砍到原精度的三成上下，日常对话和写作的质量损失多数人感知不到。本地跑模型，谈的默认就是 Q4 和 Q8，FP16 更多是拿来做体积参照的标尺。

本地跑大模型的配置问题，九成是"装不装得下"，一成是"跑多快"。先算体积再谈速度，顺序反了全是白忙。

2、显存里装的不只是模型

体积账有个现成的公式：权重体积 ≈ 参数量 × 每参数字节数。7B 按 FP16 算就是 70 亿 × 2 字节 ≈14GB，换成 Q4 就是约 4.7GB。四档模型在三种精度下的体积，以下均为公式换算的量级，实际文件随模型版本与量化方案略有出入：

四档模型在 FP16 / Q8 / Q4 下的权重体积。注意 70B 的 FP16 约 140GB——那已经不是"显卡"能讨论的量级了。

但显存里要装的不止权重，还有两笔容易被漏掉的账：

一笔是 KV 缓存。模型每读一段上下文、每生成一段回答，都要把中间状态存下来，这就是 KV 缓存。它随上下文长度涨：短对话时不显眼，把上下文开到几万 token或者几个人同时用，它能再吃掉几 GB 的量级。

另一笔是运行时开销。框架、计算缓冲、系统占用，加起来也要占一块。所以"显存 = 权重体积"只是起步账，真配机器时显存要在权重体积之上再多留一到三成的余量（量级口径），否则就会出现"明明算着够、一点就爆"的情况。

以两个常见组合为例的显存构成示意：权重是大头，但 KV 缓存和开销的位置必须先留出来，留不出余量的配置就是在爆显存边缘运行。

3、7B：入门档，门槛低得意外

7B 是四档里最平易近人的一档。Q4 权重约 4.7GB，8GB 显存的显卡就能跑起来；显存有 12GB，就可以往上摸 Q8 甚至 FP16，质量直接拉满。这一档对硬件的宽容度高到什么程度？核显配大内存的笔记本，靠内存硬扛也能凑合跑，慢是慢点，但能用。

它的定位也要说清：7B 适合聊天、摘要、简单的写作辅助和本地尝鲜，指望它做复杂的推理和长代码，就有点为难它了。这一档的意义是零门槛入场：先不花钱升级，用手头设备把本地大模型这件事跑通。

4、14B：现在最值得跑的一档

如果说 7B 是入场券，14B 就是眼下本地运行的甜点。Q4 权重约 9GB，16GB 显存的显卡装得舒服，12GB显存紧一紧也能跑（余量小，长上下文要收着点）。这个尺寸的模型能力已经明显上了一个台阶：日常写作、翻译、代码辅助、一般的推理题，都能给出像样的答案。

为什么说它是甜点：再往上32B 的显存门槛直接翻倍；再往下7B 的能力短板明显。14B 正好卡在"主流显卡装得下、能力又够用"的交叉点上。第一次正经配本地大模型环境，默认从这一档起步。

5、32B：24GB 显存的分水岭

32B 的能力再进一步但门槛也陡然变陡。Q4 权重约 19.5GB加上 KV 缓存和开销，显存门槛被实打实顶到 24GB 这一档：二手 3090、新卡 4090 一线才是它的主场。

16GB 的卡不是完全没办法：可以把一半权重卸载到内存里，让 CPU 和显卡分摊。代价在速度一节细说，能跑但出字速度明显变慢，长回答等得让人心焦。这一档开始"装下"和"用着舒服"正式分家。

6、70B：先说结论，普通玩家别硬上

70B 是开源模型里的旗舰尺寸，能力最强门槛也最劝退：哪怕压到 Q4，权重也要约 41GB，单张消费级显卡无解；现在最大的消费卡也就 24GB 显存。

现实路线只剩三条：双张 24GB 卡拼显存；苹果高配那种大统一内存机型或者纯靠大内存卸载慢跑。最后这条要泼冷水：内存卸载跑 70B，出字速度是个位数 tok/s 的量级（经验量级），问一句等半分钟，它更像一个"能跑通"的演示而不是一个能用的工具。

普通玩家想用 70B 级别的能力，现阶段用在线 API 是更理性的选择，效果稳定还不用先掏一台机器的钱。本地跑 70B是发烧友的项目不是性价比的选项。

7、四档配置，一张表收齐

8、装得下之后，再谈跑多快

速度这笔账主角是显存带宽。生成回答时模型每吐一个 token，都要把全部权重从显存里过一遍；所以出字速度（tok/s）主要由"显存搬运有多快"决定而不是核心数量。同样是装得下带宽高的卡出字就是更快，这是同显存档位里拉开速度差距的关键。

速度要多快才够用？给个参照（量级经验）：人快速阅读大约相当于每秒 5–10 个 token 的消化速度；出字到 20 tok/s 上下，生成就已经快过阅读；50 tok/s 以上，体感就是流畅对话了。

四种典型跑法的速度量级对照。重点不在具体数字，在结构：纯显卡和带卸载之间差的是倍数，这也是为什么"能装下"和"值得用"是两回事。

CPU 卸载为什么慢也在这里讲透：权重放在内存里，每生成一个 token，数据都要经 PCIe 在内存和显存之间来回倒。通道带宽和显存带宽差着数量级，于是速度掉的不是百分之十几而是直接掉到几分之一。卸载是"能不能跑"的兜底方案不是"怎么跑得快"的方案。

9、显卡之外，还有三笔账

内存。只要考虑卸载路线或者想开长上下文，内存就得跟上：32GB 是起步线，认真玩 32B、70B 的卸载，内存要按 64GB 的量级准备。纯显卡装得下的玩法，对内存要求反而宽松。

硬盘。模型文件一个就是几 GB 到几十 GB，7B 到 70B 各备一两个、再留几个不同量化版本，上百 GB 就没了。给模型仓库留 200GB 量级的空闲不算过分，而且要放在固态上，每次加载模型都是把几十 GB 从硬盘搬进显存，机械盘的等待会让人印象深刻。

电源与散热。本地推理是持续满载型负载，一跑就是几十分钟起步，电源按显卡满载功率留余量、机箱风道别堵，带过一句但别真忽略。

软件一侧反倒最不用操心：Ollama、LM Studio、llama.cpp 这类工具已经把门槛降到下载安装、选个模型就能聊。配置的所有纠结，都在上面这几笔硬件账里，跟软件选谁关系不大。

10、 四条路线，怎么选

本地跑大模型的四条路线。先按"想跑哪一档"定位路线，再按预算在路线里选硬件，顺序别反。

7B 随便跑，14B 是甜点，32B 先看显存有没有 24GB，70B 普通玩家先放一放。配机器时先算体积账；权重加 KV 缓存加开销，显存留足余量；再算速度账；同档之内认带宽。账算清了，本地大模型就没有玄学，只剩预算表。

声明：

全文体积数字为公式换算量级、速度为经验量级，均已就地标注；具体模型的实际文件与表现随版本和量化方案浮动，装机前以所选模型的实际文件大小再核一遍即可。