每月电费几十美元，她却为本地大模型搭进去40小时

Sarah是一家中型物流公司的工程总监。触发她下单一块本地GPU的，是一张单月8000美元的云端推理账单。硬件周二到货，周五她跑通了CUDA，第三周第一条流水线开始运转。

第一个完整月过去，最让她意外的不是算力，而是电费。一块GPU全天候运行，同时支撑多条自动化工作流，其中一条按计划触发、每次运行发起数十次模型调用、从不休眠，每天至少十万token。电费账单不算高——不是免费，但相比同等调用量的云端API支出，只是一个零头。

她盯着那个数字看了很久。按这个请求量，在顶级云端API上跑一个繁忙的下午，花费就超过这张电费单。但真正让她冷静下来的，是另一笔账：电费根本不是真正的成本，差得远。

三个月的真实账本

把“省下API费用”挂在嘴边的自建项目，大多是在骗自己。她给出的实际数字是：自建方案按三个月平均，每月58到73美元，已包含硬件摊销，跑的是14B模型，每天十万token以上；同等推理量（估算约每天50万token，含输入输出）走云端顶级API，每月180到240美元。

账算得通，但有前提：高调用量、重复性任务（工单分类、信息抽取、结构化输出）、数据敏感不能出网，并且接受“很好”而不是“最强”。如果每天调用不到100次，把时间成本老实算进去，API更便宜。

她给出的经济盈亏平衡点大致是3到4个月：一块500到600美元的GPU，对比每月180到240美元的云端等价成本。低于这个调用量门槛，API胜出，尤其是把搭建工时计入之后。

没人写进表格的隐藏成本

“本地推理免费”的真实代价，是前三个月里整整40个小时，而且和搭建AI系统毫无关系。

• 宿主操作系统内核更新后CUDA驱动冲突——4小时
• Docker网络变更后Ollama主机名解析失效——6小时
• 模型静默输出损坏的JSON，最后查出是GPU显存分配bug——8小时
• 批处理任务中GPU利用率卡在60%，原因至今没完全搞清——3小时性能分析
• 其余时间花在配置漂移、模型重新下载和Ollama版本锁定上

这40小时换来了什么？她承认，是并发负载下推理引擎如何分配显存、Docker网络与GPU直通在自建NAS上如何相互作用、上下文窗口大小如何影响系统内存而不只是显存——这些是基准测试里看不到的。这些知识已经进入她的系统设计方式。它不是免费的，付的是最贵的货币。

问题不在于你会不会付这笔成本，你一定会。问题在于付的时候是否睁着眼。云端API调用一发生就产生费用；本地推理调用消耗的是时间，隐形地摊在持有期的几个月里。两者都真实，只有一个会出现在账单上。

瓶颈不在你以为的地方

几乎所有本地大模型指南都盯着显存，显存确实重要。但她在系统内存上先撞了墙，远早于显存上限。大上下文窗口让宿主系统频繁换页，推理慢到爬行，GPU的优势被抵消干净。解决办法不是换更好的GPU，而是加系统内存——这套内存对实际吞吐的提升，超过她试过的任何模型优化。跑14B以上模型加长上下文，系统内存要按重要部件来配。

隐私才是真正的决策依据

调用量是表格里的论证，隐私是另一种论证，也是真正推动她做决定的那一个。

她的流水线处理什么：文档摄取工作流里的结构化记录、版本历史和每一版生成输出；表单自动化里的联系方式、偏好数据、个人陈述；一个每日反思系统，记录她担心什么、在推进什么、怎么看待同事；还有基础设施健康监控，哪些服务在跑、处于什么状态。这些内容一个token都不出这栋楼，不流向任何云厂商。跑在三英尺外一块GPU上，模型没有网络访问，没有对外的日志，没有哪家公司的服务条款能拿走她的职业数据。

多数本地大模型文章把隐私写成加分项。她的看法相反：系统盘点一遍哪些工作流在处理个人数据，才会意识到有多少东西一直被随手发往第三方基础设施。本地推理改变的不只是成本公式，还有你愿意去建什么。

API仍然赢的地方

她并不讳言自己照常使用顶级云端API：前沿级推理任务，比如架构决策、复杂多步调试、需要真正写得好的文字；一次性任务，本地搭建开销超过直接调用；错误答案有真实后果、14B能力不够的场景；以及涉及公开数据、隐私不是变量、质量优先的任务。

14B的能力天花板是真实存在的。本地模型在分类、抽取、结构化输出和模式化代码补全上很出色，在细微判断和复杂推理链上不可靠。知道天花板在哪，按此路由。混合不是妥协，是正确的架构。

买GPU之前只有一个问题值得问：未来12个月，我是否会每天在这块硬件上跑100次以上，处理那些我不愿发给云端API的数据？是，就买，经济账和隐私账都成立。否，API更便宜、上手更快、零维护。为偶尔使用买硬件，还假装那40小时的基础设施工作不算成本，才是真正的错误。

电费不高，硬件摊销干净，内存升级每一块钱都值，40小时调试是预付的学费，知识已经变成结构。那台跑着她自动化流水线、盯着基础设施、处理每日反思的模型，就在三英尺外，在自己的硬件上思考，什么都不往外发。这就是真实成本，值得付——前提是买之前就知道自己买的是什么。