老卡爆发：3张Tesla V100硬刚763B级DeepSeek，本地大模型玩出花

硅基观点｜老卡逆袭！3张Tesla V100硬刚763B DeepSeek，71.7 tok/s本地狂飙，Project Maya让大模型彻底“平民化”763B级DeepSeek本地跑！3张老V100=71.7 tok/s。Project Maya封神从数据中心到二手显卡：Project Maya如何让DeepSeek-V4.1-Flash-1017在普通硬件上流畅运行？看完这篇，你会重新理解“本地部署”的边界。

昨晚刷到Peasant Smith（@PeasantSmith）的一条推特，瞬间把我看愣了。

不是Qwen3.8 Flash Next，而是DeepSeek V4.1-Flash-1017——一个总参数约748B~763B的MoE巨兽，正在3张Tesla V100 32GB + DDR4上跑得飞起。监控面板清清楚楚：

• Decode吞吐：71.7 tok/s
• Prefill：446 tok/s
• 当前上下文：68k / 256k
• VRAM命中率：99.1%
• 单token延迟：20.0 ms
• 已经在“Thinking”模式里输出了13692 tokens，耗时6分36秒

这配置什么水平？Tesla V100是2017年的数据中心卡，单卡32GB HBM2，现在二手市场价格已经相当友好。三张加起来也就96GB显存，再配上普通DDR4内存和NVMe，居然能把这头“巨鲸”喂得服服帖帖。

这不是什么官方Demo，而是开源项目Project Maya的实战成果。GitHub仓库（mw00/project-maya）已经更新到支持DeepSeek-V4.1-Flash-1017，提供自研量化版本Maya-S（默认推荐），专家权重压到2-3bit，整体体积约340GB左右，还能保持与原模型92.6%的next-token一致性。

为什么这件事重要？

DeepSeek-V4.1-Flash-1017是DeepSeek在10月17日左右放出的小版本更新。它在原V4.1-Flash基础上，推理、编码、Agent和视觉任务全面提升，官方宣称任务完成更快、输出更短，性能-成本曲线继续往前推。架构依然是Causal Encoder-Decoder + MoE，骨干约552B + Engram约196B，prefill激活8B、decode激活16B，支持1M上下文。

按传统思路，这种体量的模型几乎只能活在数据中心里。H100、B200堆起来才是“正规军”。可Project Maya用一套相当聪明的策略打破了这个认知：

把对话中最常用的专家常驻GPU，次常用放在系统内存，剩下的直接从NVMe SSD按需拉取。再结合对硬件的自动探测与调优，以及OpenAI/Anthropic兼容API、浏览器监控面板、多请求并发，普通人手里的老卡、甚至AMD卡（实验性支持）都能参与这场游戏。

Peasant Smith本人是个“老派IT老哥”，Bio里写着“把AI硬塞进旧硬件”。他持续在推特上展示各种“不可能”的组合——从单卡到多卡，从新卡到V100这种“文物”。这次3×V100的成绩，直接把“本地跑超大模型”的门槛又往下砸了一截。

看监控里的速度历史条和上下文深度，你会明显感觉到：这不是勉强能跑，而是已经进入“可用”区间。Prefill还会继续优化，未来空间还很大。

硅基观点：本地推理的“民主化”正在加速

过去两年，我们习惯了“模型越大越好，但越大越贵、越难落地”。开源社区却在另一条路上狂奔——量化、卸载、稀疏激活、专家路由、SSD缓存……把数据中心的能力一点点拆解到消费级甚至二手硬件上。

Project Maya不是第一个，也不会是最后一个。但它把GLM-5.3-Flash（321B）和DeepSeek-V4.1-Flash-1017这两头巨兽同时照顾得不错，而且一键安装、带监控、API兼容，体验已经相当完整。对于想自己部署Agent、本地编程助手、隐私敏感场景的开发者来说，这是真正有用的工具，而不是玩具。

当然，现实也要清醒：

• 量化后的精度虽高（92.6% next-token一致），但和官方API的FP8/BF16仍有差距；
• SSD读写压力、PCIe带宽、内存带宽都会成为瓶颈；
• 长时间高负载下，老卡的功耗和稳定性需要留意。

但这些都不妨碍它传递一个信号：大模型不再是“有钱人的游戏”。当你能用三年前的数据中心卡跑起接近前沿的模型时，整个生态的想象空间会被重新打开——个人实验室、中小团队、高校课题组，都可以用更低成本验证想法。