网易首页 > 网易号 > 正文 申请入驻

12张二手英伟达V100:律师自建AI集群跑DeepSeek,最高每秒184个词元

0
分享至

来源:市场资讯

(来源:IT之家)

IT之家 11 月 21 日消息,律师 u/TumbleweedNew6515 昨日(11 月 20 日)在 Reddit 社区发帖,斥资 9,450 美元(IT之家注:现汇率约合 63,239 元人民币)使用 12 张二手英伟达 V100 显卡搭建私人 AI 服务器,本地运行 DeepSeek-V4.1-Flash,集群最高吞吐量达到每秒 184 个词元。


在硬件部分,该律师使用 12 张英伟达 NVIDIA Tesla V100 SXM2 32GB 搭建,通过 NVLink 与 PCIe 组成可协同推理的本地 AI 集群,整套硬件采购价约 9,450 美元(现汇率约合 63,239 元人民币)。

这套系统采用 3 个流水线阶段(PP3)× 每阶段 4 卡张量并行(TP4)的结构,系统运行的是 DeepSeek-V4.1-Flash,并采用 4-bit NVFP4 量化。发帖者称,每个专家被压缩至约 15,360 个参数,使 12 张 V100 能分别承载模型中的专家分片。

配置3× DGX Spark(TP3、SGLang、MXFP4 专家)4× DGX Spark(TP4;三堆叠)12× V100(本次配置)单请求,代码未发布125(SGLang)/ 138(TensorFold 4.0 bpw)/ 136(vLLM + DSpark)153–184 单请求,普通文本38–5179–8883–95 预填充,长提示词约 2,0003,100–3,300(TensorFold)/ 4,900–5,000(SGLang,真实文本)/ 8,500(vLLM + DSpark,32K–128K)4,500–4,700 多请求4 个流合计 8532 个流时 290(TensorFold)/ 16 个流时 340–570(SGLang,从散文到结构化)3 个流时 344–443;它不是批量解码引擎上下文配置为 256K1M配置为 524K

性能方面,该网友的测试结果如下:

上下文长度首个 token(冷启动)预填充速度(tok/s)代码法律普通文本三个代码请求合计首个 token(文档已缓存)1K0.7 秒1,567184102864430.2 秒8K2.5 秒3,26717693904210.2 秒32K7.3 秒4,47817692954040.3 秒64K13.9 秒4,69715793833640.3 秒128K28.1 秒4,67015793863600.4 秒256K58.0 秒4,51815392853440.6 秒

这位用户称,在单请求、单流场景下,该服务器优于已公开的 4 台英伟达 DGX Spark 组合,代码生成速度快约 15% 至 45%,普通文本生成速度也更高。

整套系统成本约 9,450 美元(现汇率约合 63,239 元人民币),约为三台 DGX Spark 组合价格的一半;不过,其代价是功耗最高可达约 2,100W,且噪音较大,并不适合普通办公环境。


参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1-4主场完败!英超大冷门:11.5亿豪门4轮3负 各项赛事5场1胜仅赢曼联

1-4主场完败!英超大冷门:11.5亿豪门4轮3负 各项赛事5场1胜仅赢曼联

狍子歪解体坛
2026-11-22 00:59:32
越南通过新《刑法》,已经判处死刑、但尚未执行的相关案件,由越南最高人民法院院长将刑罚改为无期徒刑

越南通过新《刑法》,已经判处死刑、但尚未执行的相关案件,由越南最高人民法院院长将刑罚改为无期徒刑

法律学堂
2026-11-22 00:08:21
C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

体育世界
2026-11-21 20:10:54
慌啥子嘛,越来越不对劲了

慌啥子嘛,越来越不对劲了

大张的自留地
2026-11-21 13:02:04
日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

台州交通广播
2026-11-21 23:09:45
迈阿密国际雪上加霜!门将送点,卢扬飞铲染红,主帅怒摔水瓶

迈阿密国际雪上加霜!门将送点,卢扬飞铲染红,主帅怒摔水瓶

奥拜尔
2026-11-22 07:56:04
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

在深圳坐车不拉窗帘,特朗普自曝:我在车上仔细观察,深圳街道干净得令人难以置信

第一财经资讯
2026-11-21 17:52:44
女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

上观新闻
2026-11-22 06:59:45
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
破坏家庭,不正当交流!跑步被贴上负面标签

破坏家庭,不正当交流!跑步被贴上负面标签

跑者排球视角
2026-11-21 08:36:33
逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

火山詩话
2026-11-20 12:08:28
男子侵犯女友被判3年后续:出狱后女友找他复合,一个月后男子杀死女友

男子侵犯女友被判3年后续:出狱后女友找他复合,一个月后男子杀死女友

江山挥笔
2026-11-21 21:31:42
马杜埃凯中柱+救主,阿森纳2-2纽卡五连胜终结,下轮主场大战蓝月军团

马杜埃凯中柱+救主,阿森纳2-2纽卡五连胜终结,下轮主场大战蓝月军团

钉钉陌上花开
2026-11-22 05:18:30
泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

泽连斯基:若冲突不尽快结束,乌克兰将需要西方伙伴提供更多巨额资金

阿尔卑斯瞭望
2026-11-21 17:55:36
A股:不必再等明天开盘了,行情已经十分明朗,周一没有任何意外了

A股:不必再等明天开盘了,行情已经十分明朗,周一没有任何意外了

财经大拿
2026-11-22 06:00:25
美媒曝光黄仁勋被董事会罢免的主要原因

美媒曝光黄仁勋被董事会罢免的主要原因

新浪财经
2026-11-21 10:11:55
金价跌势凌厉,多家银行发布紧急提示

金价跌势凌厉,多家银行发布紧急提示

澎湃新闻
2026-11-22 08:47:03
女跑者的穿搭,让人浮想联翩

女跑者的穿搭,让人浮想联翩

跑者排球视角
2026-11-22 07:40:42
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
2026-11-22 09:48:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5580824文章数 10054关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
旅游
本地
时尚
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版