网易首页 > 网易号 > 正文 申请入驻

一场昂贵的工程排雷:DeepSeek为何要用昇腾死磕预训练?

0
分享至

在算力圈的江湖叙事里,一直存在着一条隐秘的分界线:用国产芯片做推理(给用户提供服务),叫支持国产;用国产芯片做基座预训练(从零训练千亿级大模型),常被视作地狱级难度。

现在,这条线正在被重量级玩家试探。

近日,据多家媒体援引产业链人士消息,DeepSeek下一代大模型DeepSeek V5,计划基于华为昇腾芯片进行预训练。

必须首先厘清一个事实边界:这是一项尚未官宣、仍在推进中的工程计划,绝非已经验证完成的既成事实。 此外,这并非国产算力在预训练上的零的突破。此前,科大讯飞星火 X2.5 曾披露基于昇腾万卡集群开展基座预训练工作(完整细节未对外公开);美团 LongCat-2.0 也已公开确认全程基于国产算力集群完成预训练与推理(厂商未逐一点名);昇腾官方也曾披露过数十个原生预训练模型。

在这个背景下,DeepSeek V5的动作之所以引发震动,是因为它是国内主打开源生态、极致性价比路线的头部模型厂商里,为数不多、分量最重的一次旗舰基座从零预训练尝试。如果跑通,它将证明国产算力底座不仅能用,而且能支撑世界级顶尖模型的从0到1。

跨越鸿沟:预训练与后训练的物种隔离

在探讨技术难度前,必须明确一个极易混淆的技术界定:全参数后训练(CPT)不等于从零开始的基座预训练。

据悉,在此前的V4-Pro阶段,已有项目披露依托昇腾完成过全参数后训练与增量续训的验证。但V5计划挑战的是基座预训练。后训练更多是让模型对齐特定任务,而基座预训练是从随机初始化开始,用海量数据调整万亿级参数。这对万卡集群的长时间稳定性、互联通信带宽以及软件栈的要求,完全不在一个量级。

目前,具体的芯片代际尚未披露,而不同代际在FP8支持、HBM带宽和超节点规模上存在代差,这是直接决定预训练效率天花板的先决条件。


软件栈与工程细节:最难的不是跑通,是静默错误

要把大模型放到昇腾上跑,就必须跨越从CUDA到昇腾CANN的鸿沟。好消息是,昇腾的 torch_npu NPU 后端已并入 PyTorch 上游主线,成为可独立安装的国产加速后端。对于简单模型,工具链可以自动适配;但对于DeepSeek自研MLA架构、动态路由MoE等高度定制的模型,底层算子库、集合通信库(HCCL)和定制化调度依然需要深度的手工重构。

在长达数月的万卡预训练中,最核心的效率锚点是 MFU(有效算力利用率),但决定能不能跑完的,是稳定性与精度一致性。

需要说明的是,后训练阶段的MFU通常低于纯预训练。在业界公开数据中,昇腾910C集群在跑DeepSeek-V4-Pro全参数后训练时,MFU约在34.9%(属河套学院项目自报数据,不可直接外推至V5从零预训练);而英伟达H100跑Dense基座在典型场景区间常可达40%-50%,但跑MoE架构受AlltoAll通信拖累,实际集群MFU也会回落至35%-42%区间。

万卡集群的真正挑战在于:单卡过热降频,部分场景下尚可依托拓扑感知调度做容错;但真正的致命杀手是集合通信层面的静默不一致。在MoE架构中,负载倾斜会引发专家退化与通信热点,叠加硬件级的静默错误,一旦未被 SDC(静默数据损坏)检测拦截,模型就会在不知不觉中退化。此时必须依赖强力的Checkpoint回滚兜底。这才是工程排雷中最磨人的隐性成本。

产业博弈:是备选,也是反向定义硬件

DeepSeek为什么宁愿承担巨额的迁移成本,也要蹚这趟浑水?

除了高端芯片断供的供应链安全焦虑外,更深层的动机在于:反向定义硬件架构 ——不再单纯让算法去适配现成芯片,而是算法团队参与到算子、指令集的协同设计里。正如此前团队在 CUDA 生态中推出 FlashMLA、DeepGEMM 等组件,通过算法-算子协同压榨算力效率一样,与昇腾团队的联合调优,有望在未来把单位Token的训练和推理成本压到极致。

但博弈是双向的。供应链风险不是被消除了,而是被置换了。 选择昇腾,就要面对国产芯片产能爬坡、良率以及更上游的硬约束——目前高端HBM依然由海外头部厂商主导,国产HBM仍在验证与小批量爬坡阶段。即便软件栈跑通,万卡集群的物理交付依然面临先进封装和机房液冷能力的考验。

此外,软硬深度绑定的收益是非可移植优化:一旦大模型架构发生颠覆性演进,此前为昇腾定制的算子可能变成沉没成本;而未来若要切换其他国产卡,又需重新适配。这恰恰说明,在很长一段时间内,按训练阶段拆分算力的混合策略会是主流:基座预训练优先跑国产算力,SFT、RLHF 和推理弹性池保留英伟达作为补充(跨芯片异构混卡训练因通信壁垒极高,短期很难成为主流)。与此同时,摩尔线程、沐曦等其他国产路线,也会持续在不同模型形态上争夺预训练场景的验证机会。

结语:不是大结局,而是新考场

一家头部厂商的试水,绝不等于国内云大厂会立刻全面迁移。门已经被推开了,但走不走得通,不靠宣言,靠冷酷的工程指标。

未来半年,我们可以用三个量化指标来验证这场排雷的成色(以官方披露为准):

1. MFU与集群规模:是否披露从零基座预训练部分的集群规模、总训练Tokens及平均MFU?(以当前910C公开基线作为参照:若950超节点基座预训练稳定MFU高于30%即是里程碑;25%–30%区间,只要 TCO 具备优势,同样具备落地价值)。

2. 同配方对齐:在固定随机种子、相同算子精度(FP8/BF16)、并行策略及数据顺序下,昇腾版V5能否在收敛曲线上与英伟达版完全对齐,且综合TCO具备商业竞争力?

3. 长时间运行指标:千卡/万卡连续训练的MTBF(平均无故障时间)有多长?断点续训的恢复耗时能否压缩在分钟级?

门是推开了,但走不走得通,最终要靠那条平稳下降的收敛曲线来投票。


【信息说明】

● 文中关于 DeepSeek V5 的计划及芯片归属引自产业链公开报道,尚未获得官方证实。

● 34.9% 的 MFU 数据出自河套学院相关项目披露,非 DeepSeek 官方预训练基准,不代表 V5 最终表现。

● 各类算力基准对比引自公开行业文献及典型场景测算。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

以色列飛飛
2026-11-16 08:30:21
赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

一盅情怀
2026-11-13 12:44:00
赖清德倒是会钻空子,他清楚大陆的决心,干脆想个“大聪明”对策

赖清德倒是会钻空子,他清楚大陆的决心,干脆想个“大聪明”对策

娱乐的宅急便
2026-11-17 03:46:52
社保想破局,别绕弯子:敢不敢刀刃向内,老百姓看得清

社保想破局,别绕弯子:敢不敢刀刃向内,老百姓看得清

阿芒娱乐说
2026-11-17 06:33:30
德国专家曾表示:中美战争之所以没有爆发,不是美国没有那个实力,而是现在的美国很有可能已经意识到了问题的严重性

德国专家曾表示:中美战争之所以没有爆发,不是美国没有那个实力,而是现在的美国很有可能已经意识到了问题的严重性

扶苏聊历史
2026-11-16 17:40:56
狂胜45分!还藏着三大主力?三分命中率58% 这支山西太恐怖

狂胜45分!还藏着三大主力?三分命中率58% 这支山西太恐怖

刘哥谈体育
2026-11-17 08:26:11
美国僵局还未破,特朗普大女儿就出面,干了件让亲爹进退两难的事

美国僵局还未破,特朗普大女儿就出面,干了件让亲爹进退两难的事

健身狂人
2026-11-17 08:01:12
马克龙发出警告 : 若切断对乌克兰的一切支持 , 法国将在欧洲陷入孤立

马克龙发出警告 : 若切断对乌克兰的一切支持 , 法国将在欧洲陷入孤立

巷北楠猫本尊
2026-11-16 15:24:18
除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

墨策讲历史
2026-11-12 12:47:12
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
研究者称DeepSeek等模型用被禁英伟达芯片训练

研究者称DeepSeek等模型用被禁英伟达芯片训练

码上闲叙
2026-11-14 22:56:58
西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

西安事变过后,毛主席第一时间去劝周恩来:不要成为第二个张学良

凡人侃史
2026-11-16 16:11:51
恭喜!王楠女儿打进全国八强,郭斌豪横奖励8888元,打脸所有质疑

恭喜!王楠女儿打进全国八强,郭斌豪横奖励8888元,打脸所有质疑

借你一生
2026-11-17 04:34:46
乌克兰被逼换卫星终端!马斯克掐断星链,反倒炸出一个大意外

乌克兰被逼换卫星终端!马斯克掐断星链,反倒炸出一个大意外

老马拉车莫少装
2026-11-16 14:29:44
江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

黄河新闻网吕梁
2026-11-16 15:00:42
山东省政府原参事袭燕一审被判十二年六个月:利用职务便利为有关单位或个人提供帮助,非法收受财物7881万余元,受贿数额特别巨大

山东省政府原参事袭燕一审被判十二年六个月:利用职务便利为有关单位或个人提供帮助,非法收受财物7881万余元,受贿数额特别巨大

大风新闻
2026-11-16 21:43:05
曹可凡不再隐瞒!发文揭开刘翔私下人品,原来孙海平当初没说谎

曹可凡不再隐瞒!发文揭开刘翔私下人品,原来孙海平当初没说谎

草莓信箱
2026-09-16 16:31:27
世界500强大洗牌:美国减少38家,日本减少67家,那么中国呢?

世界500强大洗牌:美国减少38家,日本减少67家,那么中国呢?

牛锅巴小钒
2026-11-17 07:48:17
英媒:黄仁勋留了后手,有意重返英伟达,其实英伟达也为他回归留好了后门

英媒:黄仁勋留了后手,有意重返英伟达,其实英伟达也为他回归留好了后门

王新喜
2026-11-16 11:17:09
大婚在即?霍启山和娜然私生活,被扒底朝天,和我们想的不一样

大婚在即?霍启山和娜然私生活,被扒底朝天,和我们想的不一样

皮皮电影
2026-11-16 09:20:32
2026-11-17 09:48:49
舒书 incentive-icons
舒书
战略与组织顾问,聚焦 AI 与科技公司深度观察,公众号青萍见
70文章数 8关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
艺术
本地
数码
公开课

小伙表示连玩7天《GTA6》 这下PS5可惨了

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版