网易首页 > 网易号 > 正文 申请入驻

一场昂贵的工程排雷:DeepSeek为何要用昇腾死磕预训练?

0
分享至

在算力圈的江湖叙事里,一直存在着一条隐秘的分界线:用国产芯片做推理(给用户提供服务),叫支持国产;用国产芯片做基座预训练(从零训练千亿级大模型),常被视作地狱级难度。

现在,这条线正在被重量级玩家试探。

近日,据多家媒体援引产业链人士消息,DeepSeek下一代大模型DeepSeek V5,计划基于华为昇腾芯片进行预训练。

必须首先厘清一个事实边界:这是一项尚未官宣、仍在推进中的工程计划,绝非已经验证完成的既成事实。 此外,这并非国产算力在预训练上的零的突破。此前,科大讯飞星火 X2.5 曾披露基于昇腾万卡集群开展基座预训练工作(完整细节未对外公开);美团 LongCat-2.0 也已公开确认全程基于国产算力集群完成预训练与推理(厂商未逐一点名);昇腾官方也曾披露过数十个原生预训练模型。

在这个背景下,DeepSeek V5的动作之所以引发震动,是因为它是国内主打开源生态、极致性价比路线的头部模型厂商里,为数不多、分量最重的一次旗舰基座从零预训练尝试。如果跑通,它将证明国产算力底座不仅能用,而且能支撑世界级顶尖模型的从0到1。

跨越鸿沟:预训练与后训练的物种隔离

在探讨技术难度前,必须明确一个极易混淆的技术界定:全参数后训练(CPT)不等于从零开始的基座预训练。

据悉,在此前的V4-Pro阶段,已有项目披露依托昇腾完成过全参数后训练与增量续训的验证。但V5计划挑战的是基座预训练。后训练更多是让模型对齐特定任务,而基座预训练是从随机初始化开始,用海量数据调整万亿级参数。这对万卡集群的长时间稳定性、互联通信带宽以及软件栈的要求,完全不在一个量级。

目前,具体的芯片代际尚未披露,而不同代际在FP8支持、HBM带宽和超节点规模上存在代差,这是直接决定预训练效率天花板的先决条件。


软件栈与工程细节:最难的不是跑通,是静默错误

要把大模型放到昇腾上跑,就必须跨越从CUDA到昇腾CANN的鸿沟。好消息是,昇腾的 torch_npu NPU 后端已并入 PyTorch 上游主线,成为可独立安装的国产加速后端。对于简单模型,工具链可以自动适配;但对于DeepSeek自研MLA架构、动态路由MoE等高度定制的模型,底层算子库、集合通信库(HCCL)和定制化调度依然需要深度的手工重构。

在长达数月的万卡预训练中,最核心的效率锚点是 MFU(有效算力利用率),但决定能不能跑完的,是稳定性与精度一致性。

需要说明的是,后训练阶段的MFU通常低于纯预训练。在业界公开数据中,昇腾910C集群在跑DeepSeek-V4-Pro全参数后训练时,MFU约在34.9%(属河套学院项目自报数据,不可直接外推至V5从零预训练);而英伟达H100跑Dense基座在典型场景区间常可达40%-50%,但跑MoE架构受AlltoAll通信拖累,实际集群MFU也会回落至35%-42%区间。

万卡集群的真正挑战在于:单卡过热降频,部分场景下尚可依托拓扑感知调度做容错;但真正的致命杀手是集合通信层面的静默不一致。在MoE架构中,负载倾斜会引发专家退化与通信热点,叠加硬件级的静默错误,一旦未被 SDC(静默数据损坏)检测拦截,模型就会在不知不觉中退化。此时必须依赖强力的Checkpoint回滚兜底。这才是工程排雷中最磨人的隐性成本。

产业博弈:是备选,也是反向定义硬件

DeepSeek为什么宁愿承担巨额的迁移成本,也要蹚这趟浑水?

除了高端芯片断供的供应链安全焦虑外,更深层的动机在于:反向定义硬件架构 ——不再单纯让算法去适配现成芯片,而是算法团队参与到算子、指令集的协同设计里。正如此前团队在 CUDA 生态中推出 FlashMLA、DeepGEMM 等组件,通过算法-算子协同压榨算力效率一样,与昇腾团队的联合调优,有望在未来把单位Token的训练和推理成本压到极致。

但博弈是双向的。供应链风险不是被消除了,而是被置换了。 选择昇腾,就要面对国产芯片产能爬坡、良率以及更上游的硬约束——目前高端HBM依然由海外头部厂商主导,国产HBM仍在验证与小批量爬坡阶段。即便软件栈跑通,万卡集群的物理交付依然面临先进封装和机房液冷能力的考验。

此外,软硬深度绑定的收益是非可移植优化:一旦大模型架构发生颠覆性演进,此前为昇腾定制的算子可能变成沉没成本;而未来若要切换其他国产卡,又需重新适配。这恰恰说明,在很长一段时间内,按训练阶段拆分算力的混合策略会是主流:基座预训练优先跑国产算力,SFT、RLHF 和推理弹性池保留英伟达作为补充(跨芯片异构混卡训练因通信壁垒极高,短期很难成为主流)。与此同时,摩尔线程、沐曦等其他国产路线,也会持续在不同模型形态上争夺预训练场景的验证机会。

结语:不是大结局,而是新考场

一家头部厂商的试水,绝不等于国内云大厂会立刻全面迁移。门已经被推开了,但走不走得通,不靠宣言,靠冷酷的工程指标。

未来半年,我们可以用三个量化指标来验证这场排雷的成色(以官方披露为准):

1. MFU与集群规模:是否披露从零基座预训练部分的集群规模、总训练Tokens及平均MFU?(以当前910C公开基线作为参照:若950超节点基座预训练稳定MFU高于30%即是里程碑;25%–30%区间,只要 TCO 具备优势,同样具备落地价值)。

2. 同配方对齐:在固定随机种子、相同算子精度(FP8/BF16)、并行策略及数据顺序下,昇腾版V5能否在收敛曲线上与英伟达版完全对齐,且综合TCO具备商业竞争力?

3. 长时间运行指标:千卡/万卡连续训练的MTBF(平均无故障时间)有多长?断点续训的恢复耗时能否压缩在分钟级?

门是推开了,但走不走得通,最终要靠那条平稳下降的收敛曲线来投票。


【信息说明】

● 文中关于 DeepSeek V5 的计划及芯片归属引自产业链公开报道,尚未获得官方证实。

● 34.9% 的 MFU 数据出自河套学院相关项目披露,非 DeepSeek 官方预训练基准,不代表 V5 最终表现。

● 各类算力基准对比引自公开行业文献及典型场景测算。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
小哥因病截肢,回家后猫泪眼汪汪的看着他:别去打猎了,咪养你!

小哥因病截肢,回家后猫泪眼汪汪的看着他:别去打猎了,咪养你!

铲屎官阿伟
2026-11-16 15:56:17
为寻求变态刺激,男子多次迷晕妻子供陌生男子强奸,自己在场拍照!法院:构成轮奸,判11年

为寻求变态刺激,男子多次迷晕妻子供陌生男子强奸,自己在场拍照!法院:构成轮奸,判11年

一丝不苟的法律人
2026-10-15 09:31:24
上港队主帅穆斯卡特可能会在跟俱乐部续约前,为上港直接搞定三笔重量级续约

上港队主帅穆斯卡特可能会在跟俱乐部续约前,为上港直接搞定三笔重量级续约

振刚说足球
2026-11-17 09:16:46
田朴珺携国际财阀西安游,大牌披巾戒指狂炫富,王石秒变小跟班

田朴珺携国际财阀西安游,大牌披巾戒指狂炫富,王石秒变小跟班

全球时尚号
2026-11-14 19:08:54
“磨膝大户”被揪出,是跑步的10倍,医生:不想软骨磨光,早扔掉

“磨膝大户”被揪出,是跑步的10倍,医生:不想软骨磨光,早扔掉

医学原创故事会
2026-10-07 11:22:03
江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

江苏常熟一女子刚怀孕一个月,嫉妒男友疼爱3岁女儿将孩子捂死,案件即将宣判

黄河新闻网吕梁
2026-11-16 15:00:42
57岁泳装照封神,伊能静腰腹紧致状态在线,近来忙着录新综艺

57岁泳装照封神,伊能静腰腹紧致状态在线,近来忙着录新综艺

情感大头说说
2026-11-15 14:39:03
《提欧奥特曼》演员中田乃爱去世,年仅23岁

《提欧奥特曼》演员中田乃爱去世,年仅23岁

韩小娱
2026-11-16 15:25:44
美国人想不通:禁令不到1个月,DeepSeek干了一件让硅谷睡不着觉的事

美国人想不通:禁令不到1个月,DeepSeek干了一件让硅谷睡不着觉的事

互联鱼
2026-11-17 00:10:09
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
6亿打水漂?投资人揭《美人鱼2》不上映原因,劣迹艺人害惨周星驰

6亿打水漂?投资人揭《美人鱼2》不上映原因,劣迹艺人害惨周星驰

查尔菲的笔记
2025-09-02 00:48:54
儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

儿子考上清大4年没回家,母亲到学校去探望,招生办:查无此人

温情邮局
2025-09-28 11:57:16
特斯拉拟投30亿欧元扩建德国工厂 瞄准年产百万辆Cybercab

特斯拉拟投30亿欧元扩建德国工厂 瞄准年产百万辆Cybercab

财联社
2026-11-17 02:37:03
机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

机动车年检大势已定?从2027年开始,私家车年检可能面临5大变化

刘哥谈体育
2026-11-15 13:22:01
扳倒黄仁勋的5大势力,各个不简单,若换成马斯克,他能抗住吗

扳倒黄仁勋的5大势力,各个不简单,若换成马斯克,他能抗住吗

梦想的现实
2026-11-16 13:20:09
杨瀚森突然把开拓者认证撤了!这是要走的节奏?

杨瀚森突然把开拓者认证撤了!这是要走的节奏?

林子说事
2026-11-17 02:53:53
克洛普:荷兰队实力很强,这场5-0我们赢得非常艰难

克洛普:荷兰队实力很强,这场5-0我们赢得非常艰难

懂球帝
2026-11-17 08:40:06
重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

水泥土的搞笑
2026-11-16 14:51:37
一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

一个国家能蠢到什么程度?看看法国就明白了:法国黑人接近800万,巴黎新生儿里70%是黑人

怪味历史连连看
2026-09-08 01:55:32
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和贵妇圈沉默了

墨策讲历史
2026-11-16 02:20:06
2026-11-17 09:55:00
舒书 incentive-icons
舒书
战略与组织顾问,聚焦 AI 与科技公司深度观察,公众号青萍见
70文章数 8关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
亲子
健康
公开课
军事航空

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

亲子要闻

宝宝气人但是聪明的4个行为

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版