网易首页 > 网易号 > 正文 申请入驻

全球领先!千卡超节点算力巨无霸,成功点亮

0
分享至


新智元报道


2026 年 10 月 15 日,阶跃星辰正式开源新一代旗舰模型 Step 5 Preview,在 AI 编程、软件工程、专业知识工作、金融等任务上达到前沿水平。

此次 Step 5 Preview 一经开源发布,昇腾就基于 vLLM 推理引擎实现了 0Day 支持,并围绕模型架构与硬件特性实现了高效推理优化。

华为与阶跃星辰持续深化合作,10 月 15 日首套 1024 卡 Atlas 950 SuperPoD 液冷超节点点亮,为 Step 系列大模型提供算力服务,性能持平海外先进算力。

Step 5 Preview:全能前沿,架构革新

Step 5 Preview 采用稀疏 MoE 架构,总参数量 600B,每个 Token 激活 27B 参数,支持 1M Token 上下文窗口和图像、视频的多模态输入。

同时,Step 5 Preview 在软件工程、Agent、专业工作和金融等多个方向上都取得了有竞争力的表现。


Step 5 Preview 与主流前沿模型在 Agentic Benchmark 上的性能对比

Step 5 Preview 采用了全新的 Sparse Attention 结构,支持 1M Token 上下文窗口,先通过 Indexer 选择 Token,在选中 Token 的范围内计算 Self Attention。

为了解决 Index 计算瓶颈的问题,通过以 Region(8 个 Token)为单位压缩 Indexer Key 兼顾效率与性能。

首套 1024 卡昇腾 950 液冷超节点点亮

10 月 15 日,首套 1024 卡 Atlas 950 SuperPoD 液冷超节点随着 Step 5 Preview 的开源同步上线点亮。

昇腾 Atlas 950 SuperPoD 液冷超节点基于灵衢高速互联架构与超节点技术体系打造,是业界规模最大的 1024 卡超节点产品,可提供 1 EFLOPS FP8、2 EFLOPS FP4 精度澎湃算力,高效适配万亿参数大模型的推理场景需求。

昇腾 950 超节点具备 256TB 全局统一内存编址能力、NPU 卡间达 TB 级互联带宽、时延低至 3μs,彻底突破传统集群内计算与存储资源的通信瓶颈;通过系统性架构创新与全域资源统一调度,实现了整套集群算力的高效释放与稳定运行。


首套 1024 卡昇腾 Atlas 950 SuperPoD 液冷超节点点亮

阶跃星辰将与昇腾持续探索大模型推理的性能极限,挖掘模型落地应用价值,共同践行「智能阶跃,十倍每一个人的可能」的发展愿景。

昇腾:软硬协同优化,
释放 950 超节点强大推理潜能

昇腾基于 vLLM Ascend 推理引擎,围绕 Step 5 Preview 模型架构与 950 超节点硬件特性,协同构建高效的推理优化方案。

从 Ascend C 与 Triton 融合算子,到多流并行、计算空泡优化,再到 MTP 投机解码、NPU Graph 图执行,持续打通模型、算子和推理框架之间的优化链路,为 Step 5 Preview 部署提供高效算力支撑。

算子优化:Ascend C 与 Triton 协同,兼顾极致性能与开发效率

针对 Step 5 Preview 的稀疏注意力、模型连接结构与混合专家网络,昇腾结合 CANN 算子能力与 Triton 编程将分散的计算和数据处理实现高效执行。

1、IndexerLogits 与 SparseAttn Ascend C 算子:昇腾 950 超节点新增 FP8 算力,支持 IndexerLogits 的原生 FP8 计算,通过将 Token 打分与 TopK、Sort 等 Token 筛选的过程融合为 Indexer Logits Ascend C 算子,使用成对 Region 搬移提升搬运带宽;借助 SparseAttn 算子使用 Vector 单元的 SIMD 能力替代 Scalar 运算。

2、Triton 融合 Kernel 加速:围绕 Norm、Indexer key 压缩,实现关键融合算子(QK Norm、Index Key 压缩等)优化,通过添加 AutoTune,自动寻优昇腾亲和的 Tiling 大小,使能 950 超节点中的 SIMT 能力,通过 QK Norm 融合和 Indexer Key 压缩实现性能加速。

3、MoE 专家路由优化:围绕 Hash TopK 专家选择,优化路由前处理与精度传递,减少跨层重复操作。

4、MXFP8 量化:昇腾 950 超节点硬件单元实现了 MXFP8 的反量化,通过重新量化权重为 MXFP8 格式,在精度几乎无损的情况下极致发挥 950 超节点的硬件算力。

从核心注意力到专家路由,从融合计算到数据搬运优化,多层次算子协同使 Step 5 Preview 的架构特点与昇腾硬件能力更紧密地结合。

通信优化:FullMesh + CLOS 融合架构与算法创新,大幅提升通信性能

1、FullMesh+CLOS 最大化带宽:950 超节点可以同时利用 FullMesh + CLOS 进行通信,最大化提升 Allreduce、Allgather、ReduceScatter 等通信原语的性能。

2、Dispatch Server 级去重,减少跨服务器重复传输:在昇腾 950 超节点的高吞吐方案中,同一 Token 可能被多个专家选中,如果这些专家位于同一远端服务器,则通过跨服务器先发送一份主副本,再在服务器内分发,减少重复流量。

面对多个发送方,按组分发任务,结合并行通道与批量提交,减少零散发送,让数据传输持续推进。

3、Combine 通过双缓冲,实现 Reduce 与通信回传重叠:专家计算完成后,先对同一输入对应的多份结果进行局部归并,再按数据块回传。

两个输出缓冲区交替使用,让上一批结果回传的同时,下一批继续进行 Reduce(归并),减少归并与回传之间的等待。

框架优化:序列并行、多流并行、Tiling 下沉协同,减少重复操作与调度开销

推理效率不仅取决于算子的执行速度,也取决推理框架如何最大程度减少重复操作,将没有数据依赖的计算并行,通过图模式和异步调度,减少计算单元的等待,让各阶段衔接得更紧密。

1、MoE 序列并行:围绕模型连接结构、引入序列并行降低冗余计算和通信。

2、Vector/Cube/通信多流并行:结合昇腾向量、矩阵计算单元以及通信单元可以并行执行的特点,通过多流调度组织计算与访存交叠,减少串行等待和计算空泡,提高硬件资源利用效率。

3、NPU Graph 图执行优化:将解码阶段的计算纳入图执行,结合持久化缓冲区和输出复用,减少重复调度、临时分配与数据拷贝,使高频解码过程更紧凑。

4、多 Token 预测优化与 Tiling 下沉:适配 Step 系列模型的多 Token 预测(MTP)机制,提升单步生成效率。

通过 Attention 算子的 Tiling 下沉,将主模型与草稿模型、每步推理之间的断流消除,从而减少 Device 空泡,提升运行效率,并借助 950 超节点的高带宽,实现极致的高吞吐。

5、Prefill Indexer Key 压缩阶段 Slot 预分配:通过将模型内动态搜索可用的 Slot(用于存储 Index Key 压缩后的位置)改为预分配,消除了层间的冗余操作。

通过算子执行、图运行与调度策略的协同设计,适配方案从多个层面压缩推理过程中的非计算开销,持续挖掘硬件与模型的性能潜力。

从算子融合到通信优化、框架优化,昇腾将持续推动 Step 5 Preview 的推理能力向实际应用转化,为长上下文、多模态与智能体场景提供高效算力支撑。

Step 5 Preview 昇腾量化版本推理部署指导

用户及开发者可访问以下链接获取 Step 5 Preview昇腾量化版本的推理部署指导,进行体验(实际性能与部署方案、参数配置及软硬件环境等因素相关,并将持续优化提升):

vLLM Ascend:

https://docs.vllm.ai/projects/ascend/en/latest/tutorials/models/Step-5-Preview.html

注:文中性能比例来自对应算子或局部链路的专项对比测试,实际收益随硬件配置与业务负载变化。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
夫妻花67.3万买两只劳力士手表,不挑选也不试戴,还说不清购买原因,店员果断报警,民警上门时两人正把表打包寄出

夫妻花67.3万买两只劳力士手表,不挑选也不试戴,还说不清购买原因,店员果断报警,民警上门时两人正把表打包寄出

蓬勃新闻
2026-10-17 09:59:41
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
港珠澳大桥收支出炉:运行近8年,总投资近1269亿,如今回本了吗?

港珠澳大桥收支出炉:运行近8年,总投资近1269亿,如今回本了吗?

抽象派大师
2026-08-26 20:04:57
9.24新政2周年,为什么套在3700多点的投资者,感受比2689点时还痛苦?类平准基金大手笔进场,能扭转A股的颓势吗?

9.24新政2周年,为什么套在3700多点的投资者,感受比2689点时还痛苦?类平准基金大手笔进场,能扭转A股的颓势吗?

李志林
2026-10-18 07:10:13
扎卡里亚被曝已遭解职

扎卡里亚被曝已遭解职

闪电新闻
2026-10-17 10:57:14
闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

闪评丨警惕高市诡计:表面说“继承立场” 实则为战犯招魂

国际在线
2026-10-17 20:11:06
杨瀚森季前赛总结:存4大进步基本坐稳第三中锋 面临机遇与挑战

杨瀚森季前赛总结:存4大进步基本坐稳第三中锋 面临机遇与挑战

醉卧浮生
2026-10-18 00:08:31
内塔尼亚胡:我已决心推翻伊朗政权,绝不会与拥有核武器的伊朗共存;如果我当选,下一届政府不会允许巴勒斯坦建国

内塔尼亚胡:我已决心推翻伊朗政权,绝不会与拥有核武器的伊朗共存;如果我当选,下一届政府不会允许巴勒斯坦建国

扬子晚报
2026-10-18 20:08:01
女教师带出6届状元班,评优却落榜,转投私立时,全年级都来挽留

女教师带出6届状元班,评优却落榜,转投私立时,全年级都来挽留

泽泽先生
2025-09-09 14:43:10
“不加钱就不演了” 他赌剧组不敢换人,结果导演真把素材全废了

“不加钱就不演了” 他赌剧组不敢换人,结果导演真把素材全废了

凡知
2026-10-18 10:34:20
德明利预计第三季营收106亿到126亿 市值4个月已蒸发超1500亿

德明利预计第三季营收106亿到126亿 市值4个月已蒸发超1500亿

雷递
2026-10-18 17:43:14
来自南京的莫斯科大学留学生,披“旭日旗”上课!王外长:中国人的败类

来自南京的莫斯科大学留学生,披“旭日旗”上课!王外长:中国人的败类

狐狸先森讲升学规划
2026-10-18 11:32:38
本田全新SUV!五代混动,11月27日见

本田全新SUV!五代混动,11月27日见

手机评测室
2026-10-18 11:49:09
跟队记者:法比奥受伤我录了4分39秒,补时两分钟怎么来的?

跟队记者:法比奥受伤我录了4分39秒,补时两分钟怎么来的?

懂球帝
2026-10-18 20:19:05
第二个许家印?又一地产大佬暴雷,涉案超200亿,现已被立案调查

第二个许家印?又一地产大佬暴雷,涉案超200亿,现已被立案调查

史之韵
2026-10-14 01:39:35
为什么说美军无人机新进展更像“高科技叠叠乐”?

为什么说美军无人机新进展更像“高科技叠叠乐”?

小眼睛小世界
2026-10-18 04:20:32
临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

临死拉个垫背的,海牛0比4惨败辽宁铁人,或助力武汉三镇进军中甲

姜大叔侃球
2026-10-17 21:33:36
11人正高、副高集体被撤销!倒查风暴来了!

11人正高、副高集体被撤销!倒查风暴来了!

测绘之家
2026-10-14 21:14:53
沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

沉默45年,中国终于迎来第二轮“严打”!目标改变总体战正式打响

闻识
2026-05-04 08:59:03
网曝复旦对巴基斯坦留学生放重磅福利!免学费、住宿费,享医保,提供全额奖学金

网曝复旦对巴基斯坦留学生放重磅福利!免学费、住宿费,享医保,提供全额奖学金

小徐讲八卦
2026-10-17 07:38:06
2026-10-18 21:04:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16460文章数 67164关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

男子把存20万银行卡藏鞋里寄出 老父步行近10公里报案

头条要闻

男子把存20万银行卡藏鞋里寄出 老父步行近10公里报案

体育要闻

巴萨5-2贝蒂斯11连胜 亚马尔传射金球先生处子球

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

亲子
数码
家居
本地
健康

亲子要闻

最新研究发现:一种常用断奶药,或降低乳腺癌风险70%?

数码要闻

149元!米物M310 Pro充电宝发布 自带70厘米45W伸缩快充线

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

看着很健康的人,怎么会突然猝死?

无障碍浏览 进入关怀版