天数智芯天垓 300 第三方实测出炉,在大模型主流 PD 分离推理场景下单卡吞吐达到 H200 的 1.05 倍,MoE 模型最高领先 15%。但要理性看待:是特定业务场景领先,并非全场景碾压,生态差距仍是最大考验。
![]()
10 月 28 日,天数智芯在上海媒体开放日公开新一代通用 GPU天垓 300(俗称天垓 3) 第三方实测数据,由上海仪电完成对比测试。在国内大模型厂商最常用的 PD 分离推理部署方案下,天垓 300 端到端吞吐小幅超过英伟达 H200,这也是国内首款在真实业务工况下,推理性能站上 H200 档位的国产通用 GPGPU,被视作国产算力追赶路上的标志性一步。
![]()
天垓 300 基于自研天枢架构打造,搭载 144GB HBM 显存,原生支持 FP4、FP8、BF16、FP16 多精度计算,专门针对大模型长上下文、MoE 混合专家模型、多模态生成、搜广推在线推荐等互联网主流业务做了深度算子优化,配套自研完整软件栈,支持多卡高速互联组网。
![]()
实测成绩单,我们可以清晰看到优势区间:
大模型 PD 分离推理,整体端到端吞吐为 H200 的 1.05 倍;
64K 长上下文 Attention 计算,性能同样达到 H200 的 1.05 倍;
GLM-5.3 MoE 模型、64K 上下文场景,吞吐优势扩大至 1.15 倍;
8K–128K 长上下文 Agent 任务,首字响应延迟相比 H200 下降 10%~30%;
文生图、文生视频多模态推理吞吐提升 2%–5%;
搜广推在线推荐业务,吞吐提升 21%,轻算子时延降低 26%。
除推理之外,现场同步放出训练侧参考数据:Qwen3-32B、8 卡 FP8 训练场景,天垓 300 单卡吞吐可达 H100 的 1.33 倍。同时官方推出 IXL144 高密度超节点方案,一个标准机柜可塞入 144 张天垓 300,合计约 10.1TB 显存,官方测算 Token 综合成本相比海外主流方案下降约 40%,主打大规模推理集群降本需求。
消息一出,迅速在算力圈引发热议,但业内也提醒大家,不要简单理解成 “全场景碾压 H200”,这里有非常关键的边界条件。
本次领先,限定在PD 分离推理这套固定部署链路,是面向上线大模型的业务吞吐对比,不是理论算力、科学计算、渲染、通用仿真等所有场景都占优。英伟达 H200 依托 CUDA 生态积累多年,算子库、工具链、集群调度、万卡级长时间稳定运维、模型迁移适配的成熟度,依然是现阶段国产 GPU 短期内难以追上的短板。很多小众模型、自研算子、冷门科研任务,依然更适配 CUDA 体系。
换个角度看,这次突破最大的价值,不在于纸面跑分,而在于从芯片、编译器、算子库到整机柜交付,整套链路跑通并完成第三方对标验证。过去很多国产芯片的跑分,往往是单算子、理想化环境;而这次直接采用互联网大厂真实上线的推理架构,对标国内云厂商最常用的 H200 推理卡,意味着国产算力已经具备进入主流 AI 业务集群、做国产化替换的基础条件。
国产 GPU 赛道,已经告别早年 “能用就行” 的阶段,进入 “同场景正面竞争 TCO” 的新阶段。从单卡性能,到整机柜、集群调度、软件栈、运维服务,比拼的是整套算力系统,而不只是一颗芯片。
![]()
当然,追赶之路远未结束。性能对标只是第一关,生态兼容、持续迭代、大规模稳定交付、客户迁移成本,都是接下来天垓 300 以及所有国产 GPU 需要持续打磨的课题。对于国内 AI 产业而言,多一条自主可控、成本可控的算力选择,本身就是一件意义重大的事。
未来,随着大模型、Agent、多模态业务持续爆发,算力供给的自主化需求只会越来越强。天垓 300 这次实测,是国产算力向上突破的一个重要信号,但距离全面比肩海外巨头,还有很长的路要走。
你觉得国产 GPU 接下来最大难点是性能,还是软件生态?欢迎在评论区聊聊。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.