网易首页 > 网易号 > 正文 申请入驻

OpenAI公布首颗自研推理芯片成绩,下一代已进入制造阶段

0
分享至


8 月 25 日,OpenAI 公布了首款自研 AI 推理芯片 Jalapeño 的首批性能测试结果。

当时 OpenAI 只披露了较为概括的早期测试结果,称其第一代加速器每瓦性能将明显高于当时的先进水平。此次更新则首次给出了 Jalapeño 在多款公开大模型上的具体测试数据,包括 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T。

Jalapeño 是 OpenAI 第一款自研推理芯片,主要针对大语言模型推理设计。OpenAI 负责芯片架构设计,博通参与芯片实现、网络和连接技术,Celestica 则负责板卡、机架和系统集成等工作。OpenAI 此前表示,从初始设计到完成流片,Jalapeño 大约用了 9 个月。

为了解 Jalapeño 的实际性能,OpenAI 使用 SemiAnalysis 的公开基准测试工具 InferenceX 对其进行了测试,并将其与英伟达 GB200、GB300 系统进行比较,测试范围涵盖了从高吞吐量服务到高交互性、低延迟的应用场景。

SemiAnalysis 甚至在一份文档中写道:“在我们测试过的所有 Nvidia、AMD 和 Google 芯片上,OpenAI 在多个顶级开源模型上的表现都优于它们。”

从整体结果看,Jalapeño 最突出的特点是,在较低功耗下,同时实现了更高的推理吞吐量和更低的生成延迟。

OpenAI 公布的数据显示,在此次测试的三款模型上,Jalapeño 的峰值每瓦吞吐量是对比系统的 1.5 至 1.9 倍。与此同时,在强调低延迟和单用户生成速度的测试中,其表现也高于对比系统。

以 OpenAI 自己发布的 GPT-OSS 120B 为例,Jalapeño 的对比对象是英伟达 GB200。在峰值吞吐量下,Jalapeño 每千瓦最高可以处理约 8.54 万个 token/s,GB200 约为 4.5 万个,前者约为后者的 1.9 倍。


(来源:OpenAI)

在生成速度方面,Jalapeño 连续两个 token 之间的最短时间间隔为 0.69 毫秒,相当于单个用户每秒最高可以生成约 1,459 个 token;GB200 的这一数字约为 535 个 token/s。

在参数规模更大的 DeepSeek R1 上,OpenAI 将 Jalapeño 与 GB300 进行了比较。Jalapeño 的峰值每千瓦吞吐量约为 1.96 万 token/s,GB300 约为 1.18 万,前者约高 1.7 倍。

在低延迟状态下,Jalapeño 的单用户生成速度最高约为 700 token/s,GB300 约为 169 token/s,前者约为后者的 4.1 倍。


(来源:OpenAI)

测试中最大的模型是拥有约 1 万亿参数的 Kimi K2.5。在这款模型上,Jalapeño 每千瓦峰值吞吐量约为 1.82 万 token/s,GB300 约为 1.19 万,前者约高 1.5 倍。

在单用户生成速度上,Jalapeño 最高约为 694 token/s,GB300 约为 182 token/s,差距约为 3.8 倍。最低端到端延迟分别为 1.56 秒和 5.31 秒。

除了比较各自的最高性能,OpenAI 还给出了另一组测试结果:如果让 Jalapeño 和对比系统保持相同的单用户生成速度,再比较它们可以同时处理多少推理任务,Jalapeño 的吞吐量差距会进一步扩大。

以 DeepSeek R1 为例,当两套系统都维持在约 169 token/s 的单用户生成速度时,Jalapeño 每千瓦可以处理约 1.23 万 token/s,而 GB300 约为 118。按照这一口径计算,Jalapeño 的吞吐量达到 GB300 的约 104 倍。

在 GPT-OSS 120B 和 Kimi K2.5 上,类似测试得到的差距分别约为 53.7 倍和 56.1 倍。


(来源:OpenAI)

不过,这组数字并不意味着 Jalapeño 的芯片计算性能本身比 GB300 高 104 倍。它反映的是,在保持相同单用户生成速度的情况下,Jalapeño 能够同时承载更多推理任务。

功耗是此次测试中另一项重要指标。

Jalapeño 的额定功耗为 700W,此次作为对比的英伟达 GB200 和 GB300 分别按照 1,200W 和 1,400W 计算。OpenAI 表示,在实际测试中,Jalapeño 的持续功耗没有超过 550W,但计算每瓦性能时仍统一按照 700W 的额定功耗进行比较。

SemiAnalysis 此次进入 OpenAI 实验室查看了 Jalapeño,并现场验证了 InferenceX 的运行。目前测试使用的仍是 A0 版工程芯片,下一版 B0 已进入制造阶段。SemiAnalysis 披露,B0 采用台积电 N3P 工艺,MXFP4 理论算力达到 13.4 PFLOPS,额定功耗仍为 700W。

内存方面,Jalapeño 将搭载 HBM4,单封装内存带宽约为 15.4TB/s,并配有独立 I/O 芯片,负责机架内和跨机架通信。

在推理架构上,Jalapeño 由同一套加速器完成 prefill 和 decode 两个阶段,也就是既负责处理用户输入,也负责后续逐个生成 token,而不是分别交给不同类型的芯片。

软件适配方面,此次测试的三款模型并非全部来自 OpenAI。除 GPT-OSS 120B 外,DeepSeek R1 和 Kimi K2.5 均来自外部团队。OpenAI 表示,团队借助 Codex 和 GPT-Astra,在大约两个月内完成了这些模型的移植和优化。

AI 也参与了芯片软件优化。OpenAI 披露,在 GPT-OSS 的部分 attention 和 MoE 模块中,由 AI 生成的 kernel 比此前人工专家编写的版本快 1.5 至 1.8 倍。不过这一提升只针对部分模块,并不代表整个模型获得相同比例的性能提升。

目前,Jalapeño 仍处于正式部署前的生产认证和软件完善阶段。SemiAnalysis 也指出,此次公开的主要性能数据由 OpenAI 提供,虽然其在现场验证了 InferenceX 的运行,但并未独立完成全部测试。

此外,目前公开结果主要来自约 8k 输入、1k 输出的单轮推理场景。对于更长上下文、多轮交互等智能体工作负载,OpenAI 尚未公布测试结果。

按照计划,第一代 Jalapeño 将在 2026 年底前开始部署到 OpenAI 自有计算基础设施中。第二代产品已经进入深入开发阶段,第三代也已开始规划。与此同时,OpenAI 表示,未来仍将继续使用英伟达及其他合作伙伴提供的芯片。

1.https://substack.com/home/post/p-212647373

2.https://openai.com/index/jalapeno-first-results/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国学大师的最后预言:东方将诞生三位圣者,或将改变世界格局

国学大师的最后预言:东方将诞生三位圣者,或将改变世界格局

阿珂读书
2025-01-16 19:16:31
陆毅说:“如果我女儿的男朋友很上进,但家境一般,我可能会棒打鸳鸯。因为我觉得门当户对很重要,婚姻要得到双方父母的祝福,才会幸福”

陆毅说:“如果我女儿的男朋友很上进,但家境一般,我可能会棒打鸳鸯。因为我觉得门当户对很重要,婚姻要得到双方父母的祝福,才会幸福”

品读时刻
2026-11-19 09:05:14
金价一跌!有人取出85克金条去打金,水贝商家几个月却亏两三百万

金价一跌!有人取出85克金条去打金,水贝商家几个月却亏两三百万

凡知
2026-11-22 19:00:07
只剩几天!杜特尔特绝处逢生?中美俄罕见同声,给海牙划下红线

只剩几天!杜特尔特绝处逢生?中美俄罕见同声,给海牙划下红线

老做体育解说
2026-11-22 11:28:48
全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

全国卫生大会传出一个极不寻常的信号:医院自己能不能活下去,终于被摆到了台面上

医脉圈
2026-11-02 12:37:32
于和伟再挑大梁!60集抗战史诗《战争和人》接档《伟大的长征》

于和伟再挑大梁!60集抗战史诗《战争和人》接档《伟大的长征》

小椰的奶奶
2026-11-23 01:44:49
两人已离婚,男方承认婚内出轨,最新进展

两人已离婚,男方承认婚内出轨,最新进展

最江阴
2026-10-08 17:42:26
原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

原来我们身边藏着这么多暴利行业?网友:20多分钟1000多就没了

夜深爱杂谈
2026-10-29 21:47:09
2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

2死6伤!A级通缉犯关押一年被无罪释放,湖南郴州人肉炸弹案始末

易玄
2025-04-19 08:22:01
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
男子几个月亏130万元,报警当天身上只剩100多块钱,警方:捣毁一个53人诈骗团伙,300多名资深老股民被骗

男子几个月亏130万元,报警当天身上只剩100多块钱,警方:捣毁一个53人诈骗团伙,300多名资深老股民被骗

南方都市报
2026-11-22 19:19:17
太逗了!梁靖崑作词发新歌被隔壁老樊关注,自嘲嗓音比本人瘦20斤

太逗了!梁靖崑作词发新歌被隔壁老樊关注,自嘲嗓音比本人瘦20斤

林小湜体育频道
2026-11-22 19:20:48
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
9轮投票结束,联合国新秘书长人选,又一次在五常面前全军覆没

9轮投票结束,联合国新秘书长人选,又一次在五常面前全军覆没

经纬戎韬
2026-11-23 00:41:13
前国脚金敬道疑似出狱与美女合影:球场进不去,流量场先热身

前国脚金敬道疑似出狱与美女合影:球场进不去,流量场先热身

姜大叔侃球
2026-11-21 11:25:05
有人预测:春节以后,水费、电费、天然气费或将迎来“大变局”?

有人预测:春节以后,水费、电费、天然气费或将迎来“大变局”?

叹为观止易
2026-11-23 01:25:58
出界2秒漏判,香农·夏普:我真不知道他们怎么漏的

出界2秒漏判,香农·夏普:我真不知道他们怎么漏的

快乐加载中21
2026-11-23 01:08:03
山东一地规定:从去世到安葬要24小时完成!不怕假死者被活埋吗?

山东一地规定:从去世到安葬要24小时完成!不怕假死者被活埋吗?

中原医生
2026-11-22 11:16:04
樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

趣味八卦
2026-10-03 11:11:17
2026-11-23 03:36:49
问芯 incentive-icons
问芯
访遍天下芯事,聆听大时代人物芯声
249文章数 34关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
房产
亲子
旅游
教育

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

无障碍浏览 进入关怀版