OpenAI 的 Jalapeño 在能效上压过英伟达 Blackwell：首批公开结果

OpenAI 的自研推理芯片，从断言走到了证据。8 月 25 日，公司在斯坦福大学举行的 Hot Chips 2026 大会上公布了 Jalapeño 的基准结果，声称在三个开放权重模型上，相对英伟达当前的 GB200 与 GB300 系统，每瓦完成的 AI 工作量最高多 1.9 倍，端到端延迟最低降至三点六分之一。半导体研究机构 SemiAnalysis 派工程师到 OpenAI 的实验室核验了这些实测 —— 这是首次有 AI 公司的专用推理加速器，在公开基准中被独立评估、与英伟达的量产硅正面对照。这些结果确立了什么很重要。它们省略了什么，同样重要。

这则公告落在英伟达公布其 2027 财年第二季度财报的前一天 —— 一个 962 亿美元的季度，分析人士本已称之为该公司历史上最强的一季。这个时点不是偶然。在基础设施融资里，一份经得起第三方核验的公开基准结果，其作用相当于一条经过审计的成本曲线：这正是承销商和交易对手在为每吉瓦规划中的数据中心容量投出九位数建设贷款之前，所要求的那类数字。OpenAI 的 Stargate 基础设施项目，以及它 2025 年 10 月与博通签下的 10 吉瓦部署承诺，需要的恰恰是这种可信度。

Jalapeño 的架构是围绕一个问题造的：数据搬运

要理解 Jalapeño 究竟是什么，得先把 GPU 这个参照系放到一边。英伟达的 GB200 和 GB300 加速器是通用处理器 —— 它们必须能训练前沿模型、能跨数千种不同模型架构跑推理、能执行科学仿真、能在云基础设施上服务多个租户。这份通用性是有代价的：硅片面积、功耗，以及推理负载永远用不满的内存带宽容量。

OpenAI 是从另一个起点问题出发设计 Jalapeño 的。公司硬件副总裁 Richard Ho 在 Hot Chips 上说，团队从一张白纸开始，问的是：如果一块硬件唯一的任务就是以尽可能低的功耗代价、向数百万并发用户提供大语言模型服务，它会长成什么样。团队得出的答案，围绕一条设计原则：把数据搬运降到最低。

在 transformer 推理中，每生成一个 token，都要从内存里读取整个键值（KV）缓存 —— 也就是对话中此前所有 token 的记录。对长对话或大批量而言，这次内存读取主导了整个负载，而延迟会在一个多轮智能体的每一步上累积。大多数既有加速器架构把内存当作一块扁平的共享资源，任何计算单元都能访问 —— 这意味着数据要在芯片上搬到「有算力空着」的地方去。Jalapeño 把这个关系反了过来。芯片被分成 64 个计算-内存切片，HBM bank 与它们所服务的计算核心之间有紧密的亲和性。软件显式地把模型权重和 KV 缓存放进特定的切片；除非负载要求重新分配，这些数据结构就一直待在本地。按 OpenAI 的说法，结果是芯片「为每个推理阶段激活算力、内存和网络的正确组合」，而不是把数据搬到碰巧空闲的算力那边去。

这种 NUMA 式架构 —— 非统一内存访问，一个借自多路服务器设计的概念 —— 是 Jalapeño 能效优势的机械原因。这块芯片不是靠被动的取舍让自己更凉或更省电；它之所以每焦耳能完成更多有用功，是因为它内存带宽中更大的一部分被用在了真正的推理上，而不是内部数据搬运的开销上。

物理规格描述的是这颗芯片的 B0 步进，OpenAI 在 Hot Chips 上把它与跑在更早的 A0 硅上的基准结果一并展示：一颗由台积电 N3P（3 纳米）制程制造的、达到光罩尺寸的计算裸片，搭配一颗 I/O chiplet 和六摞高带宽内存。整个封装提供 13.4 petaFLOPs 的 MXFP4 矩阵算力、3.4 petaFLOPs 的 MXFP8 算力，以及 216 GiB 的 HBM4 内存、15.4 TB/s 的带宽，额定封装功耗 700 瓦。在 InferenceX 的实测里，活跃推理负载期间实测的持续功耗保持在 550 瓦或以下 —— OpenAI 把这个数字归因于架构效率，而非保守的散热余量。

从一颗芯片到一套 2048 颗 ASIC 的系统

没有哪块推理加速器是孤立运行的。OpenAI 在Hot Chips上展示了完整的 Jalapeño 机架架构：一套成对的系统，由一个 CPU 主机机架（内部代号 Katsu）和一个 ASIC 加速器机架（Vindaloo）组成，由 Celestica 集成。每个 Katsu 托盘装两颗 AMD EPYC Turin 处理器、1.5 TB 系统 DRAM 和 400 Gb 前端网络。与每个 Katsu 托盘正对的，是一个装了八颗 Jalapeño ASIC 的 Vindaloo 托盘，通过 PCIe 直连铜缆相连。ASIC 机架的交换托盘叫 Chana。整套系统的网络交换使用博通的 Tomahawk6 以太网交换机。

一个满配 128 颗芯片的 Jalapeño 机架提供 1.7 exaFLOPs 的 MXFP4 算力和 27.5 TB 的 HBM4 内存。但架构上更有分量的数字是 scale-up 域：Jalapeño 通过一条 600 GB/s 的高带宽铜背板，在单个机架内连接 128 颗芯片，并通过每芯片 200 GB/s 的全局互连横跨 16 个机架 —— 2048 颗芯片。英伟达 NVL72 的 scale-up 域连接 72 块 GPU。Jalapeño 的全局域是它的 28 倍。

这种互连广度，对推理负载如何被切分很关键。大模型 —— 尤其是 DeepSeek R1 这类专家混合架构 —— 在解码阶段需要专家并行通信：token 被路由到不同的专家子网络，形成一种同时需要高带宽和低延迟的流量模式。Jalapeño 的网络从一开始就是推理平台的组成部分，而不是事后附加的，这也是 OpenAI 说整个负载「从第一个 token 到最后一个都留在同一套连通系统之内」的原因。

InferenceX 量的是什么 —— 以及不量什么

OpenAI 用的基准是InferenceX，这是 SemiAnalysis 开发的一个公开平台，度量完整的 AI 服务路径：预填充（处理用户的输入提示词）、解码（逐个生成输出 token），以及从第一次请求到最后一个 token 的端到端用户可感延迟。它的方法学是公开记录的，可通过 GitHub Actions 复现 —— 每一个数据点都由一次有日志、可审计的工作流运行产出。

被测的三个模型是 GPT-OSS 120B（OpenAI 自家的 1200 亿参数开源模型）、6700 亿参数的 DeepSeek R1，以及月之暗面一万亿参数的 Kimi K2.5。后者是 OpenAI 在 Jalapeño 上跑过基准的最大模型；选它一部分是因为 InferenceX 把它当作标准测试用例，而不是因为 OpenAI 打算商业化提供它。在三个模型上，Jalapeño 的优势在低延迟、交互式的工作点 —— 单用户、对话式流量 —— 上最强，那里的效率优势扩大到相当于可比英伟达系统的 2.1 到 4.1 倍，据公司提供的数据。

基准方法学上有一个区分需要格外留意：单 token 预测与多 token 预测。单 token 预测（STP）每次推理生成一个输出 token —— 这是基线方法。多 token 预测（MTP，也叫投机解码）用一个更小的草稿模型一次提议若干 token，再由更大的模型一次性校验；在有利条件下，这项技术能把吞吐数字抬高三到五倍。OpenAI 的全部 Jalapeño 基准都跑在 STP 模式下。而 InferenceX 数据集里若干英伟达对照基线用的是 MTP，这造成一种不对称：在部分工作点的对比中，英伟达的表观吞吐被抬高了。Ho 在 Hot Chips 上说，Jalapeño 的 STP 表现追平甚至超过某些竞品芯片的 MTP 表现 —— 这是一个关于该芯片基线效率的、有分量的架构主张。

已公布结果里的一个关键缺口，是SemiAnalysis 的 AgentX 基准套件。InferenceX 量的是标准的提示-响应式推理 —— 8000 token 输入生成 1000 token 输出、单轮；而 AgentX 测的是长上下文、多轮的智能体式负载，它会给路由器行为、前缀缓存机制和持续负载下的缓存管理施加压力。SemiAnalysis 明确指出，在标准 8k/1k 基准上表现良好的框架，在 AgentX 上可能更差，因为真实生产负载会压到路由器、前缀缓存机制、缓存管理和卸载设施这些组件 —— 而单轮测试一个都测不到。这些测试还没在 Jalapeño 上跑过，公司也没声称跑过。Jalapeño 在智能体式负载上表现如何 —— 而智能体正是 OpenAI 反复强调为其产品路线核心的那一段 —— 仍未被确认。

延伸阅读：英伟达公布首批 Vera Rubin 基准数据：智能体负载能效提升 30 倍

真正要紧的那个对比是 Vera Rubin

OpenAI 公布结果里的每一项对比，跑的都是英伟达的 Blackwell 世代 —— GB200 和 GB300 系统。而目前正在向客户出货的英伟达平台 Vera Rubin，没有被测。这是附在这次基准上最重要的一条方法学保留意见。SemiAnalysis把这次与 Blackwell 的对比形容为「有些不完整、也不公平」，因为 Jalapeño 用的是 HBM4 内存，而 Blackwell 系统用的是 HBM3e —— 前者是更新一代、每摞带宽更高的内存。Vera Rubin 同样用 HBM4。

当 SemiAnalysis 把 Jalapeño 已公布的结果与 Vera Rubin 2026 年 7 月的最佳数字对照时，差距明显收窄。在决定一家数据中心运营方会不会换供应商的那个指标 —— 每 token 的总拥有成本 —— 上，两个平台大致打平。这个对比还被一个方法上的不对称进一步复杂化：Vera Rubin 7 月的结果包含多 token 预测，而 Jalapeño 的 InferenceX 实测用的是单 token 预测。在 STP 对 STP 的口径下，Jalapeño 在每兆瓦吞吐上保有微弱领先；而在含资本与电力的每输出 token 总成本上，两者旗鼓相当。

当晚英伟达的财报电话会上，CEO 黄仁勋把 Jalapeño 定性为一块为单一运营方的专有负载优化的硬件，而不是一个可广泛部署的平台。OpenAI 自己的基准结果 —— 里面除了自家模型还包括 DeepSeek R1 和 Kimi K2.5 —— 与这个定性相抵触：这块芯片在没有针对具体模型调优的情况下跑起了非 OpenAI 的模型。SemiAnalysis 称 Jalapeño 是「一块通用化的 AI 推理芯片」，并指出它在三种被测架构上「不只在低延迟场景里出色，在高吞吐场景里也是」。黄仁勋的说法究竟反映的是英伟达的竞争情报还是防御性站位，尚不清楚；但这块芯片在三个架构迥异的模型上展现出的灵活性，正是 OpenAI 关于 Jalapeño 设计的明确主张之一。

竞争图景比大多数报道所聚焦的「Jalapeño 对英伟达」的双边对比要宽。AMD 的 MI355X 加速器出现在 InferenceX 的基准看板上，SemiAnalysis 称 Jalapeño 在单 token 预测的每瓦吞吐上胜过它 —— 不过 AMD 用的是 HBM3e 而非 HBM4，造成了与 Blackwell 对比中同样的内存世代不对称。Google 的 TPUv7 和 v8 平台在 InferenceX 上标注为「即将到来」，尚未被直接测过。OpenAI 在做过试用之后拒绝把 Google Cloud 的 TPU 铺到生产 —— 这是一个隐含的竞争信号：它自己的硬件战略优先。

Jalapeño 这次基准站位的更广意义，不在于它在某个具体配置里击败了某个具体对手，而在于：一支约 40 人的工程团队，从 2024 年年中的一张白纸出发，造出了一颗第一代推理 ASIC，而这颗芯片在独立评估中与那些有数十年半导体设计经验的公司的硬件并列站在能效帕累托前沿上。Yole Group 技术分析师 Adrien Sanchez 对 CNBC 表示，Jalapeño 是「对英伟达推理利润率的一个威胁，而推理正是当下增长最快的领域」—— 原因不是 OpenAI 会直接抢走市场份额，而是每一家数据中心运营方现在都拿到了「专用推理硅是可行的」这一证据，这会强化任何在建造或委托此类芯片的一方的谈判地位。

HBM4 的供应压力，是基准表格量不出来的那道约束

每一次基准对比背后，都坐着一道性能表反映不出来的供应约束。高带宽内存在三家主要制造商 —— 三星、SK 海力士和美光 —— 那里至少已经卖到 2027 年。SK 海力士 CEO Kwak Noh-jung公开向投资者警告，2027 年将是内存行业史上最严重的一个短缺年份，需求预计会在 2030 年之后仍然超过供应能力。美光在 Hot Chips 2026 上展示的数据显示，要达到同等容量，HBM4 需要约为 DDR5 三倍的硅晶圆面积 —— 而随着堆叠越来越高、制造越来越复杂，这项代价会逐代叠加。短缺严重到据报英伟达正在测试削减版的 Vera Rubin Ultra 配置，每封装最低只有 192 GB，而标准是 288 GB。

Jalapeño 的每封装 216 GiB 落在这两个数字之间。在供应受限的环境里，「每单位推理工作量所需的 HBM 更少」是一个会随部署规模复利的优势。与此同时，OpenAI 与博通的 10 吉瓦部署承诺，让它成为 HBM4 分配上与英伟达并列的一个重量级新申领方 —— 而英伟达目前与三家制造商都签有多年供应协议。据 TrendForce，一般认为为 Jalapeño 供应 HBM4 的是三星，不过 OpenAI 和三星都没有正式确认这项供应安排。

延伸阅读：内存成本压到 AI 栈上，英伟达 AI 服务器价格上涨超过 15%

AI 设计了这颗芯片 —— 现在又在给它写程序

那个九个月的数字，是 OpenAI 在 Jalapeño 的对外表述中反复强调的；它具体指的是从寄存器传输级（RTL）设计冻结到 2025 年 11 月流片的这段时间 —— 而不是整个项目的时长，后者从 2024 年年中形成的架构构想算起约为 16 个月。RTL 到流片这个窗口之所以被压缩，是因为团队用 OpenAI 自己的模型加速了芯片设计周期本身：探索不同的实现方案、缩短「设计-测量-验证」循环、优化算术电路。OpenAI 表示，AI 的协助让它能在满足功耗目标的同时，把更多算力塞进裸片。

流片之后，同一套 AI 辅助做法延续到了软件优化。OpenAI 团队用 GPT-Astra 和 Codex，在两个月内把三个开放权重模型 —— GPT-OSS、DeepSeek R1 和 Kimi K2.5，这三个都不在 Jalapeño 最初的生产计划里 —— 移植到芯片上并跑出高性能。按公司数据，在选定的注意力机制和专家混合计算内核上，AI 生成的实现比人类专家手写的基线快 1.5 到 1.8 倍。OpenAI 谨慎地指出，这适用于那些具体的计算模块，不是整模型吞吐 —— 在生产规模上，「一个快的子程序」与「一个快的系统」之间的区别是要紧的。

Ho 在 Hot Chips 上描述的可编程模型，是围绕可预测性而非灵活性设计的：工程师把工作表达为带显式通信和可预测同步的本地张量，然后由 AI 系统去优化这些工作如何在芯片集群上映射、放置、调度和协调。正是这套清晰、空间显式的编程模型 —— 每一次数据搬运都是声明出来的，而不是由运行时推断出来的 —— 让「AI 生成的代码写出正确且高性能的内核」变得可行。Ho 形容它为 AI 去攻克那些传统上非常困难的并行编程问题开了一条可行的路。如果这个说法成立，那意味着压缩了 Jalapeño 开发周期的那个「AI 与芯片设计」循环，会随着优化软件的改进而逐代复利。

Jalapeño 不对外销售，OpenAI 也没有出售或授权它的计划。在 Hot Chips 上被问及外部客户能否用上这块芯片时，Ho 说 OpenAI 连供自家负载都不够用。因此这块芯片对英伟达的竞争压力是间接的：通过推理市场的定价信号，以及通过它向 AI 基础设施融资市场传递的那个信息 —— 定制硅现在已经可以站上性能前沿，不必再等下一代 GPU。

这份部署时间表实际承诺了什么

OpenAI 表示将在 2026 年底开始小批量内部部署 Jalapeño，2027 年进入更有分量的部署。英伟达 962 亿美元的季度，加上同一周被另行报道的 Anthropic 与英伟达签下的 45 亿美元 Vera Rubin 协议，把竞争格局说清楚了：几家主要 AI 实验室都在大规模部署英伟达当前硬件的同时，加速自家的定制硅项目。这不是两条互斥的策略，而是不同时间尺度上的并行基础设施押注。OpenAI 首席财务官 Sarah Friar直接确认了这一点，把公司的算力组合描述为有意在英伟达、AMD、博通、Cerebras、AWS、CoreWeave、甲骨文和软银之间分散 —— 并指出 OpenAI「就能力和经济性两方面主动管理这个组合」。

据 OpenAI 在 Hot Chips 的演讲，第二代 Jalapeño 正在深度开发中，第三代也已成形。每一代都建立在实测的生产性能之上，而不是部署前的估算 —— 这是超大规模厂商的芯片项目只有在持续部署之后才能获得的一种复利优势。第二代预期瞄准更好的每瓦性能；第三代的目标，OpenAI 形容为「经济的低延迟服务」。

基准和路线图都回答不了的那道考验是：当 Jalapeño 面对规模化的真实生产流量 —— 数百万并发用户、不可预测的请求模式，以及 OpenAI 所服务模型的全部多样性 —— 它的能效优势还在不在。定制推理芯片在实验室和在现场表现不同，是有据可查的历史。InferenceX 的结果显示，在受控条件下 Jalapeño 站在对 Blackwell 的能效帕累托前沿上。它在生产中面对 Vera Rubin 时能否守住这个位置，以及 AgentX 的结果会不会在多轮负载上确认同样的架构效率，是决定「Jalapeño 究竟改变了 OpenAI 的基础设施经济学，还是只演示了当下技术上做得到什么」的那两个问题。

16 个月的开发周期、AI 加速的内核生成，以及可核验的 InferenceX 站位，三者合起来确立了一件这个行业在 8 月 25 日之前没有见过被证实的事：一家全栈 AI 公司可以在没有 GPU 血统约束的前提下，设计出一颗站在性能前沿的第一代推理 ASIC。它会不会转化为开发者更低的 token 成本，还是这份能效收益会作为利润率留在 OpenAI 自己的数据中心里，是一个尚未被公开作出的商业决定。