OpenAI公布Jalapeño芯片基准测试结果，两项指标优于英伟达Blackwell

在8月25日举行的Hot Chips大会上，OpenAI公布了自研芯片Jalapeño的首批基准测试结果。测试采用SemiAnalysis的InferenceX基准，结果显示Jalapeño在每用户令牌数和每千瓦吞吐量上均优于英伟达Blackwell系统，后者是目前可用的最先进推理处理器。

OpenAI硬件负责人Richard Ho在发布会上表示，这些结果显示出相较于现有技术水平非常显著的性能提升。Jalapeño每单位功率可承载更多AI工作负载，同时响应更快，既能高效服务大量客户，也能保持低延迟。

Ho透露，Jalapeño计划于2026年底以非常小的规模开始部署，2027年实现更大规模部署。该芯片于2025年10月首次公布，由OpenAI与博通紧密合作开发，OpenAI自有的模型也参与了开发过程。OpenAI计划将Jalapeño打造为多代际平台，使AI产品、模型、芯片和内存能够协同演进。

得益于全栈式设计，OpenAI能够针对推理流程中容易产生摩擦的特定阶段进行优化。Jalapeño特别针对预填充（prefill）和通信阶段的延迟进行了优化，OpenAI称这些阶段通常是推理过程中的瓶颈。公司表示，Jalapeño的设计目标是最大限度减少数据移动和通信延迟，模型状态（包括生成响应时使用的KV缓存）可被显式放置并保持本地，系统则针对每个推理阶段激活相应的计算、内存和网络资源组合。