英伟达为Kimi K3定制vLLM优化，推理速度提升1.68倍

10月18日，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，使2.8万亿参数量的Kimi K3模型在GB300 NVL72硬件上实现了423 tok/s/user的推理速度，性能较此前提升1.68倍。

据介绍，该优化由英伟达CentML工程师Benjamin完成，采用大规模Megakernel融合方案，并使用Cute DSL编写了英伟达新推出的解码专用内核。这一Megakernel包含约1.2万行代码，被视为AI辅助生成高级计算内核的未来方向之一。

除Kimi K3外，英伟达还在为vLLM开发DeepSeek V4.1等其他模型的推理优化。

来源

2026-10-18 21:25 | IT之家：英伟达优化 Kimi K3 模型推理速度，提升 1.68 倍
阅读原文
IT之家 10 月 18 日消息，调研机构 SemiAnalysis 今日发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数量的 Kimi K3 模型实现 423 tok/s/user（每用户每秒每 Token）的推理速度，对比相同硬件（GB300 NVL72）性能提升 1.68 倍。据介绍，该项优化由英伟达 CentML 工程师 Benjamin 完成。它通过大规模 Megakernel 融合，使用 Cute DSL 编写英伟达新推出的解码专用内核。该 Megakernel 包含 1.2 万行代码，代表着 AI 辅助生成高级计算内核的未来方向。英伟达优化 Kimi K3 模型推...