英伟达优化Kimi K3模型推理速度,提升1.68倍 文章作者 创建者:admin 文章日期 2026年10月18日 类别 属于 kimi大模型最新动作 英伟达优化Kimi K3模型推理速度,提升1.68倍 调研机构SemiAnalysis发文称,英伟达通过一项上游vLLM优化,让2.8万亿参数量的Kimi K3模型实现423 tok/s/user的推理速度,对比相同硬件(GB300 NVL72)性能提升1.68倍。该项优化由英伟达CentML工程师完成,通过大规模Megakernel融合,使用CuTe DSL编写解码专用内核,包含1.2万行代码。 原文链接