英伟达优化Kimi K3模型推理速度,提升1.68倍

英伟达优化Kimi K3模型推理速度,提升1.68倍

调研机构SemiAnalysis发文称,英伟达通过一项上游vLLM优化,让2.8万亿参数量的Kimi K3模型实现423 tok/s/user的推理速度,对比相同硬件(GB300 NVL72)性能提升1.68倍。该项优化由英伟达CentML工程师完成,通过大规模Megakernel融合,使用CuTe DSL编写解码专用内核,包含1.2万行代码。

原文链接