DeepSeek开源推理框架DeepInfer：V4.1 Flash单集群日吞吐155万亿Token
10月20日，DeepSeek宣布将内部使用的AI推理框架DeepInfer全面开源，并同步开源生产级Token编解码组件deepseek-recipe，帮助第三方部署与官方API一致的处理逻辑。这是继开源大模型本体、TileLang编译工具及一系列推理算子库后，DeepSeek在推理基础设施上的进一步开放，也是全球头部大模型企业中首个开放原生实际运行推理框架的动作。
据DeepSeek披露，基于DeepInfer，DeepSeek V4.1 Flash已实现高吞吐、低延迟的大规模推理服务：单一集群日吞吐量达155万亿Token，按谷电价计算每卡每小时收入38美元。系统采用Prefill与Decode分离部署——8卡机器承担预填充、64至128卡超节点承担解码，并通过KVCache复用、DSpark投机解码（变长验证使吞吐提升约6%）与CPU/GPU异步调度提高效率，兼容英伟达与华为昇腾平台。
DeepSeek同步开源的deepseek-recipe支持Chat Completions、Responses、Messages等主流接口，可确保第三方部署的API处理逻辑与官方服务一致。不过推理系统中与内部基础设施耦合较深的KVCache管理和负载均衡部分暂未完整开源。360创始人周鸿祎评价，这背后是技术自信和开源普惠理念，更意味着AI时代的”技术主权”。
来源：36氪