据MarkTechPost 10月20日报道，DeepSeek已开源其生产服务使用的推理框架DeepInfer，该框架驱动DeepSeek-V4.1-Flash，采用Apache 2.0许可证；同时发布的deepseek-recipe采用MIT许可证，负责token编解码。对开发者而言，这提供了观察前沿实验室实际服务栈的机会。
DeepInfer此次公开的是离线推理版本，覆盖DeepSeek-V4.1-Flash一个模型，模型卡标注上下文窗口为100万token。框架可在英伟达SM100（Blackwell）GPU和华为昇腾950 NPU上运行。DeepSeek在基准测试中用4块GPU做预填充、64块GPU做解码，并称单集群每天可服务155万亿token。
DeepInfer最初主要基于vLLM构建，并借鉴SGLang和TensorRT-LLM的思路。它整合FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect及自定义TileLang内核，在系统层采用注意力数据并行与Wide-EP，MoE层使用专家并行和专家并行负载均衡器EPLB。解码在超节点内运行EP64到EP128，预填充使用显存允许的最小EP，通常为EP2到EP8。
在131072上下文、EP64DP64、nextn=3、75%接受率的解码测试中，DeepInfer在每rank 256个请求时单GPU输出超过25000 token/s，接近每用户100 token/s；请求数为8时，单用户速度超过300 token/s。预填充在EP4DP4、140 token有界重放设置下，每rank 4096 token时单GPU约处理60000个非缓存token/s；每rank 65536 token时吞吐接近90000，每步约730毫秒。
DSpark使用草稿模型每步提出5个token，由Confidence Head预测每个草稿token的接受率，调度器只验证最有价值的前缀。DeepSeek称这使验证草稿token减少约30%，接受长度基本不变（3.29对3.20）。SWA有界重放在缓存命中时只重算滑动窗口注意力状态最后128个token，使重算成本不随上下文长度增长，并称在解码层几乎将总预填充计算减半。CPU批调度与GPU执行重叠，使GPU在步骤之间不空闲；批次不变推理和确定性采样仅在NVIDIA上可用，结构化输出支持正则、JSON schema和EBNF文法。DSpark的动态验证在每rank约60个序列时带来4%至7%的吞吐提升，在每rank 16个序列时比固定5 token验证慢1.5%。
此次发布不包含KV缓存系统、P/D分离和负载均衡，DeepSeek团队称这些组件与内部基础设施紧密耦合。当前版本仅支持离线推理，不提供在线服务。硬件构建要求Linux、GCC 13或更高版本、Python 3.12，以及CUDA 13或CANN 9.2。最小高效生产单元为64块预填充GPU加64块解码GPU。DeepSeek还披露，内部FlashMLA解码内核比公开版本快5%至10%，端到端差距在5%以内。
与vLLM、SGLang和TensorRT-LLM相比，DeepInfer只支持一个模型，硬件覆盖英伟达SM100和昇腾950，支持带EPLB的专家并行与Wide-EP，但不提供P/D分离；后三者支持更多模型和硬件，并提供在线服务。