据SiliconANGLE报道，杭州深度求索人工智能基础技术研究有限公司（DeepSeek）10月20日开源了其生产服务所使用的推理框架DeepInfer，该框架旨在解决以合理价格向大规模用户提供大模型推理服务的成本问题。

据DeepSeek随代码发布的部署问答文档，其一个集群目前每天服务155万亿个token，按非高峰定价计算，每块图形处理器每小时收入为38美元。公司在文档中称，以合理价格覆盖庞大用户群是“推理框架必须解决的核心问题”。

目前DeepInfer仅支持DeepSeek-V4.1-Flash一个模型，默认加载的是公司上周末发布的1017更新版本。该框架可在英伟达SM100 Blackwell GPU和华为昇腾950神经网络处理器上运行，Hopper及其他较旧的英伟达架构不在支持列表中。两项保证输出在多次运行中保持一致的特性仅能在英伟达硬件上使用，已公布的所有性能基准也均在英伟达芯片上运行，数据由DeepSeek自行提供。

DeepInfer的推测解码通过DSpark系统实现：草稿模型每次提议五个token，置信度头预测主模型将接受其中哪些，验证计算只分配给最可能的候选者。这使每步需要检查的草稿token数量减少约30%，DeepSeek估计在生产负载下吞吐量提升4%至7%。另一项技术仅将每个提示的最后128个token重新送入模型解码器层，公司称该技术能使总预填充计算量减少近一半。

DeepSeek尚未发布键值缓存管理和负载均衡代码，称这两部分与内部基础设施紧密耦合。公司在知乎发布的博客文章介绍了二者的工作原理。将预填充和解码拆分到不同机器的工作也留给运维人员，README指出相关引擎工作大部分已经就位。DeepSeek描述的最小高效部署方案使用64块GPU进行预填充，另用64块GPU进行解码。

同样的耦合问题曾导致DeepSeek在2025年4月未能发布完整引擎，当时公司将该软件描述为围绕其集群管理工具构建的vLLM早期分支。公司当时写道，维护一个大型开源项目也超出了“专注于开发更好模型的小型研究团队”的带宽。DeepSeek此前已发布FlashMLA、DeepGEMM和DeepEP等内核库，DeepInfer目前正使用这些组件。新版README将vLLM列为其原始基础。

DeepInfer对昇腾的支持延续了9月30日的一项发布——DeepSeek在华为帮助下将TileLang内核编程语言引入华为芯片。据彭博社9月报道，该公司计划在内蒙古新建数据中心部署至少16万个昇腾950DT加速器。

该框架发布前一天，美国国土安全部下令联邦民事机构从其系统中移除DeepSeek产品，包括基于其技术构建的第三方服务。

DeepInfer在GitHub上以Apache 2.0许可证发布，随附的deepseek-recipe库使用与DeepSeek官方应用程序编程接口相同的逻辑将请求转换为token序列。DeepSeek表示，未来模型的推理代码将进入同一仓库。