据IT之家10月20日报道，DeepSeek宣布将内部推理框架DeepInfer全面开源，并同步开源生产级Token编解码组件deepseek-recipe。此前，DeepSeek已开源一系列大模型、TileLang编译工具及推理算子库，此次开放的重点转向模型服务的部署与运行。
DeepSeek官方表示，模型本身划定能力边界，而以合理成本提供超大规模模型服务，还取决于推理框架。面对海量调用，推理框架负责统筹调度算力集群，其效率直接关系到AI服务的算力成本与电力消耗。
具体能力上，DeepInfer集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码、SWA Bounded Replay和结构化输出，兼容英伟达与华为昇腾平台。DeepSeek称，已基于该框架实现DeepSeek V4.1 Flash高吞吐、低延迟的大规模推理服务。
同步开源的deepseek-recipe负责Token编解码。按官方说明，该组件与DeepSeek官方API处理逻辑完整对齐，旨在让社区获得与官方部署一致的API体验。它与推理框架承担不同职责，此次一并开放。
DeepSeek希望通过分享内部部署经验，帮助开发者和企业优化大规模推理的吞吐与延迟，支持私有化及公有云部署，并降低算力成本和能源消耗。这些是官方提出的开源目标；后续新模型的推理代码及优化，也计划在DeepInfer中持续更新。