据华尔街见闻10月22日报道，DeepSeek于10月20日宣布开源内部生产级推理框架DeepInfer。此次开放的重点是模型运行所用的推理框架，但并不是一套完整的推理技术栈。
推理框架负责管理模型如何使用计算资源处理用户请求，其设计会影响延迟、吞吐量和运行模型所需的硬件。报道指出，即使是同一款AI模型，使用不同软件，实际运行成本也可能存在较大差异。因此，DeepInfer开放的不只是代码，也包括DeepSeek针对自身模型组织推理计算的技术方案。
具体来看，DeepInfer整合了分布式推理、投机解码等技术，能够将AI工作负载分配到不同硬件上，让模型在更短时间内生成更多输出。目前，该框架已兼容英伟达SM100 GPU和华为昇腾950 NPU。报道同时指出，其中不少底层技术已被业界广泛采用，DeepSeek的工作包括针对自身模型进行专门优化，让这些技术更高效地协同运行。
华尔街见闻援引彭博社10月21日的报道指出，推理技术通常被AI公司视为核心竞争力，较少对外公开。对于AI托管服务商，更低的推理成本可能带来更大的利润空间，并有可能转化为更低的服务价格；对于在自有基础设施上运行DeepSeek模型的企业，DeepInfer也可能帮助降低算力成本。这些是报道对潜在影响的判断，并非已经兑现的降价结果。
此次开源也让其他开发者能够研究其中的技术方案，并将部分方法应用于自己的模型推理系统。其适用价值既包括运行DeepSeek模型，也包括供其他推理系统借鉴；但不能将这次框架开放等同于完整推理技术栈的开放。
仅供信息参考，不构成投资建议。