DeepInfer

收录 2 篇关于“DeepInfer”的文章，最近更新于 2026-10-23。

AI资讯2026-10-23 08:15

DeepSeek开源生产级推理框架DeepInfer

据华尔街见闻10月22日报道，DeepSeek于10月20日宣布开源内部生产级推理框架DeepInfer。此次开放的重点是模型运行所用的推理框架，但并不是一套完整的推理技术栈。推理框架负责管理模型如何使用计算资源处理用户请求，其设计会影响延迟、吞吐量和运行模型所需的硬件。报道指出，即使是同一款AI模型，使用不同软件，实际运行成本也可能存在较大差异。

科技资讯2026-10-20 19:15

DeepSeek宣布开源内部推理框架DeepInfer

据IT之家10月20日报道，DeepSeek宣布将内部推理框架DeepInfer全面开源，并同步开源生产级Token编解码组件deepseek-recipe。此前，DeepSeek已开源一系列大模型、TileLang编译工具及推理算子库，此次开放的重点转向模型服务的部署与运行。 DeepSeek官方表示，模型本身划定能力边界，而以合理成本提供超大规模模型服务，还取决于推理框架。