DeepInfer - 面向DeepSeek-V4.1-Flash的开源大模型推理框架

DeepInfer

DeepInfer 是深度求索（DeepSeek）开源的 Apache-2.0 许可离线推理框架，专为大规模部署 DeepSeek-V4.1-Flash 而构建。它支持运行在 Linux 系统上的 NVIDIA SM100 与华为昇腾 950 硬件，相关文档由独立爱好者制作的参考站点提供，覆盖发布细节、架构设计、基准测试注意事项以及未包含的组件。该工具不是托管 API、面向用户的在线服务，也不是完整的端到端服务栈。

核心能力

DeepInfer 预装了一整套为 DeepSeek-V4.1-Flash 定制优化的组件：

• 一整套自定义内核，包括 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自定义 TileLang 内核，由 DeepSeek 此前发布的内核组件整合为统一引擎。

• 并行配置融合了用于 MoE 层的专家并行（EP）、注意力数据并行（DP）与均衡上下文并行（CP），设计用于在生产部署中将专家分布到 64–128 张 GPU 上，同时设置冗余副本以重新平衡热门专家。

• 支持可变验证的 DSpark 投机解码，通过置信度头识别哪些草稿令牌需要经过完整模型验证，在标准生产运行条件下可实现 4–7% 的吞吐量提升。

• 滑动窗口注意力（SWA）有界重放，仅重放缓存的近期尾部内容而非在每一层重建完整滑动窗口缓存，以此限制重计算开销，获得可预测的有界计算成本。

• 异步调度机制，将 CPU 批次准备工作与 GPU 运行并行执行，消除连续解码步骤之间的空闲间隙。

• 仅在 NVIDIA 硬件上提供批次不变推理与确定性采样模式，用于可审计的基准测试与一致的智能体运行行为。

• 原生支持正则表达式规则、JSON Schema 定义与 EBNF 语法约束的结构化输出。

• 配套的 deepseek-recipe 库是独立的 MIT 许可仓库，提供 API 协议转换与分词工具。

• 完整支持 DeepSeek-V4.1-Flash 模型的离线推理执行。

目标用户

DeepInfer 面向三类主要用户群体：

• 直接使用 DeepSeek-V4.1-Flash 模型、需要对推理执行进行底层控制的开发者。

• 研究生产级大语言模型优化模式的推理引擎研究者，研究方向包括宽范围专家并行、置信度引导投机解码与有界缓存重放。

• 搭建自定义大语言模型服务基础设施的工程师，希望将 DeepSeek 源自生产环境的推理优化方案适配到自己的部署中。

支持的工作流

该框架专为 DeepSeek-V4.1-Flash 的离线推理负载设计，没有预装面向用户的服务层。典型使用模式包括：

1. 将预优化的内核栈与并行配置集成到面向 DeepSeek-V4.1-Flash 的自定义内部推理流水线中。

2. 在 NVIDIA 硬件上测试与审计确定性推理行为，用于基准测试或智能体负载。

3. 为 DeepSeek-V4.1-Flash 负载实现结构化输出约束，无需额外第三方中间件。

4. 扩展基础引擎，为特定内部基础设施需求搭建自定义服务组件。

5. 研究并修改前沿大语言模型推理优化方案，包括投机解码与 MoE 负载均衡。

限制与明确未包含的功能

DeepInfer 的适用范围有明确限定，不包含完整生产在线服务栈所需的部分组件：

• 不包含可跨独立请求或多机持久留存的 KV 缓存系统。

• 未实现预填充/解码分离机制以将负载拆分到独立的专用硬件池。

• 不支持跨多推理副本的数据并行负载均衡。

• 它不是面向用户的在线 API，未附带兼容 OpenAI 的服务器、身份验证、配额管理、计费或可观测性工具。

• 它不是通用推理引擎，仅支持 DeepSeek-V4.1-Flash 模型，官方不支持其他 DeepSeek 模型或第三方大语言模型。

• 发布时暂未公开华为昇腾 950 硬件的性能数据。

• 截至 2026-10-20 的发布快照，尚未有第三方独立复现官方基准测试图表的公开结果。

• 所有官方基准测试数据均在 131072 令牌上下文长度下测得，而非 DeepSeek-V4.1-Flash 支持的最大 1M 令牌完整上下文；公开的解码性能数值基于 75% 的草稿令牌接受率，该数值会随输入文本复杂度变化。

• 该框架仅支持 Linux 上的 NVIDIA SM100 与华为昇腾 950 硬件，官方不支持其他代际的 NVIDIA 显卡或昇腾芯片。

许可与获取方式

DeepInfer 在宽松的 Apache-2.0 许可下发布，可免费下载、修改与自托管，无直接相关费用。配套的 deepseek-recipe 库在 MIT 许可下发布。覆盖该项目的独立爱好者参考站点与 DeepSeek、NVIDIA 或华为无关联，参考站点上的所有产品声明均直接引自公开官方来源。