DeepSeek DeepGEMM合入Mega MoE：MoE五阶段融为一枚kernel，109个文件改动

API接口开发代码生成低代码/无代码开源模型强化学习算法优化推理优化

2026-04-17 14:49

553 浏览

0 点赞

AI 速览

DeepSeek将Mega MoE超级内核合入DeepGEMM主分支，实现MoE五阶段融合为单枚kernel，旨在解决多卡专家并行场景下的性能瓶颈。核心事实 - 事件进展：4月17日，PR #304合并入DeepGEMM主分支，含109个文件变更 - 技术突破：Mega MoE将EP dispatch、linear、SwiGLU等五个阶段融合进同一kernel - 性能优化：FP8×FP4路径下，NVLink通信与Tensor Core计算在同一kernel内重叠 - 依赖要求：需PyTorch ≥ 2.9版本，通过多进程方式启动并分配对称内存缓冲区价值点为开发者提供底层算子库层面的MoE执行引擎重写方案，有助于提升大模型推理效率。

4 月 17 日消息，DeepSeek 于当日将 DeepGEMM 仓库拉取请求 #304 合并入主分支。该 PR 标题为「[Public release 26/04] Introducing Mega MoE, FP4 Indexer and other features/fixes」，由维护者 LyricZhao 提交，最终包含 7 个 commit、109 个文件变更、增 12,135 行删 3,253 行。首次公开的核心能力是 Mega MoE 超级内核。仓库当前 6.4k star、865 个 fork。

DeepSeek DeepGEMM合入Mega MoE：MoE五阶段融为一枚kernel，109个文件改动

合入后，DeepGEMM 的 README 定位从此前的"FP8 与 BF16 GEMM 及 MoE 分组场景"改写为"统一的高性能 tensor core 内核库"，覆盖 GEMM（FP8、FP4、BF16）、融合 MoE（Mega MoE）、闪电 indexer 的 MQA 打分、HyperConnection 等模块。MoE 在多卡专家并行场景下，推理性能长期受制于 kernel 启动次数与跨设备通信开销——计算与通信难以在同一时间片内重叠，GPU 空转率偏高。将执行链合并为单枚 mega-kernel 的路径，此前在 TransformerEngine、vLLM、FlashInfer 等推理框架中各有尝试；DeepGEMM 进入这一方向，意味着 DeepSeek 开始在底层算子库层面重写 MoE 执行引擎，不再只是上层调度重排。

据 README 新增章节，Mega MoE 将 MoE 单步执行的 EP dispatch、linear 1、SwiGLU、linear 2、EP combine 五个阶段融合进同一枚 kernel，其中 linear 1 与 linear 2 均走 FP8×FP4 路径，NVLink 通信与 Tensor Core 计算在同一 kernel 内重叠。使用前需通过 get_symm_buffer_for_mega_moe 分配对称内存缓冲区，以多进程方式启动；代码注释明确要求 PyTorch ≥ 2.9。完整示例与专家并行测试范围见仓库 tests/test_mega_moe.py。

PR 同步发布的其他能力包括：FP4 Indexer（MQA logits，支持更大 MTP）、FP8×FP4 GEMM、PDL（Programmatic Dependent Launch）、DeepEPv2 MoE GEMM 布局、基于 Swap A/B 的更快 MoE GEMM、GEMM 启发式逻辑重构，以及更快的 JIT 编译。缺陷修复侧包括分布式文件系统上 JIT 崩溃、部分 kernel 挂死与非法内存访问（IMA）。构建侧，CMakeLists 将 C++ 标准从 17 升到 20。

README 的 Utilities 一节同步扩容，新增 set_pdl / get_pdl、set_ignore_compile_dims、set_block_size_multiple_of 等控制开关；环境变量扩展至覆盖 JIT 调试、缓存、编译器选择、PTX/SASS 输出、性能采集等多组。仓库同时新增 Citation 章节，作者列 9 位。

PR 贡献者栏列出 LyricZhao、zheanxu、bucket-xv、RayWang96、interestingLSY 等 8 名开发者参与 Mega MoE 部分。作者在 PR 末尾注明，Mega MoE 仍在开发与优化中，欢迎社区贡献。性能对比数据未随合入公布，README News 条目写明"稍后公布"。截至发稿，英伟达及前述主流推理框架的核心作者暂未就该 PR 公开回应。

官方性能对比公布、更大规模 EP 配置验证之后，Mega MoE 能否在真实大模型推理账单里跑出优势，是这次更新的最终落点。

好文章，需要你的鼓励

编程报错分析与调试步骤生成

# 编程报错分析与调试指南请根据用户提供的报错信息，执行以下步骤： 1. **解析报错信息**：仔细阅读【报错信息】，识别关键元素，如错误类型（SyntaxError、TypeError、NullPointerException等）、错误位置（文件名、行号）、堆栈跟踪等。 2. **推测可能原因**：基于错误类型和上下文，列出3-5个最可能的原因。例如： - 变量未定义或拼写错误 - 函数参数类型不匹配 - 资源未正确初始化 - 依赖库版本冲突 3. **提供调试步骤**：给出具体、可操作的调试建议，包括： - 检查相关代码行及上下文 - 添加日志或断点验证变量状态 - 验证输入数据格式与范围 - 查阅官方文档或社区讨论 4. **示例修复方案**：若可能，提供一个简化的代码修复示例。请确保回答清晰、结构化，并针对不同编程语言（如Python、Java、JavaScript等）调整术语。 --- **输入示例**：【报错信息】 ```python Traceback (most recent call last): File "main.py", line 5, in <module> print(x + y) NameError: name 'x' is not defined ```

代码生成低代码/无代码故障排查