热点拆解 📅 2026-11-10 ✍️ MagicNetWorld 编辑部

GC-MoE 拆解:把 MoE 通信与计算放上不同 SM,为什么反而更快

深读 2026 年 11 月 3 日提交的 GC-MoE 论文、代码仓库与 NVIDIA Green Contexts 文档:它把 MoE decode 的 token dispatch 与 FP8×FP4 grouped GEMM 放到不相交的 SM 分区,再用 token ring 和双缓冲计数器维持细粒度重叠。作者报告:8×H20 routed 套件相对作者构建的 SM90 Mega MoE 参考端口平均加速 1.188×,8×B300 routed 套件相对公开 Mega MoE 平均加速 1.106×;这些不是本站实测,也不能全部归因于 SM 分区。本文拆解资源隔离、图调度、尾部屏障、低精度路径与复现边界。

MoECUDAGreen ContextsGrouped GEMM推理优化专家并行

先说直觉:一间工厂把收货、加工和包装全塞进每个工位,看似省去了搬房间的时间,却让每个工位都要同时保留三套工具。

GC-MoE 做的事情,是把收货工位和加工工位真正分开,再用一条带编号的小传送带连接它们。

收货不必等全部货物到齐才通知加工,加工也不必在每批结束后跑回所有收货点做一次集体确认。

对应到 GPU,就是把 MoE 层的通信 kernel 放在一小组 SM 上,把 grouped GEMM 放在其余 SM 上。

两者仍在一个 CUDA Graph 的一次 replay 中协作,但不再共享每一个 SM 的寄存器、共享内存与同步域。

2026 年 11 月 3 日提交的 arXiv:2611.04222v1 将这套实现称为 GC-MoE。

论文作者报告,它在 8 张 NVIDIA H20(Hopper)的 routed-expert 解码套件上,相对作者构建的 SM90 Mega MoE 参考端口取得 1.188× 平均加速;在 8 张 NVIDIA B300(Blackwell)的两套 routed-expert 模型配置上,相对公开 Mega MoE 合计取得 1.106× 平均加速。

这些数字来自作者给出的实验协议与代码,不是 MagicNetWorld 的独立实测。

把它归入今日「热度」方向,依据是时间很近而且代码持续演进:论文在 2026 年 11 月 3 日提交,本轮 11 月 10 日读取官方仓库时,页面显示 23 stars、3 forks、15 次 commits,README 已从论文评测的 0.3.1 前进到 0.5.1。

这些信号说明它是一个正在快速公开迭代的新算子,不代表已经形成大规模社区采用;真正值得现在读的原因,是它把 CUDA 12.4 引入的 Green Contexts 用到了单个 MoE 算子内部,而不是只做进程间隔离。CUDA 12.4 是该能力的引入版本,不代表当前 GC-MoE 的验证工具链。

对开发者的直接问题是:当通信与计算已经重叠但仍有资源争用时,是否值得把重叠改写成显式的 SM 分区与设备端协议。

更值得工程读者关注的也不是一个孤立的加速比,而是它把「融合」重新拆成了三个可以分别优化、又能并发执行的角色。

本文先解释 decode 为什么给小分区留下机会,再推导 token ring、跨 replay 计数器和三节点图怎样维持正确性,最后检查实验到底证明了什么、没有证明什么。

一、先把 MoE decode 的四段成本说清楚

MoE 的全称是 Mixture of Experts,即每个 token 只选择部分专家网络参与计算,而不是激活整份大模型参数。

专家并行 EP 把不同专家放在不同 GPU 上;在本文讨论的专家跨卡部署、路由命中远端专家的配置下,需要跨 rank 搬运 token。它不是 MoE 数学形式对每一种部署的必然要求。

对一个 token tt,忽略实现细节后的数学形式可以写成:

yt=∑j∈TopK⁡(t)gt,jW2(j)SwiGLU⁡(W1(j)xt)+W2sSwiGLU⁡(W1sxt)y_t=\sum_{j\in\operatorname{TopK}(t)}g_{t,j}W_2^{(j)}\operatorname{SwiGLU}\left(W_1^{(j)}x_t\right)+W_2^s\operatorname{SwiGLU}\left(W_1^s x_t\right)

第一项是被路由到的专家,第二项是可选的共享专家。

gt,jg_{t,j} 是路由权重,W1(j)W_1^{(j)} 同时包含 gate 与 up 投影,W2(j)W_2^{(j)} 是 down 投影。

到了 GPU 上,这个公式通常被拆成四个阶段。

第一阶段是 dispatch:把 token、激活 scale 和路由元数据发给拥有目标专家的 rank。

第二阶段是 Grouped GEMM 1:按专家分组做第一段矩阵乘,并在 epilogue 中融合 SwiGLU。

第三阶段是 Grouped GEMM 2:做 down 投影,得到每个被选中专家的部分输出。

第四阶段是 combine:按路由权重把 top-k 部分输出以及可选共享专家结果归约回源 rank。

dispatch 和 combine 的主要约束是跨 rank 数据移动与可见性,两个 GEMM 的主要约束则随 batch 大小改变。

在 prefill 或大 batch 中,每个专家可能收到很多 token,Tensor Core 的算术吞吐更容易成为瓶颈。

在 decode 中,每个 rank 只有少量 token,专家权重的读取、跨 rank 延迟和固定同步成本反而更加醒目。

GC-MoE 的出发点不是「通信原来没有和计算重叠」,而是「已有的重叠仍然让所有角色挤在同一块 SM 资源上」。

这个区别决定了后文所有分析:优化对象不是 MoE 数学,而是同一层内部的空间划分与同步路径。

二、符号约定与小 batch 推导:为什么算力利用率天然不高

先固定符号,避免把每 rank token 数与整集群 token 数混为一谈。

符号或术语含义本文使用口径
PPrank 数一卡一进程时等于 GPU 数
EE全局 routed expert 数不是每卡本地专家数
e=E/Pe=E/P每 rank 本地专家数要求专家均分
TT每 rank token 数论文扫描 1 到 256
kktop-k 路由因子每个 token 选择的 routed expert 数
HHhidden size输入与输出隐藏维度
IIintermediate size单个专家中间维度
BMB_Mtoken ring 的块大小grouped GEMM 的 M 向分块
SMStreaming MultiprocessorGPU 上承载 CTA 的执行资源单元
CTACooperative Thread Array一个 thread block
rank分布式进程及其 GPU本实验为一进程一 GPU

先钉住名称的身份:本文出现的 GLM-5.2 与 DeepSeek-V4.1-Flash 指论文用于组织基准的 MoE 层形状或测试配置;文中的微秒数字是对应 MoE 算子/层的 decode 基准,不是端到端完整模型生成延迟或吞吐。

在对称输入、均衡路由的简化假设下,全局 routed assignment 数是 PTkPTk。

平均每个专家收到的 token 数因此是:

m^=PTkE\widehat m=\frac{P T k}{E}

这个量不是真实每专家 token 数的上界,只是均衡假设下的均值。

真实路由会倾斜,某些专家会更热,某些专家可能没有 token。

以论文的 GLM-5.2 配置为例,P=8P=8、E=256E=256、k=8k=8。

当 T=1T=1 时:

m^=8×1×8256=0.25\widehat m=\frac{8\times1\times8}{256}=0.25

也就是说,平均四个专家才分到一个 token。

以 DeepSeek-V4.1-Flash 的 E=384E=384、k=6k=6 为例,同样条件得到:

m^=8×1×6384=0.125\widehat m=\frac{8\times1\times6}{384}=0.125

平均八个专家才分到一个 token。

这并不意味着只需计算 0.125 行矩阵;实现仍要面对 tile 对齐、有效 expert 集合和权重布局。

它说明的是一个更基本的事实:小 M 让大量 Tensor Core 算术容量无法被填满,而被激活专家的权重仍需从 HBM 读出。

因此,decode 的 grouped GEMM 常常更接近权重流量受限,而不是峰值 FLOPS 受限。

这给通信分区留下了一个反直觉的机会:少拿一些 SM 做 GEMM,不一定按比例拖慢 GEMM;把通信从每个 SM 上拿走,却可能减少资源争用与尾部等待。

「带宽受限」不是「SM 数量完全不重要」,而是说在特定区间内,增加 SM 带来的收益小于增加其它资源的收益。

论文也没有给出任意 batch 下都成立的通用分界点,收益仍要按模型、硬件和 token 数实测。

三、基线不是串行:Mega MoE 已经在重叠,但重叠方式有代价

GC-MoE 的对照对象是 DeepGEMM 的 Mega MoE。

DeepGEMM 官方仓库将 Mega MoE 描述为融合 MoE 与重叠通信的 kernel 家族。

因此,把基线写成「先完成全部通信,再开始 GEMM」是错误的。

Mega MoE 在一个 persistent fused kernel 内让 dispatch warp 拉取 token,同时让其它 warp 消费已经填满的 ring block。persistent kernel 指长驻并循环领取任务的 kernel,warp 是 GPU 调度的一组线程束。

它已经具备块级流水线,只是通信与计算共享所有 SM。

论文以 B300 为例,把基线描述为 148 个 SM 上的单个融合 kernel。每个 CTA 都包含 dispatch、TMA-load 和 epilogue(矩阵乘后的输出处理)等角色;MMA-issue 与 scheduler warp 仅在双 CTA cluster 的 leader CTA 中运行。

dispatch warp 需要寄存器、共享内存 staging buffer 和 issue slot,这些预算不能同时完整地留给计算角色。

所有角色还被同一个 CTA 的寄存器与共享内存上限约束。

局部想加深某一段流水,可能必须重新平衡整个融合 kernel,而不是只改一个独立函数。

论文将基线关键路径概括为:

Tmega=tpro+max⁡(Tpullshared,Tgemmshared)+max⁡(Tcombine,tclean+ttag2)T_{\mathrm{mega}}=t_{\mathrm{pro}}+\max\left(T_{\mathrm{pull}}^{\mathrm{shared}},T_{\mathrm{gemm}}^{\mathrm{shared}}\right)+\max\left(T_{\mathrm{combine}},t_{\mathrm{clean}}+t_{\mathrm{tag2}}\right)

中段的 max 表示 pull 与 GEMM 已经重叠。

上标 shared 很重要:它不是串行求和,但两段在同一个 SM 阵列上争用资源。

尾部还有一个 max,表示 workspace clean 可以与 combine 重叠。

然而 clean 后面的 tag-2 跨 rank barrier 仍需保护下一次 replay 对同一 workspace 的复用。

当 combine 足够长时,这段成本可能被遮住;当 decode 层很短时,固定尾部更容易显形。

所以 GC-MoE 的改进点有三个,而不是只有「开两个 stream」。

第一,通信和计算各自拿到完整的 per-SM 资源预算。

第二,grid sync 的范围从全设备缩小到具体角色需要的 grid。

第三,跨 replay 的计数器复用不再依赖每次末尾的 tag-2 barrier。

这三点与后面的低精度权重预打包同时存在,阅读性能结果时不能把它们剥离后又全部记到 Green Contexts 头上。

四、Green Contexts 不是普通 stream:它把可共驻变成驱动层资源约束

普通 CUDA stream 表达的是任务顺序与独立关系,不是 SM 配额。

两个独立 kernel 有并发资格,不等于它们一定同时驻留在 GPU 上。

一个全设备 grid 可能已经占满 SM,后到的通信 kernel 只能等待,或与计算发生不受应用控制的资源竞争。

NVIDIA 官方文档对 Green Context 的定义是:一个与特定 GPU 资源集合关联的轻量 context。

当前可划分的资源包括 SM 与 work queue,发往某个 Green Context 的工作只能使用分配给它的资源。

这意味着应用不再只是请求调度器「尽量并发」,而是先给两类工作划出不相交的 SM 集合。

GC-MoE 在初始化时查询设备 SM 资源,按 driver alignment 切分,再分别创建 communication context 与 compute context。

应用传入的是 dispatch 请求值,最终分区由驱动按最小粒度与对齐规则确定。

论文 B300 配置中,默认请求值 16 最后得到 20/128 的通信/计算分区。

分区比例是:

rdispatch=20148≈13.51%,rcompute=128148≈86.49%r_{\mathrm{dispatch}}=\frac{20}{148}\approx13.51\%,\qquad r_{\mathrm{compute}}=\frac{128}{148}\approx86.49\%

这里的 13.51% 是 SM 数量占比,不是性能损失,也不是通信占用的时间比例。

compute 少 20 个 SM,换来 dispatch 不再占用 compute SM 上的 warp、寄存器与共享内存。

净收益必须由完整层延迟判断,不能从 SM 数量直接推导。

论文还强调 balanced workqueue。

如果两个 Green Context 被映射到同一个 hardware workqueue,即使 SM 已分开,也可能出现隐式串行。

因此,「创建了两个 Green Context」仍不是充分条件;实现还要请求并读回验证合适的 workqueue 配置。

GC-MoE 对最终分区也做运行期检查,例如 compute SM 至少 32 且为偶数、dispatch 至少 2、两者之和等于设备 SM 数。

这些约束说明它面向的是受控 kernel 与固定执行图,不是一个可以忽略硬件拓扑的通用并行开关。

GC-MoE 三节点主路径中通信与计算放到不相交 SM 分区并协作
图 1 三节点主路径示意:通信与计算是两个并发根,finalize 同时依赖两者;范围标题不是 Graph 节点,Hopper 的 fused shared 路径会增加第四个节点(本文自绘)

这张图想说明的一件事:Green Context 决定「在哪里执行」,CUDA Graph 决定「以什么依赖关系执行」,两者必须同时正确才有重叠。图内把 Graph 完成依赖、设备端块级握手与角色归属分开画出。

五、三节点图怎样做到边收边算,而不是把同步改成一次大等待

GC-MoE 把一次 MoE 层执行组织成三个角色,但角色数不必等于所有路径的实际 Graph 节点数。

图 1 适用于 shared expert 作为独立输入路径的三节点主路径;H20/Hopper 开启 fused shared 时还会增加第四个节点,不能拿这张图覆盖全部测试路径。

role1 是 dispatch,运行在 communication partition。

role2 是 routed/shared grouped GEMM,运行在 compute partition。

role3 是 signal reset 与 combine,也运行在 compute partition。

role1 与 role2 在 CUDA Graph 中没有依赖边,是两个并发根。

role3 同时依赖 role1 与 role2,因此必须等两部分完成。

这里没有 role1 到 role2 的整阶段依赖,否则就会变成先收完再算。

真正的细粒度依赖由 device memory 中的 token ring 信号表达。

ring 按 BMB_M 个 token 分块,每块带有 full/empty 计数和 W1 完成位图。

dispatch 填满一个块后发布该块的 full 计数,compute 的 producer warp 用 acquire 语义等待目标代次的计数。

论文给出的等待条件是:

l1_full_count⁡[b]=BM(generation⁡+1)\operatorname{l1\_full\_count}[b]=B_M(\operatorname{generation}+1)

等号右边包含 generation,是因为同一个物理 ring block 会在一次 replay 内被多代逻辑块复用。

如果没有代次,compute 可能把上一轮残留的 full 状态误认为本轮数据已经就绪。

dispatch 覆盖旧块之前也必须看到消费者已经释放上一代,这就是 empty 计数存在的原因。

ring 容量不能简单写成「token 总数除以块大小」。

论文先估计最大 routed assignments:

Amax⁡=Tmax⁡Pmin⁡(k,e)A_{\max}=T_{\max}P\min(k,e)

再给出逻辑块池的基础规模:

Npool=⌈Amax⁡BM⌉+eN_{\mathrm{pool}}=\left\lceil\frac{A_{\max}}{B_M}\right\rceil+e

末尾的 ee 用来覆盖按本地专家组织任务时额外的块需求,实际同时存活块数还要由 compute SM、L1/L2 cluster wave 与流水线模型计算。

这个公式是容量模型的入口,不是让应用自己随意分配一小块内存的通用配方。

实现会用真实 driver-aligned 分区重新检查容量,防止图捕获后才发现 ring 不够。

在 W1 到 W2 之间还有第二级细粒度握手。W1 对应专家网络的第一段投影,W2 对应第二段投影。

K128/N128 表示对应 K/N 维度的 tile 大小为 128。每个 W2 K128 tile 需要两个 W1 N128 输出 tile,W1 epilogue 完成后在一个 64 位 bitmap 中设置对应位。

W2 producer 只等自己需要的两个位,而不是等待整个 W1 阶段。

这带来一个直接约束:若 W1 输出 tile 数为 2I/1282I/128,则必须满足:

2I128≤64⟹I≤4096\frac{2I}{128}\le64\quad\Longrightarrow\quad I\le4096

这条推导解释了论文附录中的 I≤4096I\le4096 不是随意写出的模型限制,而是 64 位完成位图的几何后果。

细粒度同步的价值正在这里:等待范围被压缩到「这一块数据」或「这两个 tile」,而不是整层、整设备。

但位图、计数器与内存序也因此成为正确性的核心,不能把它们当作可以省略的优化附属品。

六、双缓冲计数器为什么能删掉尾部跨 rank barrier

跨 replay 复用 workspace 的典型危险是:下一次 dispatch 已经写入新计数,上一次 combine 却还没消费完旧计数。

简单做法是在每次调用末尾增加跨 rank barrier,让所有 rank 都确认清理完成后再允许下一次 replay。

GC-MoE 改用 parity 双缓冲。

设 replay 序号为 NN,本次消费的 receive counter 代次为:

q(N)=N mod 2q(N)=N\bmod2

第 NN 次 replay 读取第 q(N)q(N) 组计数,role3 消费并完成后翻转 parity,下一次 publish 写到另一组。

因此第 N+1N+1 次写入的是:

q(N+1)=(N+1) mod 2=1−q(N)q(N+1)=(N+1)\bmod2=1-q(N)

相邻两次 replay 不共用同一组接收计数。

但「换了缓冲区」本身并不足以保证整个协议正确。

还需要 tag-1 barrier 保证各 peer 的计数可见性,需要 combine readiness 的 release/acquire 链保证部分输出与就绪状态的顺序,也需要 role3 在适当位置重置 ring 信号。

GC-MoE 把 role3 的 bookkeeping half 与 combine half 放在同一 kernel 内并行执行。

前四个 warp 负责发布 readiness、消费当前代 receive counts、翻转 parity、重置下一轮信号。

其余 warp 等待 peer readiness,同时预取并归约 top-k 与共享专家部分输出。

于是 reset 不再单独占一个串行 pass,而是藏在 combine 的等待与归约旁边。

三节点依赖关系同样关键。

role3 依赖 role1 与 role2,因此它开始 bookkeeping 时,本次 dispatch 与 W2 scatter 已完成。

下一个 replay 不再需要额外一次全 rank tag-2 rendezvous 来保护旧 workspace。

这不是「没有同步」,而是把一次粗粒度跨 rank 尾部同步改造成持久状态、代次与细粒度可见性协议。

如果读者要审查类似实现,最该问的不是有没有 barrier 字样,而是每个缓冲区从生产、发布、消费到重用的完整生命周期是否闭合。

论文设置默认 3600 秒的跨 rank barrier timeout,超时后 device trap,而不是无限挂住。

这也是协议型 kernel 的工程防线:正确性不只靠理想执行顺序,还要让异常顺序能暴露。

七、FP8×FP4 路径:分区之外,GEMM 本身也做了架构特化

如果只把通信与计算拆开,却没有高效的 grouped GEMM,整层仍可能很慢。

GC-MoE 对 Blackwell 与 Hopper 使用两条不同的低精度实现路径。

Blackwell SM103 路径使用 2-CTA 的 tcgen05 block-scaled MMA,FP32 accumulator 放在 TMEM。

指令的 A operand 是权重 tile,B operand 是激活 tile,因此 MMA 的 N 维对应 token 维。

对于未填满的 token block,指令 N 按有效 token 数向上取整到 16,而不是始终支付完整 padded block 的算术。

routed 权重是 E2M1 FP4,shared 权重是 E4M3 FP8,二者通过运行时 format id 复用同一指令序列。

权重还经过 K128 tile-contiguous 预打包。

原布局中,一个 weight tile 的不同行可能隔着完整矩阵行距。

预打包后,一个 K128 tile 的各行 64-byte 片段连续存放。

论文称这样可以把一次 weight tile load 从 128 个分散片段变成一次连续 8 KB burst;FP8 shared tile 对应 16 KB。

这个优化直接影响权重流量路径,也是「不能把全部加速归因于 Green Context」的具体证据之一。

Hopper SM90 没有同样的原生 FP4 block-scale MMA 路径。

GC-MoE 在寄存器中把 FP4 解码为 E4M3,再发 register-A WGMMA。

block scale 在 MMA 外按 K32 通过 FMA 应用,权重还需经过 window-based rescaling 与 lane 适配重排。

维度Blackwell SM103 路径Hopper SM90 路径
编译目标sm_103fsm_90a
核心 MMA2-CTA tcgen05 block-scaled MMAregister-A WGMMA
routed 权重packed E2M1 + UE8M0 K32 scaleMXFP4,window repack
FP4 处理原生 E2M1 operand寄存器内 FP4→E4M3
scale 应用UTCCP 到 TMEM,硬件 block scaleMMA 外按 K32 FMA
默认 dispatch 请求16,论文 B300 对齐为 204
图节点33;论文称融合 shared 时为 4

这张表严格区分论文评测路径与当前仓库,不把不同硬件上的优化混写成同一条指令链。

共享专家融合也不是简单地再调用一次独立 GEMM。

shared expert 处理本 rank 的全部 token,不需要 dispatch,因此 shared W1 可以直接 alias 原激活 buffer。

shared task 进入统一 scheduler,shared 输出占 combine buffer 的额外槽位,最后由 role3 一并归约。

但 Hopper 与 Blackwell 的图节点描述需要特别注意版本:论文 v1 写 SM90 融合 shared 时增加第四个节点,当前仓库 README 的概述写「四个或五个」。

本文性能分析只采用论文 v1 的实验口径,不拿当前仓库的新增能力反填论文实验。

八、性能数字怎么读:先复算,再分清对照条件

论文的 benchmark 不是任意一次 kernel launch。

每个 measurement window replay CUDA Graph 100 次,10 个 warmup window、30 个 measured window,window 间 flush L2 并同步。

每个 rank 报告 window median,单点延迟取 8 个 rank 中的最大值,也就是最慢 rank。

每个点的 speedup 定义为:

S(T)=TMega(T)TGC(T)S(T)=\frac{T_{\mathrm{Mega}}(T)}{T_{\mathrm{GC}}(T)}

多点平均是逐点 speedup 的算术平均,不是先平均延迟再相除:

S‾=1n∑i=1nTMega,iTGC,i\overline S=\frac1n\sum_{i=1}^{n}\frac{T_{\mathrm{Mega},i}}{T_{\mathrm{GC},i}}

这两种算法在延迟随 token 数变化时并不等价。

以 8×H20、DeepSeek-V4.1-Flash、每 rank 16 tokens 为例,论文表 5 给出 Mega 442.722 μs、GC-MoE 341.689 μs。

本文复算:

S(16)=442.722341.689≈1.2957S(16)=\frac{442.722}{341.689}\approx1.2957

对应的延迟降幅不是 29.57%,而是:

R(16)=1−341.689442.722≈22.82%R(16)=1-\frac{341.689}{442.722}\approx22.82\%

加速比与延迟降幅互为不同表达,不能直接把 1.296× 写成「延迟下降 29.6%」。

同一 H20 套件在每 rank 256 tokens 时为 695.010 μs 对 675.370 μs:

S(256)=695.010675.370≈1.0291S(256)=\frac{695.010}{675.370}\approx1.0291

这与论文的曲线解释一致:小 batch 的固定同步与共享 SM 成本更醒目,大 batch 逐渐接近权重 streaming 限制,相对收益缩小。

再看 8×B300、DeepSeek-V4.1-Flash、每 rank 1 token。

70.630 μs 对 59.387 μs 给出:

S(1)=70.63059.387≈1.1893,Δt=70.630−59.387=11.243 μsS(1)=\frac{70.630}{59.387}\approx1.1893,\qquad \Delta t=70.630-59.387=11.243\ \mu s

每 rank 256 tokens 时为 186.200 μs 对 171.051 μs,绝对节省 15.149 μs,speedup 约 1.0886×。

所以「相对收益变小」不等于「绝对节省归零」,两种口径要分别说。

论文总共报告 54 个 decode 测量点全部胜过其 Mega MoE 对照。

这 54 点是 9 个 H20 routed、9 个 H20 shared、18 个 B300 routed、18 个 B300 shared。

但 shared 套件的基线条件并不完全相同。

B300 上两者都启用 fused shared expert,属于 feature-matched 对照。

H20 的参考 Mega MoE 没有 fused shared 路径,基线是 routed Mega kernel 加一个独立 shared kernel。

因此 H20 shared 的数字同时包含融合 shared expert 的收益,不能拿来单独证明 SM 分区的收益。

套件论文报告平均加速对照解释
8×H20 routed1.188×作者自建 SM90 Mega 参考端口
8×H20 fused shared1.188×对照为未融合 shared 的 Mega 路径
8×B300 routed,两模型1.106×18 点,公开 Mega MoE
8×B300 fused shared,两模型1.123×两边都启用 fused shared

论文还报告 H20 routed 上 GC/Mega 最小 cosine 约 0.9999998,shared 套件最小值约 0.9999997。

这说明其测试集中两者输出非常接近,不等于任意模型、任意量化输入都数学等价。

论文对 BF16 参考也设置了 cosine 阈值,routed 为 0.97,shared 为 0.99;这些是测试通过标准,不应被改写成「准确率只损失 3%」这类没有对应任务指标的说法。

九、工程接入真正的边界:版本、拓扑与 workspace 都是契约

GC-MoE 不是替换一行 GEMM 调用就能用于任意训练或推理代码的库。

当前官方 README 要求 Linux、NVIDIA Hopper 或 Blackwell GPU、支持 Green Contexts 的 CUDA driver。

多 GPU 执行要求 peer-accessible GPU、PyTorch symmetric memory,并采用一进程一 GPU。

截至 2026-11-10,当前 README 记录的验证工具链是 CUDA 13.2 与 ptxas 13.2.78,PyTorch 约束为 2.11.x,CUTLASS DSL 固定 4.8.1。

安装 wheel 不会编译所有 kernel,第一次遇到具体配置时才 JIT。

这意味着首次接入的冷启动、编译缓存 key 与 graph capture 都需要进入部署验收,而不能只测稳定后的 replay。

权重 transform 也必须在 graph capture 外按流序完成,并复用同一份布局与存储。

输入激活的量化由调用方负责,weight transform 只重排已经量化的数据,不会把 BF16 权重自动变成 FP4。

当前接口还限制 HH 为 256 的倍数、II 为不超过 4096 的 128 倍数、全局专家不超过 2048、每 rank 本地专家不超过 512。接口支持上限不等于论文测试覆盖。

kk 加是否启用 shared expert 后不能超过 32,P 的论文描述上限为 72。

更关键的是,同一 workspace 的调用必须串行。

persistent ring、counter 与 parity 都是单实例状态,不能因为 CUDA Graph 可重放就把同一个 workspace 并发喂给多个请求流。

论文评测使用 GC-MoE 0.3.1、commit 9bdb81f,而 2026 年 11 月 10 日本轮读取到的仓库 README 已写当前包版本 0.5.1。

当前 README 还列出 H100 与 32×GB200 的扩展报告,这些不属于本文引用的 v1 论文 54 点结果。

因此复现时应先固定代码 revision,再区分「论文实验包」「当前公开包」与「当前仓库新增硬件报告」。

对 serving 集成方,合理的验收顺序是先跑数学参考与边界形状,再做 eager/graph 一致性,再做 asymmetric rank 与空 rank 测试,最后才看性能。

只看平均延迟会漏掉最慢 rank,只看单点峰值会漏掉收益随 token 数变化,只看 cosine 又会漏掉协议在异常输入下的生命周期错误。

token ring 块级握手、role3 并行职责与安全跨 replay 复用条件
图 2 full/empty 负责块级流水;role3 的 bookkeeping 与 combine 并行,只有 tag-1、release/acquire、reset、前驱完成与同 workspace 串行等条件共同满足,才可进入下一 replay(本文自绘)

这张图想说明的一件事:删掉尾部 barrier 的前提是状态生命周期更严格,而不是同步约束消失;parity 不足以单独保证正确性,图中将 empty 到生产者的回边省略,仅标出释放与覆盖语义。

十、这套结果还没有回答什么

第一,论文没有给出 partition size 的受控消融。

20/128 在 B300 上有效,不代表它对所有模型与 token 数都是最优。

第二,论文没有给出 overlap on/off 的独立对照。

因此无法把观察到的全部收益精确拆成「SM 隔离贡献多少、ring 协议贡献多少、去 tag-2 贡献多少、K128 预打包贡献多少」。

第三,H20 的 Mega MoE 是作者构建的 SM90 reference port,不是 DeepGEMM 公开发布中原生提供的同版 SM90 kernel。

这不妨碍该对照有参考价值,但复现报告必须保留这一身份。

第四,实验面向 decode,最大每 rank 256 tokens。

prefill 或大 batch 中 compute partition 更容易成为约束,不能把 decode 的平均加速外推过去。

第五,workspace 单实例限制了并发方式。

服务层若需要多路并发,必须设计独立 workspace 或串行化,而不是假设 driver partition 会自动解决应用级状态竞争。

第六,论文报告的是特定模型形状、特定低精度 recipe、特定 NVLink 对称内存实现与特定软件栈。

改成其它量化格式、其它互联或动态专家分布后,关键路径可能改变。

第七,Green Context 提供的是资源分区能力,并不替应用证明内存序与跨 rank 协议正确。

ring 代次、bitmap 位、readiness、parity 与 graph capture 参数仍需要实现者自己验证。

第八,当前论文的数值测试证明的是给定测试集中的输出接近与阈值通过,不是端到端任务质量评估。

如果要把该算子接入生产模型,还应补模型级输出对照、长稳运行、异常 rank 与真实流量回放。

这些边界不是削弱 GC-MoE 的价值,而是把它从「一个漂亮的平均加速数字」还原成一份可审查的工程方案。

它最有说服力的部分,是资源划分、细粒度握手和 replay 状态管理彼此咬合。

它最需要后续实验的部分,是把各机制的贡献分别拆开,并扩大硬件、形状与并发模型覆盖。

小结:真正的进展不是少了一层融合,而是融合有了清晰边界

GC-MoE 并没有退回「通信完成后再计算」的串行流程。

它把原先每个 SM 内的角色混居,改成通信分区与计算分区之间的块级流水。

CUDA Graph 负责让两个角色作为并发根启动,Green Context 负责限制各自能用的 SM 与 workqueue。

token ring 负责让计算在首批块就绪后开始,generation 负责安全复用物理块。

双缓冲 receive counter、release/acquire readiness 与 role3 内并行 reset,共同替代尾部跨 rank barrier。

Blackwell 与 Hopper 各自的 FP8×FP4 路径,则保证被保留下来的 compute partition 仍有高效的 GEMM 实现。

作者在 54 个自有 decode 测量点上报告全面优于所选 Mega MoE 对照,H20 routed 与 B300 routed 的平均加速分别为 1.188× 和 1.106×。

但在缺少分区与 overlap 消融的情况下,最稳妥的结论不是「Green Context 单独带来这么多加速」,而是「这套围绕分区重建的算子设计,在论文环境中取得了这些结果」。

对做 MoE serving 的团队,这篇论文值得借鉴的是一种拆解方法:先找出真正受限的资源,再决定哪些阶段应共享、哪些阶段应隔离,最后用状态生命周期证明重叠没有牺牲正确性。

📋 来源与核验记录

核验日期:2026-11-10。本文基于一手论文、官方代码与官方文档整理,由 AI 辅助生成;未在 H20/B300 集群上独立复跑,所有性能数字均明确按作者报告引用。

  1. Yong Li、Kan Liu、Tao Lan,GC-MoE,arXiv 摘要与提交信息,2026-11-03:https://arxiv.org/abs/2611.04222
  2. GC-MoE 论文 HTML v1,公式、实验表、限制与附录:https://arxiv.org/html/2611.04222v1
  3. GC-MoE 官方仓库,当前 README、接口、环境要求与测试命令:https://github.com/Bruce-Lee-LY/gc-moe
  4. NVIDIA CUDA Programming Guide,Green Contexts 的 SM/workqueue 资源与并发说明:https://docs.nvidia.com/cuda/cuda-programming-guide/04-special-topics/green-contexts.html
  5. DeepSeek 官方 DeepGEMM 仓库,Mega MoE 与低精度 kernel 家族说明:https://github.com/deepseek-ai/DeepGEMM

本文自行推导与复算:每专家平均 token 数、B300 SM 分区比例、64 位 bitmap 对 II 的限制、parity 相邻代次关系,以及从论文延迟表计算的 speedup、延迟降幅与绝对节省;这些均已在对应公式旁列出输入与假设,未与作者实测数字混列。 数字核验索引(仅供逐项定位正文):13.51% 为 SM 数量占比;29.57% 与 29.6% 是正文明确否定的「把 speedup 当延迟降幅」误算示例;3% 是正文明确否定的 cosine 阈值误读示例。