深度解读 📅 2026-11-16 ✍️ MagicNetWorld 编辑部

FP8 训练里那个 128:分块缩放到底买到了什么

DeepSeek-V3 用 FP8 训练 671B 参数模型,靠的是两个 128:激活按 1×128、权重按 128×128 分组算 scale,同时每累加 128 个元素就把部分和搬到 CUDA core 做 FP32 累加。本文把 E4M3 的 6.25% 保守误差界、次正规区里被量程最大绝对值 amax 钉住的绝对误差上界 amax/458752、以及 K=4096 时约 2% 的累加误差逐项算出来,并给出一个合成实验:本次实现里分块把单层 GEMM 的端到端相对误差从约 4.6%(逐张量)压到约 2.3%–4.1%。文中推导与实验为本文自算,不是论文结论的复现,也没有真机实测。

FP8 训练低精度训练DeepSeek-V3量化混合精度

我在读 DeepSeek-V3 技术报告(2024-12-27 首次提交 arXiv,本文核对的是 2025-02-18 的 v2)时,最先卡住的不是 MLA,也不是 MoE,而是一个看起来很朴素的数字:128。

报告说激活按 1×1281\times128 的格子算缩放因子,权重按 128×128128\times128 的块算缩放因子;又说 Tensor Core 里的累加精度大约只有 14 位,所以每累加 128 个元素就要把部分和搬到 CUDA core 上做一次 FP32 累加。两个 128 出现在两个相距很远的小节里,读起来像巧合。

但把数字代进去算一遍就会发现,它们不是巧合:这个 128 同时被三件事约束——量化分组的宽度、反量化(把 FP8 乘回缩放因子、恢复真实量纲)时乘 scale 的位置、以及 Tensor Core 提升精度(定期把低位宽的部分和搬到 FP32 寄存器里累加)的停顿代价。三者的可行区间被压到一个很窄的窗口,报告选的落点正是 128。

这篇文章想讲清两件事:E4M3 的误差究竟由谁决定,以及 DeepSeek-V3 为什么把量化分组宽度和累加提升间隔都定成 128。

第一件事里有一个常被说过头的结论。分块缩放经常被描述成「把小元素从次正规区(小到指数无法再降、只能丢掉有效位改走固定步长的区间)里捞出来」,但在本文的合成实验里,收益最大的一档恰恰发生在几乎还没有元素进入次正规区的时候。稳定成立的只有一句:分块换了一个决定误差上界的尺度;次正规区那一层,是动态范围极端时才加上的收益。

一次 FP8 GEMM 的三个数值关卡:分块量化、有限位宽累加、每 128 元素提升到 FP32 并乘组 scale
图 1 一次 FP8 GEMM 的三个数值关卡:分块量化 → 14 位累加 → 每 128 元素一次 FP32 提升(本文自绘)

这张图想说明的一件事:FP8 训练不是「换成 8 位再乘」这一步,而是三个互相牵制的关卡串在一起,任何一关都足以让精度掉到不能用。

先约定符号,免得后面绕晕

下表是本文的术语与符号表,第一次出现时会给定义。

记号含义量级示例
xx一个激活向量,长度 KK(GEMM 的内维)K=4096K=4096
ww一个权重行向量,与 xx 同长元素 ~ N(0,1/K)\mathcal{N}(0,1/K)
yy一个输出标量,y=∑k=1Kxkwky=\sum_{k=1}^{K} x_k w_k—
ss缩放因子,把真实值映射进 FP8 可表示范围s=max⁡∣x∣/448s=\max\lvert x\rvert/448
uu缩放后的中间量,u=x/su=x/s无量纲
pp尾数位数,E4M3 取 p=3p=33
εq\varepsilon_q单个元素的量化相对误差上界 6.25%
NCN_C累加精度提升的间隔(元素数)128
amax⁡a_{\max}一个量程内的绝对值最大值决定 ss

两个约定先说清楚:第一,本文所有「误差」都是相对误差,指量化近似值(带帽号  ^\hat{\ })与真实值之差除以真实值的大小,即输出标量的 ∣y^−y∣/∣y∣|\hat y-y|/|y| 或单元素的 ∣x^−x∣/∣x∣|\hat x-x|/|x|;两者都是无量纲,但比较对象与统计口径不同,后面会分开写。第二,论文里的误差数字与本文的合成实验不可比:论文报的是 1T token 训练后 loss 的相对误差(低于 0.25%),我做的是单个 GEMM 的数值实验,两者测的根本不是同一件事。

E4M3 到底给了什么:把 8 个比特拆开

FP8 不是一个格式,是一族格式。业界最常提的两个编码是 E4M3 和 E5M2,位分配正如名字:E4M3 是 4 位指数 + 3 位尾数,E5M2 是 5 位指数 + 2 位尾数。Micikevicius 等人 2022 年 9 月发表的 FP8 Formats for Deep Learning(arXiv:2209.05433,2022-09-12 v1、2022-09-29 v2)把两者的取舍讲得很直白:E5M2 跟随 IEEE 754 的惯例,保留无穷大与多个 NaN 位型;E4M3 为了把动态范围再撑开一点,干脆不表示无穷大,只留一个 NaN 位型。

这两个选择对训练的影响完全不对称,值得逐位拆开算。

E4M3 的指数域是 4 位、偏置取 7,于是最大正规数的指数是 282^{8},配上尾数能取到的最大值 1.112=1.751.11_2=1.75,得到

xmax⁡=1.75×28=448.x_{\max}=1.75\times2^{8}=448 .

最小正规数出现在指数域为 1 的时候,2−6=0.0156252^{-6}=0.015625。再往下的次正规区,步长固定为最小正规数的尾数最小单位,也就是

Δsub=2−9=0.001953125.\Delta_{\text{sub}}=2^{-9}=0.001953125 .

由此得到单个元素的相对误差界。把相邻两个 2 的整数次幂之间的单指数区间(binade,ee 为当前指数)记作 [2e,2e+1)[2^{e},2^{e+1}),其中浮点数的间隔是尾数最低位,即 2e−32^{e-3};四舍五入的最大误差是半个间隔,除以该 binade 的下界,于是

∣x^−x∣∣x∣≤2e−42e=2−4=6.25%.\frac{|\hat x-x|}{|x|}\le\frac{2^{e-4}}{2^{e}}=2^{-4}=6.25\% .

这个 6.25% 是保守上界,不是紧界——相邻两个正规数的中点给出的最大相对误差约为 1/17≈5.88%1/17\approx5.88\%。只有在额外假设「相对舍入误差在区间内均匀分布」时,才谈得上均方根约 6.25%/3≈3.61%6.25\%/\sqrt{3}\approx3.61\%;这个 3.6% 是估计,不是界。E5M2 只有 2 位尾数,同样的推导给出 12.5%——整整差一倍。这是 DeepSeek-V3 敢让进入 FP8 GEMM 路径的相关张量统一用 E4M3 的第一层理由:尾数比指数值钱。

真正的问题在次正规区

如果 FP8 是定点数,6.25% 讲完就结束了。但它是浮点数,所以还有第二层:当一个元素被缩放到小于 2−62^{-6} 时,它就不再有 3 位有效尾数,而是掉进步长固定的次正规区。

把一个量程内的最大值缩到 448,缩放因子就是 s=amax⁡/448s=a_{\max}/448。某个元素保持正规的条件是

∣x∣s≥2−6⟺amax⁡∣x∣≤448×26=28672.\frac{|x|}{s}\ge2^{-6}\quad\Longleftrightarrow\quad \frac{a_{\max}}{|x|}\le 448\times 2^{6}=28672 .

换句话说:同一个量程里,只要最大值比某个元素大过约 2.87 万倍,这个元素就在次正规区。在次正规区,它的绝对量化误差有一个与自身大小无关的上界:

∣x^−x∣≤12Δsub s=amax⁡448×2−10=amax⁡458752.|\hat x-x|\le\frac{1}{2}\Delta_{\text{sub}}\,s=\frac{a_{\max}}{448}\times2^{-10}=\frac{a_{\max}}{458752} .

别把这里的三个数混了:448 是 E4M3 的最大可表示正数;28672(即 448×26448\times2^{6})是元素掉进次正规区的动态范围比值阈值;458752(即 448×210448\times2^{10},量程上限除以半个次正规步长)是次正规区绝对误差上界的分母。这个式子是我认为整篇文章最该记住的一行。它的意思是:小元素绝对误差的上界,不是由它自己的大小决定的,而是由同一个量程里最大的那个元素决定的。a_max 翻十倍,这个上界也翻十倍,而它们自身的数值一点没变。注意「上界」两个字:单个元素的实际误差可以远小于它,甚至为 0;这一条说的是「最坏情况被谁决定」,不是「每个小元素都必然有这么大的误差」。

真实激活里,这种「一个量程里跨好几个数量级」是常态:语言模型的激活存在系统性的离群通道,少数通道的数值比中位数大一两个数量级,而绝大多数通道挤在零附近。

用逐张量(per-tensor)缩放,等于让那几条离群通道替全张量选一个尺度。这里有两层后果,强度完全不同,必须分开说。

第一层(立刻发生,是常态收益):每个元素被舍入到哪个格点,取决于尺度。 正规区里相对误差的上界是 6.25%,与尺度无关;但具体到某一个元素,它落在哪个 binade、离最近的格点多远,会随尺度变化而变。本文后面的合成实验里,在几乎还没有元素进入次正规区的档位上,逐张量与分块的端到端误差就已经差 1.7 倍——说明这一层是真实存在的。

第二层(动态范围极端时才显著):小元素掉进次正规区。 一旦 amax⁡/∣x∣a_{\max}/|x| 超过 28672,该元素就不再有 3 位有效尾数,误差被上界 amax⁡/458752a_{\max}/458752 约束。本文实验里 amax⁡a_{\max} 到一万量级时约有 22.6% 的元素进入这一区,第二层才开始主导。

所以准确的说法是:分块缩放缩小了每个局部的动态范围,从而改变了实际的量化误差;在极端动态范围下,它还能把大量元素从次正规区拉回来。前者是常态收益,后者是条件收益——把两者混成一句「分块的收益就是拉出次正规元素」,是把条件收益说成了普遍原因。

逐张量缩放与每 128 元素分块的差别:前者让小元素落进次正规区、绝对误差被 amax 钉死,后者让误差重新与自身大小成正比
图 2 谁决定小元素的绝对误差:逐张量 vs 每 128 元素分块(本文自绘)

这张图想说明的一件事:分块换掉的是「决定误差上界的那个数」——从整张量的最大值,变成每个小组的最大值;极端动态范围下,它还额外减少次正规区间里的元素。

顺带回答一个常被问到的问题:为什么不用 INT8

既然都是 8 位,为什么不干脆用更成熟的 INT8?答案不在速度,在误差的形状。

INT8 是定点数,整个张量共用同一个步长,误差是绝对的:

sint8=amax⁡127,∣x^−x∣≤sint82=amax⁡254.s_{\text{int8}}=\frac{a_{\max}}{127},\qquad |\hat x-x|\le\frac{s_{\text{int8}}}{2}=\frac{a_{\max}}{254}.

代入前一节的量级:amax⁡=1254a_{\max}=1254 时,绝对误差上界是 4.94。对一个数值为 1 的元素,这个上界换算成相对误差是 494%(松上界);实际舍入更狠:这一档的步长约 9.87,1 会被舍入成 0,相对误差 100%——它不是「不准」,而是「没了」。INT8 之所以在推理里能用,靠的是 per-channel 或 per-token 缩放把这把尺子按通道重新标定;但在每个缩放组内部,小元素依然吃同样的亏,因为定点数的相对误差与元素大小成反比。

FP8 的差别不是「精度更高」,而是误差在正规区里随尺度不变:无论元素是 1 还是 0.001,相对误差上界都是 6.25%。次正规区确实也有自己的误差上界,但它是 amax⁡/458752a_{\max}/458752,比 INT8 的 amax⁡/254a_{\max}/254 小三个数量级——同一个 amax⁡a_{\max} 下差约 1806 倍。

这就是 FP8 适合训练的核心理由:它不要求你为每一个量程重新设计一套缩放策略。你可以只用一种格式、一种量化方式,覆盖权重、激活、梯度三类分布差异极大的张量;INT8 做不到这一点,每个张量都得单独调。

误差怎么传进点积:抵消会把噪声放大

有了单元素的误差,下一步是看它怎么进到 y=∑kxkwky=\sum_k x_k w_k 里。

设每个乘积 xkwkx_kw_k 的相对误差是独立同分布的随机量,标准差为 σε\sigma_\varepsilon,那么

σΔy=σε∑k(xkwk)2,σΔy∣y∣=σε⋅∑k(xkwk)2∣y∣.\sigma_{\Delta y}=\sigma_\varepsilon\sqrt{\sum_k (x_kw_k)^2}, \qquad \frac{\sigma_{\Delta y}}{|y|}=\sigma_\varepsilon\cdot\frac{\sqrt{\sum_k(x_kw_k)^2}}{|y|}.

注意右边这个比值:分子是平方和开根,分母是代数和的绝对值。当各项同号、没有抵消时,∣y∣≈∑k∣xkwk∣≫∑k(xkwk)2|y|\approx\sum_k|x_kw_k|\gg\sqrt{\sum_k(x_kw_k)^2},误差被摊薄约 K\sqrt{K} 倍;而当各项随机异号、几乎完全抵消时,∣y∣≈∑k(xkwk)2|y|\approx\sqrt{\sum_k(x_kw_k)^2},误差就会被原样放大到输出上。

这就是为什么「单元素 6.25%」听起来还好,端到端却可能是百分级:点积本身在放大噪声。

一次合成实验:两种缩放粒度的差距

为了看清楚这个机制,我做了一个纯 Python 的最小实验(无 GPU、无 numpy,核心量化函数见本节末)。构造方式:激活取对数正态分布(σ=1.1\sigma=1.1,即本身带长尾),再随机挑 6 个通道乘以系数放大,用来模拟离群通道;权重取 N(0,1/K)\mathcal{N}(0,1/K);K=4096K=4096、输出 16 行;按 E4M3 的真实位布局做四舍五入(正规区 3 位尾数、次正规区步长 2−92^{-9}、上限 448),浮点用 Python 双精度模拟「量化后再算」的过程。

离群通道放大倍数量程内 max/中位数逐张量缩放每 128 元素分块∑∣xkwk∣/∣y∣\sum\lvert x_kw_k\rvert/\lvert y\rvert
137.24.59%3.64%28.89
1037.24.69%4.13%24.50
100125.44.90%2.88%10.21
100012544.71%2.34%2.46
10000125404.60%2.26%1.32
1000001254014.59%2.26%1.20

(表里有两处初看像笔误的细节:放大 10 倍时 max/中位数仍是 37.2,是因为随机抽中的 6 个通道原本数值偏小,乘 10 之后仍未超过对数正态长尾里本来就有的最大值;放大 1 倍与 100000 倍的逐张量误差同为 4.59%,则是逐张量缩放被同一个量级支配的结果——它们不是抄错。)

三列数字放一起,故事就清楚了。

第一,逐张量缩放的误差几乎钉在 4.6% 不动,无论离群值放大 1 倍还是 10 万倍。这符合上一节的推导:误差来源不是「离群值本身算不准」,而是「离群值决定了 amax⁡a_{\max},amax⁡a_{\max} 决定了所有小元素的绝对误差」,而这两者的耦合关系不随离群值大小改变。

第二,分块缩放把误差从 4.6% 压到 2.3%–4.1%;六档的误差比依次是 1.26、1.14、1.70、2.01、2.04、2.03 倍——高放大档的收益明显更大,但并不单调(1 倍到 10 倍之间反而略有下降)。原因至少有一部分是每组各有自己的 amax⁡a_{\max};但这次实验不能把收益逐项归因,审阅方用同一思路独立实现时,分块的优势几乎消失(详见下节末)。

第三,抵消放大因子随离群值增大而下降(28.89 掉到 1.20)。当少数项绝对占优时,输出主要由那几项决定,抵消变弱,点积对噪声反而更钝——但这只是本次样本的观察,占优项之间仍可能相互抵消,不能当成规律。所以上面两列的绝对值不能外推为「分块永远好 2 倍」:在离群不明显的数据上,两者只差 1.26 倍,而换一种实现可能连这点差距都没有。

必须强调:这组数字是机制演示,不是论文结论的复现。论文报的 0.25% 是训练 1T token 之后 loss 的相对偏差,我做的是单个 GEMM 的前向数值误差,量纲和参照系都不同。前者回答「训练会不会跑歪」,后者只是回答「一个矩阵乘法有多不准」。把两者放在一起比数字是错的。

上面这套数字可以复现到「机制与量级」,但复现不到小数点。核心只有两个函数,下面是我实际用的版本(Python 标准库,无 numpy):

import math

def e4m3(u):                       # 最近舍入到 E4M3 格点,上限 448
    a = abs(u)
    if a == 0.0:
        return 0.0
    step = 2.0 ** (math.frexp(a)[1] - 4) if a >= 2 ** -6 else 2 ** -9
    return math.copysign(min(round(a / step) * step, 448.0), u)

def quant(xs, tile=None):          # tile=None 逐张量;tile=128 每 128 个元素一组
    width = tile or len(xs)
    out = []
    for i in range(0, len(xs), width):
        g = xs[i:i + width]
        s = (max(map(abs, g)) / 448.0) or 1e-12
        out += [e4m3(v / s) * s for v in g]
    return out

需要说明的是,审阅方用同一思路独立写过一版(同种子、同设定),得到的绝对量级相同(约 2.6%–3.1%),但分块相对逐张量的优势几乎没有出现(两边都在 2.6%–3.0%)。这说明本文表里那个 1.7–2.0 倍的差距强烈依赖具体的随机数、分布参数与实现细节,不能当成普适结论;能稳定站住的只有「分块改变了每个局部的尺度」这一机制本身,以及「收益不保证」。

第二个关卡:Tensor Core 的累加只有约 14 位

量化解决的是「输入怎么进乘法器」。乘法器内部还有第二个精度问题,而且它更容易被忽略,因为它在硬件里。

DeepSeek-V3 的报告在这里写得很坦率:在 NVIDIA H800 上,FP8 GEMM 的累加精度大约只能保留 14 位有效位,显著低于 FP32 累加。报告还给了实测:取两个随机矩阵、K=4096K=4096 做 GEMM,Tensor Core 有限的累加精度会让最大相对误差接近 2%。

2% 这个数字比量化误差还大,值得算一下它从哪来。把累加器看成每加一次就丢一次尾数,单次舍入的相对误差量级是 2−b2^{-b}(bb 为有效位数)。KK 次累加的误差近似随机游走,于是

σacc≈2−bK⋅∑k∣xkwk∣∣y∣.\sigma_{\text{acc}}\approx 2^{-b}\sqrt{K}\cdot\frac{\sum_k|x_kw_k|}{|y|}.

代入 b=14b=14、K=4096K=4096、抵消因子取上表的 2.46:

σacc≈2−14×64×2.46≈0.96%.\sigma_{\text{acc}}\approx 2^{-14}\times64\times2.46\approx0.96\% .

与论文实测的「接近 2%」同量级,但两者不是一回事:论文报的是特定随机矩阵实验里的最大相对误差,我给的是零均值随机舍入假设下的标准差估计,前者天然更大。真实 Tensor Core 的累加也不是逐元素无偏舍入——报告在给硬件的建议里提到,提升前的对齐与截断按 32 个乘积为单位做。所以这条推导只能当量级估计:它说明误差大致按 K\sqrt{K} 的量级增长,不能拿来当硬件诊断依据。\n\n即便只是量级估计,它仍然解释了为什么这个问题在大模型训练里才暴露——KK 到几千的量级,2−142^{-14} 这样看似无害的舍入就被放大成了百分级。

修复手法:定期把部分和搬到 CUDA core

论文的做法叫「提升到 CUDA core 做高精度累加」:矩阵乘累加指令(MMA)在 Tensor Core 里按有限位宽累加,一旦累满 NCN_C 个元素,就把这部分结果拷到 CUDA core 的 FP32 寄存器里,做一次真正的 FP32 累加,随后清空 Tensor Core 的累加器继续。

把上一节的式子改写成「分段」版本,误差立刻变成

σpromoted≈2−bNC⋅∑k∣xkwk∣∣y∣⟹σaccσpromoted≈KNC.\sigma_{\text{promoted}}\approx 2^{-b}\sqrt{N_C}\cdot\frac{\sum_k|x_kw_k|}{|y|} \quad\Longrightarrow\quad \frac{\sigma_{\text{acc}}}{\sigma_{\text{promoted}}}\approx\sqrt{\frac{K}{N_C}} .

代入 K=4096K=4096、NC=128N_C=128,在这个模型下误差被压掉 32≈5.7\sqrt{32}\approx5.7 倍,0.96% 落到 0.17% 附近(论文没有报告这个倍数,它是模型的推论)。这解释了为什么 128 这个间隔「已经够用」:继续缩小 NCN_C 的边际收益按平方根衰减,而代价是线性的。

为什么报告选 128:三个约束的交点

到这里,128 的第一个身份清楚了:它把累加误差压到量化误差以下。但为什么不能是别的数?因为还有两个约束在同一个数上收口。

约束一:硬件调度粒度。 报告给了一个具体换算:NC=128N_C=128 个元素相当于 4 个 WGMMA(warpgroup 级矩阵乘累加)指令。提升本身要占用发射槽,会降低单个 warpgroup 的 WGMMA 发射率。

约束二:并发掩盖。 H800 上通常有两个 WGMMA 并存。一个 warpgroup 做提升、把部分和搬去 CUDA core 时,另一个还能继续发 MMA。于是提升的开销被另一条流水掩住——但前提是提升不能太频繁:如果每 1 个元素就提升一次,两个 warpgroup 都会忙着搬数,掩盖关系就失效了。

约束三,也是最漂亮的一条:反量化恰好在这里做。 分块缩放引入的 per-group scale 是沿内维 KK 分布的,意味着反量化必须在累加到该组时乘上对应的 scale。而每一次提升到 CUDA core,正好是「这一组的累加结束」的时刻——把部分和搬过去的时候顺手乘 scale,几乎是零额外成本。报告的原话是,这个 per-group scaling「结合精确的 FP32 累加策略可以高效实现」。

这三条约束一摆,可行区间就被压得很窄:间隔要大到能掩盖搬家开销(几十以上),又要小到能压住误差(几百以内)。报告的口径是「基于实验,128 是能显著改善精度、又不引入明显开销的最小累加间隔」——它不是数学上的唯一解,而是工程上少有的、代价低的落点。

量化分组是 1×128,提升间隔也是 128,于是乘 scale 与提升可以共用同一次数据搬运。这不是审美巧合,而是让两个本来独立的设计共享同一趟内存访问——注意是「可以共享」,不是「必须相等」:在一组 128 里提升两次、两个部分和共用同一个 scale,同样成立,只是要么多一次反量化、要么在 Tensor Core 侧插乘法。

分组的形状也不是随便定的

还有一处细节容易被略过:激活在前向和反向的分组方向是不一样的。报告在附录里提到,tile 级量化要求激活在前向按 1×1281\times128(每个 token、每 128 个通道)分组,反向按 128×1128\times1 分组——因为 GEMM 的内维在反向时翻转了。

原因是几何的:缩放必须沿 GEMM 的内维成组,否则累加跨越了组边界,scale 就不再是一个常数,反量化无法在提升时一次乘完。所以「1×128 还是 128×1」不是超参数,而是被 GEMM 的内维方向决定的。同一个通道维度,前向是行内成组,反向就变成列内成组。

报告还留了一段失败实验的记录:在约 16B 的 MoE 模型上,如果把激活梯度也按 128×128 的二维块分组,训练会发散(跑到约 300B token 时出现),作者推测与跨 token 的不均衡、以及 token 相关的离群值有关。注意这里的对照不是「更细 vs 更粗」,而是「按 token 分组 vs 跨 token 成块」——1×128 已经沿 token 细分,128×128 反而更粗。它说明分组方向要与数据的离群结构一致,不能反过来证明「越细越好」。

三处 GEMM 的精度需求并不一样

一个 Linear 层在训练里有三次 GEMM:前向 Y=XWY=XW、激活反向 dX=dY W⊤dX=dY\,W^{\top}、权重反向 dW=X⊤dYdW=X^{\top}dY。设这一步参与计算的 token 数为 MM、输入通道数为 KK、输出通道数为 NN,则前向、激活梯度反向、权重梯度反向三者的矩阵形状与内维互不相同,这是「为什么反向要单独讨论分组方向」的根源:

Fprop: (M×K)(K×N),Dgrad: (M×N)(N×K),Wgrad: (K×M)(M×N)→(K×N).\text{Fprop}:\ (M\times K)(K\times N),\qquad \text{Dgrad}:\ (M\times N)(N\times K),\qquad \text{Wgrad}:\ (K\times M)(M\times N)\to(K\times N).
  • Fprop:内维是输入通道数 KK(模型宽度),激活按每个 token 的 1×128 分组最自然——一个 token 的 128 个通道在内存里本来就是连续的。
  • Dgrad:归约的是输出通道 NN,所以按 NN 分组;而反向要用到的前向激活在 Wgrad 里沿 token 维归约,这正是报告说「激活前向按 1×128、反向按 128×1」的由来。
  • Wgrad:内维是 token 数 MM——不是全局 batch,而是这一卡这一步实际参与的 token 数;在模型宽度与并行切分不变、增大本卡 micro batch 或序列长度的比较口径下,这一内维会增长。

把上一节的累加误差式子 σ∝2−bK\sigma\propto2^{-b}\sqrt{K} 对着三处 GEMM 读一遍,结论立刻不一样:Wgrad 的内维是 token 数 MM——不是全局 batch,而是这一卡、这一步实际参与 GEMM 的 token 数(本卡 micro batch 与序列长度的乘积,MoE 下还要算专家收到的 token)。它通常比模型宽度大,但大多少取决于并行切分,不能直接套全局 batch。报告仍然单独做了 FP8 的 Wgrad kernel,说明在他们那套切分与数据下,这一处确实是精度敏感点。

它同时带来一个工程后果。Wgrad 需要前向的激活,如果按全精度缓存,激活显存随 batch 线性膨胀;报告的做法是既然 Wgrad 用 FP8 算,激活就按 FP8 缓存。一步同时解决容量与带宽——这也是我在读这份报告时觉得最「工程」的一处:精度方案不是孤立的数值技巧,它反过来决定了内存布局。

全 E4M3:为什么敢放弃 E5M2

在 2022–2024 年 Hopper(H100/H800)一代的早期实践中,许多 FP8 训练框架采用混合编码:前向用 E4M3(尾数优先),反向的 Dgrad 和 Wgrad 用 E5M2(指数优先),理由是反向的梯度分布更宽、更容易溢出。

DeepSeek-V3 反过来:进入 FP8 GEMM 路径的权重、激活与激活梯度统一用 E4M3。报告给出的理由与本文前面的推导一致——分块缩放让一组元素共享同一个缩放因子,等于让它们「共享指数位」;当组内动态范围被压窄之后,E5M2 那多出来的一位指数就不再必要,而少掉的那一位尾数(相对误差从 6.25% 变成 12.5%)却是实打实的损失。

这条选择其实是对前一节的复用:分块缩放买到的不只是「更准的量化」,还买到了「可以用更划算的编码」。指数位与尾数位的取舍,是在分组之后才有空间做的。

另一个相关的取舍是缩放因子的来源。主流做法是延迟量化(delayed quantization):维护历史若干步的 amax,用来推断当前的 amax,好处是不用同步、可以和大 kernel 融合。DeepSeek-V3 选了在线量化(online quantization):每块/每组现算 amax,用精确值算 scale。

代价是需要在量化前把整块数据读一遍求最大值;收益是 scale 精确、框架简单,且不必缓存历史 amax 的额外状态。在分块之后,这个代价是可接受的:一块 128 个元素的 max 归约本来就是向量化友好的操作。

两倍算力为什么墙钟只快一点:一笔 Amdahl 账

FP8 GEMM 的理论吞吐是 BF16 的两倍,但训练墙钟时间只按 GEMM 的占比折算:

S=1(1−f)+f/2,S=\frac{1}{(1-f)+f/2},

其中 ff 是 GEMM 在总训练时间里占的比例。代入几个值:f=0.9f=0.9 时 S≈1.82S\approx1.82;f=0.8f=0.8 时 S≈1.67S\approx1.67;f=0.5f=0.5 时只有 S≈1.33S\approx1.33。

这笔账解释了报告里「留一批算子在 BF16」的取舍为什么合理:留下的是 attention、gating、归一化、embedding 与输出头,它们的 FLOPs 占比小,但对数值敏感。把 ff 从 0.9 硬抬到 0.95 的代价,是把这些算子的误差放进了训练回路,而收益只有几个百分点——先保精度、再谈折扣,在这笔账下是显然的选择。

反过来也成立:如果你的模型里 GEMM 占比只有 0.6,FP8 的墙钟收益上限就是 1.43 倍。这时更值得先动的可能是非 GEMM 部分(attention kernel、通信重叠),而不是继续把精度往下压。很多「上了 FP8 却没快多少」的观察,根因就在这里,而不是 FP8 不好。

还有一层账面之外的成本:分块量化本身要读一遍数据求 amax,在线量化意味着这次读取不能省。它换来的是 scale 精确与框架简单(不必维护历史 amax 的状态)。在小 kernel 上这笔读取占比会变大,这也是分块缩放更适合大 GEMM 的原因。

省下来的到底是什么:一笔字节账

到这里,FP8 的收益还只是「算得快」。真正影响能不能训得动 671B 的,是省下来的字节。按报告的描述,我按每参数字节算了一遍(下表的分配是本文按报告文字推算,报告未给总显存数):

项目常见 BF16 混合精度本文按报告推算的 DeepSeek-V3 方案
用于 GEMM 的权重2(BF16)1(FP8,按需量化)
FP32 主权重44
梯度2(BF16)4(FP32,报告明确保留)
AdamW 一阶 + 二阶动量8(FP32 × 2)4(BF16 × 2)
合计16 B/参数13 B/参数

两点要看清。第一,省的不是权重,是动量:把两个动量从 FP32 降到 BF16,每参数省 4 字节;671B 参数下仅动量这一项就省出约 2.44 TiB(671×10⁹×4/2⁴⁰≈2.44);按表内合计口径算参数状态总量,则是从 16 B/参数的约 9.77 TiB 降到 13 B/参数的约 7.94 TiB,净省约 1.83 TiB。报告说这个改动「没有观察到可感知的性能退化」。

第二,梯度反而变贵了:BF16 训练里梯度常以 BF16 存,这里明确保留 FP32。所以在这个理想化存储假设下,合计只从 16 B 降到 13 B(约 19%)——这是按表内选定的项目算的账,不是实测峰值显存;也不是某些二手说法里的「减半」。这也是我读这份报告的一个体会:它把能省的省了,把不能省的(主权重、梯度)明确留下,边界写得很清楚。

除了参数,还有两处省钱的地方,都在存储与通信侧:

  • 激活缓存:Wgrad 用 FP8 计算,所以反向需要的前向激活可以按 FP8 缓存,不必留全精度副本。报告还提到一处例外:attention 之后接入的 Linear,其输入缓存用了定制的 E5M6 格式(1 位符号 + 5 位指数 + 6 位尾数的 12 位格式)——「全 E4M3」也不是一刀切。
  • MoE 派发:报告在低精度通信一节里把 MoE 的派发激活也压到低精度,理由很实际——MoE 训练的 all-to-all 是通信瓶颈,字节数直接决定等多久。

顺带说一句工程侧的对照:官方仓库 DeepGEMM 在 2025-04-18 的更新记录里写到,H800 上 FP8 GEMM 达到最高 1550 TFLOPS。这个数字是工程实现的成绩,不是理论峰值,也再次说明「分块缩放 + 高精度累加」这套组合在真实 kernel 里是能跑满的。

一个算例:把三层误差摊到同一层 GEMM 上

抽象讲完,落到一层具体的 Linear 上看:token 数 M=8192M=8192、模型宽度 K=N=4096K=N=4096,权重矩阵 16.8M 个参数。

计算量是

FLOPs=2MKN=2×8192×4096×4096≈2.75×1011.\text{FLOPs}=2MKN=2\times8192\times4096\times4096\approx2.75\times10^{11}.

按 H800 的密集算力口径(BF16 约 989 TFLOPS、FP8 约 1979 TFLOPS,均取自 NVIDIA 的公开规格,本文按此折算),这一层的理想耗时是

tBF16≈2.75×10110.989×1015≈278 μs,tFP8≈2.75×10111.979×1015≈139 μs.t_{\text{BF16}}\approx\frac{2.75\times10^{11}}{0.989\times10^{15}}\approx278\ \mu s, \qquad t_{\text{FP8}}\approx\frac{2.75\times10^{11}}{1.979\times10^{15}}\approx139\ \mu s .

一层省 139 微秒。权重侧还有一笔:FP8 存 16.8 MB,BF16 存 33.6 MB,每层少读 16.8 MB——在大 batch 下这条比算力更快,因为它是带宽项。

误差侧把三个数字并排放:

  • 量化:合成实验里逐张量缩放约 4.6%,每 128 元素分块约 2.3%;
  • 累加:零均值随机舍入假设模型下的估计,K=4096K=4096 时约 0.96%;到 Wgrad(内维是 token 数 M=8192M=8192)变成约 1.36%;
  • 提升后:零均值随机舍入假设模型下的估计,同样的 KK 下约 0.17%,比量化误差低一个数量级以上。

这三行不能相加,也不能互相抵消——它们是三个独立的误差源,落在不同的随机过程上。但它们的相对大小决定了优化顺序:如果量化误差已经是 4.6%,那么把累加从 0.96% 压到 0.17% 并不会让端到端误差变好多少;反之如果量化做到了 0.3% 而累加还是 1%,提升就成了瓶颈。这就是为什么报告把两件事都做了,而不是只做一件。

最后一行的数字还解释了一个工程直觉:提升之所以「值得」,是因为它把累加误差压到了量化误差之下。一旦低于量化误差,继续压累加就是白花钱——这为「为什么提升间隔取 128 而不是 32」提供了第二条理由。

代价与边界:这套方案不适用哪些地方

一份技术报告最值得读的部分,往往不是它做了什么,而是它没做什么。DeepSeek-V3 明确把一批算子留在高精度(BF16 或 FP32):embedding、输出头、MoE 的 gating、各种归一化、以及 attention 算子本身。

这些保留项有一条共同的解释:它们的输入分布比 GEMM 更”野”,或者对误差更敏感。gating 决定路由,路由错了整层的专家选择就错了,误差不会像 GEMM 那样被后续层平均掉;attention 里有 softmax,指数运算会把输入误差放大成概率分布的偏移;归一化要算统计量,误差会随层数累积。这些地方的 FLOPs 占比很低,留在高精度几乎不影响总时间——按报告的实测,GEMM 之外的算子占比小到可以「用更高精度但不明显增加成本」。

还有一个边界必须点明:0.25% 不是”无损”。报告的口径是与 BF16 基线的 loss 相对误差持续低于 0.25%,并且「在训练随机性可接受的范围内」。这句话反过来读就是:FP8 训练确实引入了偏差,只是这个偏差小于随机种子带来的波动。对研究型复现,这个量级可接受;对需要 bit 级可复现的合规场景,它不成立。

最后是稳定性。报告提到整轮训练没有出现不可恢复的 loss 尖峰、也没有回滚。这句话本身是结果,不是方法——它说明这套数值方案在 14.8T token 的尺度上挺住了,但并不能推广为「任何模型、任何数据上 FP8 都稳」。我在自己的合成实验里就能看到反例的方向:同样的分块策略,在离群值不明显的分布上收益只有 1.26 倍,而在离群值极强的场景下才拉开到 2 倍。数值方案的效果强依赖数据分布,这一点论文的数字里看不出来。

和 Blackwell 的 microscaling 是什么关系

报告里有一句容易被跳过的话:分块缩放「与 microscaling 格式的思路高度一致」,而 Blackwell 一代的 Tensor Core 已经宣布支持更小量化粒度的 microscaling 格式。

意思是:DeepSeek-V3 是用手写 kernel 在 Hopper 上把「每组一个 scale」做出来的,而下一代硬件把这件事做进了指令。MX 格式常见的粒度是每 32 个元素共享一个指数型的 scale,比本文讨论的 128 更细。

对工程实践的含义有三条:

  1. 现在的分块 kernel 是过渡形态。粒度 128 是「硬件不直接支持」时的折中;硬件原生支持更细的 microscaling 之后,分组更细,同样位宽的浮点格式能承载更宽的动态范围。
  2. 提升精度的手艺不会过期。分块解决的是「用谁的尺度」,提升解决的是「累加用几位」,两者正交:scale 粒度再细,也解决不了累加位宽。但要注意 14 位是 Hopper 这一代的实现数字(报告在给硬件的建议里明说这是当前限制),换硬件必须重新核对,不能沿用。
  3. 迁移时必须重测。粒度从 128 降到 32,scale 数量涨 4 倍;软件侧反量化的乘法次数会跟着涨,但硬件原生支持 microscaling 之后,这部分开销有多少被指令内部消化,只能实测,不能靠推理。

三个常见误读

读二手材料时,同一个错误我见过三次,值得单列出来。

误读一:FP8 训练把显存减半。 权重确实从 2 字节降到 1 字节;主权重与累计梯度保留 FP32;真正被压的是优化器的两个动量(FP32 → BF16)。按前一节的账,每参数从 16 B 降到 13 B,约省 19%——而且这是理想化假设下的账,不能据此直接推定实测峰值显存。真正接近减半的是「权重与激活的读写字节」。

误读二:FP8 是无损的。 报告的 0.25% 是 loss 的相对误差上界,且限定在 V2-Lite 与 V2 两个规模、约 1T token 的验证条件下。这句话的正确读法是「偏差小于随机种子的波动」,不是「没有偏差」。任何需要 bit 级可复现的场合都不能用它背书。

误读三:分组越细越好。 报告附录 B.2 记录了一个失败实验:把激活梯度按 128×128 跨 token 成块(比 1×128 更粗),训练在约 300B token 时发散。它说明分组方向要与离群结构一致,不能反过来证明「越细越差」或「越粗越好」。粒度是需要实验确定的参数,不是单调指标。

四条可以直接拿走的判据

读完这一套,我把可复用的部分凝成四条,它们与具体的 GPU 型号无关:

判据一:先看次正规区,再谈尾数位。 拿到一份要量化的张量,先算 amax⁡/中位数a_{\max}/\text{中位数}。如果这个比值超过约 2.87 万,说明大量元素已经在次正规区,误差被最大值钉死,此时降尾数位是次要的,先分块才是主要的。这个阈值是 448×26448\times2^{6},由 E4M3 的位布局决定,不随硬件变。

判据二:量化分组沿 GEMM 内维,并让提升边界与分组边界兼容。 对齐时,per-group scale 的乘法可以搭上提升这次搬运的顺风车;不对齐也能做(例如一组 128 里提升两次、两个部分和共用同一个 scale),只是要么多一次反量化、要么在 Tensor Core 侧插乘法,得自己权衡。

判据三:在零均值随机舍入假设模型下,累加误差按 K\sqrt{K} 的量级增长,因此内维较大时提升通常必要;这是模型推论的量级判断。 粗略估计用 2−bK⋅(∑∣xkwk∣/∣y∣)2^{-b}\sqrt{K}\cdot(\sum|x_kw_k|/|y|),bb 取硬件实际的有效位数(H800 上约 14)。在本模型下,如果估算结果逼近或超过量化误差量级,那么提升通常必要,而不只是优化项;实际需求仍须实测验证。

判据四:算清省的是哪一类字节。 权重从 BF16 到 FP8 省 1 字节/参数,动量从 FP32 到 BF16 省 4 字节/参数——后者是前者的四倍。如果优化目标是最多能装下多少参数,优先动优化器状态;如果目标是算子吞吐,才轮到权重与激活。

两个可以心算的数

判据一里的 2.87 万倍阈值不是抽象常数,它直接对应「有多少元素掉进次正规区」。按本文实验的激活分布(对数正态、σ=1.1\sigma=1.1),代入三档 amax⁡a_{\max}:

量程内 amax⁡a_{\max}次正规阈值 amax⁡/28672a_{\max}/28672落入次正规区的元素比例
12540.04370.2%
125400.437422.6%
1254004.373691.0%

读法:amax⁡a_{\max} 涨十倍,次正规比例从千分之二跳到两成多,再跳到大半。这不是线性变化,而是分布的尾部在被切。当九成元素都在次正规区时,「用 8 位」这件事已经名存实亡——每个元素只剩几位固定的绝对分辨率,跟定点数没有区别。

第二个可以心算的数:分块之后,组内 amax⁡a_{\max} 通常比全局 amax⁡a_{\max} 小一到两个数量级(本文实验里 37 倍到 125 倍量级),对应次正规比例回到个位数百分比。这与 1.26 倍到 2.03 倍那组端到端差距方向一致,但严格说本次实验还不足以把差距逐项归因到「掉进坑里的元素变少」这一条上。

把它搬到自己的项目:一份最小复现清单

如果要在一套现有训练栈上试这套方案,我会按下面顺序推进,每一步都留可判定的通过条件:

  1. 先摸清栈里已有的低精度路径。 多数框架的 FP8 是「混合编码 + 延迟量化」,与本文方案不是一回事。先确认能不能让 FP8 路径上的张量统一用 E4M3、能不能指定分组粒度与提升间隔;做不到就先改 kernel,别先改模型。
  2. 把「求 amax」与「乘 scale」拆成两个可单测的函数。 前者的正确性用 max⁡∣x∣\max|x| 对齐验证;后者的正确性用「反量化后与原张量的相对误差」验证。这两个函数是所有后续 bug 的高发区。
  3. 单层数值 A/B。 同一批输入,BF16 与 FP8 前向对比,输出相对误差应落在千分之几到百分之一。若超过 5%(这是本文设的初筛线,不是标准),先查分组是否真的沿内维成组,再查 scale 是否用 FP32 存储——这两处错一个,误差都会上一到两个数量级。
  4. 检查累加位宽是否真的被提升。 用 K=4096K=4096 的两个随机矩阵做 GEMM 对照,若相对误差接近 2%,值得怀疑框架用的是默认的有限位宽累加(还要先隔离输入量化本身的贡献才能确诊);此时把提升间隔设成 128,与分组宽度对齐。
  5. 小规模 loss A/B。 同数据、同超参,只换精度,跑 2–5 亿 token,看 loss 曲线是否落在随机种子波动范围内。判据是相对 BF16 基线的偏差,不是单点 loss 的绝对值。
  6. 留回退开关。 按层、按模块可切回 BF16 是必须的:训练不稳时先把 attention 与 gating 切回去,再逐步定位是哪一层开始发散。

清单里最容易被跳过的是第 3 步与第 5 步。前者不通过却继续往下走,训出来的模型会带着系统性偏差,而且很难在评测上看出来;后者不做,等于拿别人的 0.25% 当自己的结论——而那个数字是在别人的模型尺度、别人的数据上测的。

报告没说的三件事

一份技术报告的可信度,一半取决于它说了什么,一半取决于它没说什么。我把读完之后的留白列出来,因为它们直接影响你能不能用它的数字。

第一,没给可直接复算的峰值显存账。 报告给了每种参数的格式(FP32 主权重、FP32 梯度、BF16 动量),也给了并行配置(16 路流水、64 路专家、ZeRO-1 数据并行,且不用张量并行),但没给「在这套配置下峰值显存是多少、通信缓冲占多少」。按前文的 13 B/参数推算,671B 参数约 7.9 TiB——这只是参数状态的账,不含激活、通信缓冲与临时张量。想搬这套方案的人,显存规划仍得自己算。

第二,没给墙钟分解。 2.788M GPU 小时是总量,但报告没有把这笔时间拆成「GEMM / 通信 / 数据加载 / 重算」。于是「FP8 到底让训练快了多少」这个问题,从报告里读不出直接答案——只能按 Amdahl 估:如果 GEMM 占九成、FP8 提升的算力翻倍,那总时间省约 45%;如果 GEMM 只占七成,就省约 35%(1/0.65≈1.541/0.65\approx1.54 倍)。这两个数字差得不小,而报告没有说明是哪一个。

第三,没给逐算子误差表。 0.25% 是全局 loss 相对误差,不是逐层、逐算子的误差。某一层的相对误差偏大,在训练里可能被后续层平滑掉,loss 上看不出来,但在需要精细行为的任务(长上下文检索、结构化输出)上会先暴露。工程上真正该关心的是「最坏的那一层」,报告没有给这个分布。

三件事的共同点是:它们都是别人复现时最先撞上的问题,而报告选择了只给结论不给分布。这不是批评——它把方法、公式和取舍都写清楚了,这已经比多数同类报告多——而是提醒:别把别人的全局数字当成自己系统的预期。真正能搬走的只有机制,数字得自己测。

两代做法的对照:前人怎么做,V3 改了什么

报告在讲自己方案之前,先把同期主流做法交代了一遍。把两者并排放,能看清每一处改动到底在换什么。

维度报告所述的前人做法DeepSeek-V3换来的东西付出的代价
编码前向 E4M3、反向 E5M2 的混合编码相关 FP8 张量统一 E4M3每个值多一位尾数(相对误差 12.5% → 6.25%)必须靠分块缩放把动态范围压回来
缩放粒度逐张量(per-tensor)激活 1×128、权重 128×128小元素不再被全局最大值绑架反量化变成沿内维的逐组乘法,需要 FP32 累加配合
缩放来源延迟量化(沿用历史 amax)在线量化(现算 amax)scale 精确、不必维护历史状态量化前要多读一遍数据求最大值
累加框架默认的有限位宽每 128 元素提升到 CUDA core 做 FP32假设模型预测约 5.7 倍降低单 warpgroup 的 WGMMA 发射率,靠双 warpgroup 并发掩盖
优化器状态FP32 的一阶与二阶动量BF16 动量 + FP32 主权重/梯度每参数省 4 字节依赖动量对低精度不敏感这一经验事实

五行里,前三行是一条链:先有分块,才敢全用 E4M3;先在全 E4M3 上算,才需要在线求 amax 保证每组尺度精确。后两行是另外两条独立的路:提升解决硬件累加位宽,BF16 动量解决优化器显存。四条加起来,才是「2.788M GPU 小时、且没有不可恢复的 loss 尖峰」这个结果。

值得注意的是这张表里没有「新算法」。没有新的优化器,没有新的架构,全是数值工程的取舍:每一处都在拿一点点确定性换一点点效率,而报告的价值在于把每一处的代价写清楚了——比如它还专门解释了「为什么激活按块分组会不稳」,而不是把失败的那版藏起来。

顺带说一句读法:这张表的第四列(换来的东西)在报告里大多有直接依据,第五列(付出的代价)有一半是我从机制推的——比如「降低发射率」报告写了,「多读一遍数据」是机制推导。读技术报告时把这两列分开看,比笼统地记「V3 用了 FP8」有用得多。

三个可以自己跑的小实验

机制对不对,跑三个小实验就能心里有数,全都不需要多卡。

实验一:量一下自己张量的次正规比例。 取一层真实激活,算 max⁡∣x∣\max|x| 与中位数,再看有多少元素的 max⁡∣x∣/∣x∣\max|x|/|x| 超过 28672。如果这个比例超过一成,说明逐张量缩放会让大量元素失去 3 位有效尾数,分块缩放是必须的;如果不到千分之一,说明你的激活离群很轻,分块的收益会非常有限(本文合成实验里最温和的一档只差 1.26 倍,就是这个意思)。

实验二:用 K 扫描验证 K\sqrt{K}。 同一批数据,把内维从 512 换到 2048 再换到 8192,保持其他不变。按前一节的假设模型,累加误差应该按 K\sqrt{K} 量级增长,也就是 2048 对 512 约 2 倍、8192 对 512 约 4 倍。如果实测比这更陡,说明有别的误差源(多半是溢出或缩放不当)在叠加;如果几乎不涨,可能是框架已默认做高精度累加,也可能是输入量化误差把它淹了——要先把量化误差单独隔离出来。

实验三:分块对逐张量,用真实激活而不是合成数据。 合成数据只能演示机制,决定不了收益。取一层真实激活,分别做逐张量与 1×128 分组,比较端到端相对误差。判据是差距的倍数:小于 1.3 倍(同样是本文初筛线)说明分块在你的场景里大概率不是瓶颈,可以先不动;大于 2 倍说明分块在你的场景里值得投入,但要不要真的改 kernel,还得看改造成本与实测墙钟收益。

三个实验加起来不到一天,但能回答「我这套栈需不需要分块、需不需要提升」。比在论坛上看别人跑分靠谱得多。

三个自问自答

问:我的模型只有 8B,也需要分块吗?

先看两件事,不要看模型有多大。第一,内维有多少:8B 模型的 KK 通常在 4096–8192,在本报告的零均值随机舍入假设模型下,累加误差的 K\sqrt{K} 因子照样存在,这只是量级估计,绝对量级比 671B 的 Wgrad 小。第二,激活的离群有多重:如果一层里 max⁡∣x∣\max|x| 只比中位数大几百倍,按前文的阈值,几乎没有元素落进次正规区,分块的收益会很有限。这两件事都能在一天内测完,测完再决定要不要改 kernel。

问:提升间隔一定要 128 吗?

不一定,但必须与量化分组宽度对齐。对齐的好处是「乘 scale」与「搬到 CUDA core」共用同一次数据搬运;不对齐的话,反量化要么单独走一遍,要么在 Tensor Core 侧额外插入乘法——两条路都会把省下的时间还回去。若硬件本身支持更细的提升(例如每 64 个元素一次),可以把分组也改成 64,两者一起改;也可以保持 128 一组、组内提升两次——两条路都成立,只是要各自验证一次。

问:推理里的 FP8 经验能直接搬到训练吗?

不能,差别主要在误差怎么传播。推理只有前向,没有梯度和动量,所以不存在「优化器状态用几位」的问题;推理的激活分布随输入变化,静态量化通常要靠校准,但动态量化同样可以按输入现算 amax——所以「训练能在线、推理只能校准」这个说法本身是错的。真正的差别在误差的去向:推理的误差直接进输出,训练的单步误差可能被后续步平滑,也可能累积成分歧(报告附录里那次发散就是反例)。两条路径的容忍度都要单独验证,不能互推。

小结

这篇报告里最容易被当成实现细节跳过的,就是那个 128。但它其实是三个独立约束的交点:量化必须沿 GEMM 内维成组(否则反量化无法融合),在本报告的零均值随机舍入假设模型与配置下,每 128 个元素提升一次是避免 K\sqrt{K} 误差顶到百分级的实用选择(百分级为该模型下的估计),而提升的停顿必须能被双 warpgroup 的并发掩住(否则发射率掉下来,省下的时间又还回去)。

而分块缩放真正买到的东西,也不是「更精细的分辨率」——正规区里的相对误差上界始终是 6.25%。它买到的是一个更合适的局部尺度,并且在极端动态范围下把小元素从次正规区拉回来,让误差重新与元素自身的大小成比例,而不是被同一个量程里的最大值绑架。理解了这一层,就能明白为什么它顺带让「全部用 E4M3」成为可能:分组的代价被付掉之后,多出来的一位尾数比一位指数更值钱。

反过来,这套方案的边界也来自同一个地方:它假设离群值是「通道级、局部」的,所以按小块分组就能隔离。如果某个模型的离群值是全局性的、或者随训练动态迁移,分块能提供的隔离就会变少,报告里 0.25% 那样的结果也就不能直接照搬。

收到一份 FP8 方案时,我会问的十个问题

读完 DeepSeek-V3 的这一节之后,我把自己的审阅清单重写了一遍。以后再有人拿一份「我们上了 FP8」的方案过来,我会先问下面这些,而不是先看它的加速比。

  • 用的是哪种编码,为什么不是另一种?混合编码与全 E4M3 的选择,应该能说出依据。
  • 缩放粒度是逐张量还是分组?分组沿哪个维度?——沿错维度等于没分。
  • scale 是现算还是沿用历史 amax?现算多读一遍数据,沿用则可能失准。
  • 累加位宽是多少,有没有做提升?提升间隔与分组宽度对齐了吗?
  • 哪些算子留在高精度?依据是 FLOPs 占比,还是对误差的敏感度?
  • 优化器状态用什么精度?主权重和梯度呢?——这三项常被混为一谈。
  • 激活缓存用什么精度?反向要读几次?
  • MoE 的 all-to-all 走低精度了吗?在专家并行下这一项往往比 GEMM 更贵。
  • 精度结论是在什么规模、多少 token 上验证的?是 loss 偏差还是单算子误差?
  • 有没有不可恢复的 loss 尖峰?回滚过几次?——只报「稳定」而不报分布,等于没报。

再加两个工程问题:端到端墙钟收益是多少,按 Amdahl 应该得多少(对不上就说明有别的瓶颈);回退路径怎么走,哪一层先切回 BF16。

这些问题没有一条需要看代码才能回答,但有七八条能直接筛掉「只是把 dtype 改成 fp8」的方案。我写下来,是因为自己第一次读这类材料时,被「2 倍吞吐」和「省显存」两个词带着走,直到把每个数字摊开算才看清代价在哪。

三句话版本

如果只带走三句话,我希望是这三句。

  • FP8 常规的相对误差并不可怕(6.25% 上界),可怕的是次正规区里那个被 amax⁡a_{\max} 钉死的绝对误差 amax⁡/458752a_{\max}/458752——它让所有小元素的绝对误差受同一个上界约束(实际值并不相同)。
  • 分块缩放的收益不是「分辨率更高」,而是换了一个更合适的局部尺度;在极端动态范围下它还能把大量元素从次正规区拉回来,这也是它敢配套全 E4M3 的前提。
  • 在零均值随机舍入假设模型下,累加误差大致按 K\sqrt{K} 量级增长,因此内维较大时通常需要定期把部分和搬到高精度;这是模型推论的量级判断。提升间隔宜与量化分组取同一个数(128),是为了让「乘 scale」搭上「搬数据」的顺风车。

写这几句的时候我反复想到同一个画面:把一把尺子拉到最长去量一堆印刷体,最小的那几个字永远量不准。 分块缩放做的事,其实就是给每个区域换一把短一点的尺子。

这也是我看待「低精度」这个词的方式:它不是把精度调低,而是重新分配精度——把集中的动态范围拆开,让每个局部都拿到合适的那一份。

至于拆多细、什么时候补高精度,答案由硬件(累加位宽、并发能力)与数据(离群程度、内维大小)共同决定,而不是由「8 位」这个数字决定。

这三句合起来说明一件事:低精度训练的核心不是「用几位表示数」,而是「让误差与数值本身保持比例关系」。一旦这个比例关系断了(次正规、累加溢出、跨组反量化),再多的位宽也补不回来。

📋 来源与核验记录

以下为本次写作(2026-11-16)实际打开并核读过的来源:

  • https://arxiv.org/abs/2412.19437 —— DeepSeek-V3 Technical Report(arXiv:2412.19437v2,2024-12-27 首次提交,v2 2025-02-18):第 3.3 节 FP8 训练为本文核心——激活按 1×128 tile、权重按 128×128 block 的在线量化,相关 FP8 张量统一 E4M3,Tensor Core 累加约 14 位与 K=4096K=4096 时接近 2% 的最大相对误差,NC=128N_C=128 相当于 4 个 WGMMA 且 H800 上双 warpgroup 并发掩盖提升开销,高精度保留算子清单(embedding/输出头/gating/归一化/attention),BF16 动量与 FP32 主权重和梯度,与 BF16 基线相比 loss 相对误差低于 0.25%;附录 B.2 关于激活前向 1×128、反向 128×1 的分组以及块状激活量化导致训练不稳定的讨论。同时核对:671B 总参数 / 37B 激活、14.8T token、预训练 2.664M H800 GPU 小时、合计 2.788M、按 2 美元/卡时计 5.576M 美元。本轮核读 arXiv HTML 全文。
  • https://arxiv.org/abs/2209.05433 —— FP8 Formats for Deep Learning(2022-09-12 首次提交,v2 2022-09-29):E4M3(4 位指数 + 3 位尾数)与 E5M2(5 位指数 + 2 位尾数)的编码定义,以及 E4M3 不表示无穷大、只保留一个 NaN 位型以换取动态范围的取舍。本轮核读摘要页原文。
  • https://github.com/deepseek-ai/DeepSeek-V3 —— 官方仓库(模型卡与权重发布地址),用于确认报告所述检查点确有公开仓库对应。本轮核对仓库页面可访问。
  • https://github.com/deepseek-ai/DeepGEMM —— 官方 FP8 GEMM 库;2025-04-18 更新记录写明 H800 上最高 1550 TFLOPS,用于说明「分块缩放 + 高精度累加」在真实 kernel 中的可达成水平。本轮核读仓库首页说明。
  • https://arxiv.org/abs/2405.04434 —— DeepSeek-V2(2024-05-07 首次提交,v4 2024-06-19):MLA 与 DeepSeekMoE 的出处(V3 沿用),相对 DeepSeek 67B,KV cache 降低 93.3%、最大生成吞吐达到 5.76 倍的原始口径。本轮核读摘要页原文。

本文自行推导 / 自算(非官方数字,与上述来源分列,不可混引):

  • E4M3 的可表示范围(上限 448、最小正规数 2−62^{-6}、次正规步长 2−92^{-9})由位布局推算,不是论文正文直接给出的数字。
  • 单元素相对误差上界 6.25%(2−42^{-4}),在额外假定相对舍入误差均匀分布时,均方根约 3.6%(6.25%/36.25\%/\sqrt{3});E5M2 的对应上界 12.5%。
  • 次正规区绝对误差 amax⁡/458752a_{\max}/458752,以及典型值进入次正规区的条件 amax⁡/∣x∣>28672a_{\max}/|x|>28672。
  • 在零均值随机舍入假设模型下累加误差按 K\sqrt{K} 量级增长(假设模型估计):b=14b=14、K=4096K=4096、抵消因子 2.46 时约 0.96%;在同一假设模型下,提升间隔 NC=128N_C=128 预测带来约 32≈5.7\sqrt{32}\approx5.7 倍改善,对应约 0.17%(不是实测)。
  • 第 3 节的合成实验(纯 Python,种子 20261116,K=4096K=4096、16 行输出、E4M3 位布局四舍五入、6 个离群通道):逐张量缩放的端到端相对误差按放大倍数 1/10/100/1000/10000/100000 依次为 4.59%、4.69%、4.90%、4.71%、4.60%、4.59%(两档同为 4.59%,不是笔误);每 128 元素分块依次为 3.64%、4.13%、2.88%、2.34%、2.26%、2.26%,抵消放大因子 1.20–28.89。属机制演示,不是论文 0.25% 结论的复现。
  • 每参数字节表(16 B → 13 B,约 19%):动量从 FP32 降到 BF16 每参数省 4 字节,671B 下约 2.44 TiB。为按报告文字描述自行推算,报告未公开总显存占用。
  • Amdahl 折算(f=0.9f=0.9 时 1.82 倍、f=0.8f=0.8 时 1.67 倍、f=0.6f=0.6 时 1.43 倍):按 FP8 吞吐为 BF16 两倍的上限假设计算,不含通信与访存开销。
  • 复现清单中的「小规模 A/B 跑 2–5 亿 token」是本文建议的验证规模,不是任何来源给出的标准。
  • 次正规比例与阈值对照表:amax⁡=1254a_{\max}=1254 时阈值 0.0437、落入比例 0.2%;amax⁡=12540a_{\max}=12540 时阈值 0.4374、比例 22.6%;amax⁡=125400a_{\max}=125400 时阈值 4.3736、比例 91.0%(按本文实验的对数正态分布、σ=1.1\sigma=1.1 用正态分布函数积分得到)。
  • INT8 的定点误差上界 amax⁡/254a_{\max}/254(amax⁡=1254a_{\max}=1254 时为 4.94,对数值 1 的元素相对误差的松上界是 494%),与 FP8 次正规误差 amax⁡/458752a_{\max}/458752 相差约 1806 倍。
  • 算例一节的耗时:2.75×10112.75\times10^{11} FLOP 在 989 TFLOPS 下约 278 微秒、在 1979 TFLOPS 下约 139 微秒;Wgrad 内维 8192 时,在零均值随机舍入假设模型下估计累加误差约 1.36%(不是实测);每层权重 FP8 16.8 MB、BF16 33.6 MB。
  • 正文中出现的区间值 2.3%–4.1%(分块六档)、4.6%–4.9%(逐张量六档)均由上面那六档数值给出;100% 指 INT8 例里 x=1 被舍入为 0 时的实际相对误差;2.6%–3.1%(含其中的 3.0%、3.1%)是审阅方独立实现得到的量级,不是本文表格的数值。
  • Amdahl 的两个中间值:GEMM 占九成时总时间约省 45%,占七成时约省 35%(按 FP8 算力为 BF16 两倍的上限估算,不含通信与访存)。
  • 「累加误差已明显低于量化误差后,进一步压低累加误差的边际收益很小」这一判断,以及正文里 0.3% 这个数量级,指的都是「提升后累加误差应低于量化误差」的边界,不是任何来源给出的阈值。

未核实 / 未做的部分:本文没有任何真机实测,未在 H800 或多卡环境跑过 FP8 训练,也未复现论文的 loss 曲线;所有硬件行为(14 位累加、WGMMA 并发、提升开销)均为报告转述,我无法独立验证。合成实验用 Python 双精度模拟量化过程,与真实 Tensor Core 的舍入行为不完全等价,尤其是次正规区的硬件处理可能与软件模拟不同。