概念科普 📅 2026-11-17 ✍️ MagicNetWorld 编辑部

层归一化到底在稳什么:为什么 Post-LN 非要 warmup,Pre-LN 与 RMSNorm 又省掉了什么

同一层归一化(LayerNorm),装在残差相加之前还是之后,决定了训练要不要 warmup:原始 Post-LN 在初始化时靠近输出端的参数梯度相对更大(本文受控合成实验里,同一层比较约 0.87–3.88 倍,靠输出端最大),大学习率下更容易发散,所以需要学习率预热;Pre-LN 把归一化挪到子层前面,代价是残差流的方差随深度累积(本文实验里 32 层从 0.999 涨到 58.290,而让这条增长接近线性的前提是层间协方差近似常数)。RMSNorm 进一步省掉「减均值」这一步,只保留缩放不变性:本文对一个 64 维测试向量实测,整体平移 7 后 RMSNorm 输出变化 0.744,而 LayerNorm 只差 4.4e-16。文中推导与实验为本文自算,没有训练真模型、也没有真机实测。

层归一化RMSNormPre-LN训练稳定性Transformer

先讲一个生活里的场景。一栋老楼供水,水压从市政主管进来时是很高的,楼层越高越不稳;物业的解决办法是在每个分户的进水管上装一个减压阀(把水压压到一个固定值的那种阀门)。装了这个阀以后,每家水龙头出来的水压都差不多,热水器也不会因为水压过高而报警。

现在问题来了:这个减压阀应该装在哪儿?

一种装法是先让你家的水管接上各种设备(热水器、洗衣机),最后在出水口装阀。另一种装法是先把水压压稳,再让设备吃这股稳定的水。两种装法都能让「最终出水压」稳定,但对中间那些设备的影响完全不同:第一种里设备吃的是原始高压,第二种里设备吃的是已经被压过的水。

Transformer 里的层归一化(Layer Normalization,下文简称 LayerNorm 或 LN)就是这个减压阀,残差连接(把这一层的输入直接加到这一层的输出上,让梯度有一条直通的路)就是那根水管。同一个阀,装在「残差相加之前」还是「相加之后」,决定了整栋楼的设备要按什么规格做、也决定了训练时学习率要不要预热。

这篇文章想讲清三件事:LayerNorm 到底做了什么、为什么原始 Transformer 必须 warmup(学习率预热)、以及后来的 Pre-LN 和 RMSNorm 各自省掉了什么、代价又跑到哪里去了。文中所有数字来自我自己写的纯 numpy 合成实验(脚本与随机种子在文末核验记录里),不是论文实验的复现,也没有训练任何真实模型。

1. 先把符号摆上桌:LN 里的每个字母指什么

在讲机制之前,先把后面会反复出现的符号定义清楚。下表就是本文的术语与符号表,约定后文所有记号;不熟悉这些记号不影响往下读,遇到看不懂的地方回来查这张表即可。

符号含义量纲 / 取值本文设定
dd被归一化那一层的神经元个数(特征维度)个实验取 64 或 128
xix_i层里第 ii 个神经元的「求和输入」实数随机初始化,见各实验
μ\mu同一层内所有 xix_i 的算术平均实数随输入变化
σ2\sigma^2同一层内的方差实数随输入变化
x^i\hat{x}_i归一化后的值无量纲均值 0、方差 1(未乘 γ\gamma 时)
γ, β\gamma,\ \beta可学习的缩放与偏置向量本文实验取 γ=1\gamma=1、β=0\beta=0
ε\varepsilon防止除以 0 的小常数实数LN 取 10−510^{-5},RMSNorm 取 10−610^{-6}
F(⋅)F(\cdot)一个子层(多头注意力或前馈网络)函数本文用两层线性 + GELU 代理
h(l)h^{(l)}第 ll 层残差流的取值向量深度最多 32 层
RMS(x)\mathrm{RMS}(x)均方根实数见第 7 节

三句话把术语也定义掉:

  • 残差流:从第一层一路加到最后一层的那条主干,每一层往里「加一点东西」,而不是「替换掉」。
  • 归一化阀:把一组数的尺度强行拉回某个固定范围的运算,本文专指 LayerNorm / RMSNorm。
  • warmup(预热):训练最开始的一小段步数里,把学习率从很小线性升到目标值,避免一开始就用大学习率。

这一节想让你记住的一件事:μ\mu 与 σ\sigma 都是同一层内部、同一个样本内统计出来的,跟 batch 里别的样本无关——这一句话就把它和 BatchNorm 分开了(见第 8 节)。

2. LayerNorm 做的四件事:算两个统计量,然后拧两次

LayerNorm 的定义本身只有四行(Ba 等人 2016 年提出,arXiv:1607.06450),但它做的每一件事都有独立的后果,值得一行一行看。

第一件事,算这一层的均值:

μ=1d∑i=1dxi\mu = \frac{1}{d}\sum_{i=1}^{d} x_i

第二件事,算这一层的方差:

σ2=1d∑i=1d(xi−μ)2\sigma^2 = \frac{1}{d}\sum_{i=1}^{d}\left(x_i - \mu\right)^2

第三件事,减掉均值、除以标准差:

x^i=xi−μσ2+ε\hat{x}_i = \frac{x_i - \mu}{\sqrt{\sigma^2 + \varepsilon}}

第四件事,把尺度和偏置学回来:

yi=γi x^i+βiy_i = \gamma_i\,\hat{x}_i + \beta_i

前两步是「统计」,第三步是「拧」,第四步是「再拧回去一点」。为什么要有第四步?因为如果 LN 只做前三步,那么这一层的输出就永远被钉死成均值 0、方差 1,模型连「这一层该有多大尺度」都无法表达。γ\gamma 与 β\beta 把这部分自由度还给了模型——同时也解释了为什么 LN 的 γ\gamma 通常初始化成 1、β\beta 初始化成 0:起点等价于「纯归一化」,训练自己去调。

值得注意的是第三步里的 ε\varepsilon。它让「严格的不变性」退化成「近似的不变性」,第 7 节会用实测说明这个差别有多大:对一个 64 维向量整体放大 2.5 倍时,输出只差约 1.18×10−61.18\times10^{-6}——「1e-6 与 0 的差别」。

真正决定训练行为的是反向传播。把上面四步对 xx 求导,会得到一个很特别的雅可比矩阵:

∂x^∂x=1σ(I−1d11⊤−1dx^x^⊤)\frac{\partial \hat{x}}{\partial x} = \frac{1}{\sigma}\left(I - \frac{1}{d}\mathbf{1}\mathbf{1}^{\top} - \frac{1}{d}\hat{x}\hat{x}^{\top}\right)

这个式子值得多看一眼,因为它同时说了三件事:

  1. 梯度被 1/σ1/\sigma 缩放。如果这一层的输入本身尺度很大(σ\sigma 大),回传给输入的梯度就被压小;反之被放大。归一化阀在反向上也是一个「按尺度自动调的衰减器」。
  2. I−1d11⊤I - \frac{1}{d}\mathbf{1}\mathbf{1}^{\top} 是一个投影:它把梯度里「所有神经元一起加同一个数」的成分整个抹掉。这正好是不变性的对偶——前向对整体平移不敏感,反向就不给平移方向任何梯度。
  3. 减去 1dx^x^⊤\frac{1}{d}\hat{x}\hat{x}^{\top} 又抹掉了「沿 x^\hat{x} 方向」的成分,也就是「整体放大缩小」那个方向。前向对整体缩放不敏感,反向也就不给它梯度(\varepsilon>0 时是「几乎不给」,见下文)。

在「忽略 ε\varepsilon、输入方差非零」这个前提下可以验证:这个矩阵的秩是 d−2d-2,整个 dd 维空间里有两个方向拿不到梯度。ε>0\varepsilon>0 时严格说秩是 d−1d-1——沿 x^\hat{x} 方向不是完全没有梯度,而是只剩一个量级约 ε/σ3\varepsilon/\sigma^{3} 的弱分量。这个区别在做定性推导时可以忽略,在数值实现里不能忘(低精度下它会被放大)。这两行数学,是后文所有「省掉这一步会怎样」的出发点。

这一节想让你记住的一件事:LN 不只是「让数据好看」,它在反向上按尺度缩放梯度,并且系统性地丢掉两个方向的梯度。

3. 手算一遍:把一个 4 维向量过两遍阀

纸上的公式不算数,给一组具体数字,走一遍 LayerNorm 与 RMSNorm,看它们在哪一步分开。

先取 x=(4, 2, 0, −2)x = (4,\ 2,\ 0,\ -2)。

  • 均值:(4+2+0−2)/4=1(4+2+0-2)/4 = 1
  • 方差:((4−1)2+(2−1)2+(0−1)2+(−2−1)2)/4=(9+1+1+9)/4=5\big((4-1)^2+(2-1)^2+(0-1)^2+(-2-1)^2\big)/4 = (9+1+1+9)/4 = 5
  • 均方根:(16+4+0+4)/4=6≈2.4495\sqrt{(16+4+0+4)/4} = \sqrt{6} \approx 2.4495

LayerNorm 走的是「减均值再除标准差」:先减 1 得到 (3, 1, −1, −3)(3,\ 1,\ -1,\ -3),再除以 5≈2.2360\sqrt{5}\approx2.2360:

x^LN=(1.3416, 0.4472, −0.4472, −1.3416)\hat{x}_{\text{LN}} = (1.3416,\ 0.4472,\ -0.4472,\ -1.3416)

RMSNorm 走的是「直接除均方根」:同一个向量除以 2.44952.4495:

x^RMS=(1.6330, 0.8165, 0, −0.8165)\hat{x}_{\text{RMS}} = (1.6330,\ 0.8165,\ 0,\ -0.8165)

把两者的输出放在一起比,差别立刻看得出来:

项LayerNormRMSNorm
输出向量(1.3416, 0.4472, −0.4472, −1.3416)(1.3416,\ 0.4472,\ -0.4472,\ -1.3416)(1.6330, 0.8165, 0, −0.8165)(1.6330,\ 0.8165,\ 0,\ -0.8165)
输出均值00.4082
输出标准差10.9129
与输入平移的关系严格不变平移会改变输出

这张手算表其实就是第 7 节实测数字的缩小版:RMSNorm 的输出保留了输入的均值偏移,所以它的标准差只有 0.9129 而不是 1。这个输出尺度有闭式(忽略 ε\varepsilon、取 γ=1\gamma=1):

σout=σxRMS(x)=56=0.9129,σoutσin=1RMS(x)=16=0.4082\sigma_{\text{out}} = \frac{\sigma_x}{\mathrm{RMS}(x)} = \frac{\sqrt{5}}{\sqrt{6}} = 0.9129, \qquad \frac{\sigma_{\text{out}}}{\sigma_{\text{in}}} = \frac{1}{\mathrm{RMS}(x)} = \frac{1}{\sqrt{6}} = 0.4082

顺带把 ε\varepsilon 的位置也看清楚:如果分母里加的是 ε=10−5\varepsilon=10^{-5},那么 5+10−5≈2.236070\sqrt{5+10^{-5}}\approx2.236070 与 5≈2.236068\sqrt{5}\approx2.236068 相差约 2.24×10−62.24\times10^{-6}——保留四位小数时看不出差别,但后文对 64 维向量整体放大 2.5 倍时测出的 1.61×10−61.61\times10^{-6} 缩放不变性误差,来源就在这个 ε\varepsilon 上。纸面上的「不变」与浮点里的「几乎不变」,差的就是这个 ε\varepsilon。

这一节想让你记住的一件事:LN 与 RMSNorm 的分歧,从「输入均值是不是 0」这一件事就开始了;均值不为 0 时,RMSNorm 的输出方差必然小于 1。

4. 阀装错位置:Post-LN 与 warmup 为什么是必需品

原始 Transformer(Vaswani 等 2017 年那版)的写法是:

h(l)=LN ⁣(h(l−1)+F ⁣(h(l−1)))h^{(l)} = \mathrm{LN}\!\left(h^{(l-1)} + F\!\left(h^{(l-1)}\right)\right)

也就是:先算子层、先相加、最后才归一化。这种写法后来被叫作 Post-LN(归一化在残差相加之后)。

图 1 把两条流水线并排放在一起,左边是 Post-LN,右边是后来的 Pre-LN。差别只有一格:归一化阀是在「子层之前」还是「相加之后」。

两条残差流水线并排对比:Post-LN 先算子层再相加最后归一化,Pre-LN 先把输入归一化再进子层、残差流本身不归一化
图 1 同一个阀,两种装法:Post-LN 每层都把尺度钉回 1,Pre-LN 让残差流自己累积尺度(本文自绘)

这张图想说明的一件事是:Post-LN 里,残差流的尺度在每一层出口都被重置成 1;Pre-LN 里,残差流的尺度从第一层一路累积到最后。

这个差别看起来只是「顺序」问题,但 Xiong 等人 2020 年的分析(arXiv:2002.04745)指出:两者的初始化时梯度分布完全不同。论文用平均场理论证明,对原始 Post-LN,初始化时靠近输出层那些参数的期望梯度很大——大学习率作用在这些梯度上会让训练不稳定,而 warmup 正是用来避开这一个阶段的手段。反过来,Pre-LN 的期望梯度在初始化时是「良性」的,所以不需要 warmup。

这里必须说清楚两件事,否则容易读成「Pre-LN 更好所以大家都不用 warmup 了」:

  • 论文的结论是为什么 warmup 对 Post-LN 必要,不是说 Post-LN 一定训不起来——加上 warmup 它照样能训,2017 年到 2019 年的大批模型就是这么训的。
  • 「Pre-LN 不需要 warmup」这句话成立的前提是「没有别的东西同时需要 warmup」。学习率调度里还有别的理由要预热(比如优化器二阶矩估计在最开始几步还不准),本文不涉及那一部分。

这一节想让你记住的一件事:warmup 不是玄学调参,它是给「初始化时梯度偏大」这一具体现象打的补丁——而梯度偏大,源头是归一化阀装在了相加之后。

5. 自己量一遍:初始化时梯度到底差多少

光看论文结论不够直观,我写了一个最小的对照实验:同一组权重、同一批输入、同一个目标,只改归一化的位置,再反向把每个子层参数的梯度范数量出来。

有两个设计决定值得先交代,因为本文第一版做错的正是这两处:

  • 权重必须共享。 如果两条流水线各自随机初始化,比出来的差值里就混着初始化噪声,不能说「差别来自结构」。本文的做法是先按固定种子建一次参数列表,两种布局复用同一组数组。
  • 损失不能是常数量。 第一版用「输出的平方和均值」当损失,而两种布局的出口都过了一次 LayerNorm(输出均值 0、方差 1),这个损失因此几乎是常数 dd,梯度只剩 ε\varepsilon 泄漏出来的那一小部分——量到的其实是 ε\varepsilon 敏感性,不是梯度大小。

设定如下(全部为合成设定,不涉及任何真实数据集):

  • 维度 d=64d=64,前馈隐层 256,深度 24 层,batch 32;
  • 子层写成 F(h)=W2 GELU(W1h)F(h) = W_2\,\mathrm{GELU}(W_1h),W1W_1、W2W_2 都按 He 初始化(方差 2/输入维度2/\text{输入维度});
  • 损失取「输出与一个固定随机目标 TT 的均方误差」的一半,TT 与输入同分布、独立采样——这样梯度不会退化成常数;
  • 两种布局共享完全相同的权重、输入与目标。

先做一件事:确认我的反向传播没写错。用中心差分在 2 层小模型上逐个核对一个权重元素和输入梯度的元素,最大相对误差是 1.33×10−101.33\times10^{-10}(Post-LN)与 2.11×10−102.11\times10^{-10}(Pre-LN);输入梯度那一项是 7.64×10−117.64\times10^{-11} 与 1.23×10−101.23\times10^{-10}。误差都在有限差分的正常量级上,可以认为解析梯度是对的。

然后是结果。下表是各层参数梯度范数(把该层 W1W_1 与 W2W_2 的梯度平方和开根):

深度位置Post-LN 参数梯度范数Pre-LN 参数梯度范数比值(Post / Pre)
第 1 层2.52×10−12.52\times10^{-1}2.88×10−12.88\times10^{-1}0.87
第 7 层1.98×10−11.98\times10^{-1}1.21×10−11.21\times10^{-1}1.63
第 13 层1.83×10−11.83\times10^{-1}8.79×10−28.79\times10^{-2}2.09
第 19 层1.89×10−11.89\times10^{-1}6.87×10−26.87\times10^{-2}2.75
第 24 层2.34×10−12.34\times10^{-1}6.02×10−26.02\times10^{-2}3.88
输入梯度范数2.47×10−22.47\times10^{-2}2.80×10−22.80\times10^{-2}0.88

两个方向都值得看:

  • Post-LN 的梯度沿深度基本平坦:末层是首层的 0.930.93 倍,24 层的比值范围是 0.650.65 到 1.001.00。Pre-LN 反过来,从首层到末层衰减到 0.210.21(范围 0.210.21 到 1.001.00)。
  • 同一层比较时,Post-LN 在靠输出端更大:第 1 层两者几乎相同(0.87),越靠近输出端比值越大(第 7 层 1.63、第 13 层 2.09、第 19 层 2.75、第 24 层 3.88)。这个方向与论文的定性结论一致(论文说初始化时靠近输出层的参数期望梯度大),但量级远比常见的转述温和。
  • 本文第一版量到的「大 15 到 90 倍」是假的,来源是上一小节说的退化损失:那个损失下梯度整体趋近 0,两种布局的差值被 ε\varepsilon 泄漏放大成十倍以上的相对差。这一条留在文章里,是因为它恰好说明「数字能复现」不等于「实验设计对」。

为什么会有这个差别?把两条路径各自的雅可比连乘写出来就清楚了。残差结构让反向传播的链式乘积里有大量的 I+JFI + J_F 项,而 LN 的雅可比带着 1/σ1/\sigma 因子:

∂h(l)∂h(l−1)={JLN(h+F(h))(I+JF),Post-LNI+JF JLN(h),Pre-LNJLN(z)=1σ(z)(I−11⊤d−z^z^⊤d)\frac{\partial h^{(l)}}{\partial h^{(l-1)}} = \begin{cases} J_{\mathrm{LN}}\left(h+F(h)\right)\left(I + J_F\right), & \text{Post-LN}\\[2mm] I + J_F\, J_{\mathrm{LN}}(h), & \text{Pre-LN} \end{cases} \qquad J_{\mathrm{LN}}(z)=\frac{1}{\sigma(z)}\left(I-\frac{\mathbf{1}\mathbf{1}^{\top}}{d}-\frac{\hat{z}\hat{z}^{\top}}{d}\right)

两行的差别有两处,都值得点出来:

  • 乘法顺序不同。 Pre-LN 里子层吃的是归一化后的输入,链式法则是 JFJLNJ_F J_{\mathrm{LN}}(先 LN 再 F),写成 JLNJFJ_{\mathrm{LN}}J_F 会把「对谁求导」弄反。
  • σ\sigma 统计的对象不同。 Post-LN 里 JLNJ_{\mathrm{LN}} 的分母是 h+F(h)h+F(h) 的标准差,也就是归一化之前那个量;它的出口标准差恒为 1,但那说的是 LN 的输出,不是它的输入——这两者不是同一个统计量。Pre-LN 里分母是残差流 hh 本身的标准差,而残差流不归一化,随深度增长(下一节的表里,32 层时方差 58.3,标准差约 7.6)。

所以两种布局的梯度衰减机制不是同一个量在起作用:Post-LN 的分母不随深度累积,Pre-LN 的分母会。本文把「比值随深度拉开」归因到这一点,但这是对本文实验的机制解释,不是论文定理的复述。

需要说明的是:这是一个合成设定下的观察,不是论文定理的数值证明。两条流水线本来就是不同的函数,梯度范数不完全可比;能说的是「在同一套初始化尺度下,实测方向与论文的定性结论一致」。

这一节想让你记住的一件事:Post-LN 的问题不是「归一化不好」,而是它的梯度整体偏大且越靠输出越大——大学习率一上来就踩在这个区域。

6. Pre-LN 的账单:梯度平了,残差流的尺度在涨

把归一化挪到子层之前,写法变成:

h(l)=h(l−1)+F ⁣(LN ⁣(h(l−1))),hout(L)=LN ⁣(h(L))h^{(l)} = h^{(l-1)} + F\!\left(\mathrm{LN}\!\left(h^{(l-1)}\right)\right),\qquad h^{(L)}_{\text{out}} = \mathrm{LN}\!\left(h^{(L)}\right)

注意最后那一步:因为残差流一路没被归一化,所以整摞层跑完之后要补一次 LN(这也是 GPT-2 一类实现里能看到的写法)。

梯度确实平了(上一节的表),但代价立刻转移到别处:残差流的方差会随深度累加。用同一个实验装置量一遍,深度 32 层,三种设定:

深度完全不归一化Pre-LNPost-LN
第 0 层(输入)0.9990.9990.999
第 1 层2.6962.7091.000
第 4 层85.9688.9401.000
第 8 层7689.56316.4821.000
第 12 层735848.53524.7031.000
第 16 层4.58×1074.58\times10^{7}33.4781.000
第 24 层4.61×10114.61\times10^{11}44.6221.000
第 32 层5.31×10155.31\times10^{15}58.2901.000

这张表有三行信息,每一行都对应一个设计决定:

  • 完全不归一化:指数式爆炸。 因为每层的子层输出幅度与输入幅度成比例(WW 按 2/d2/d 初始化,输出方差约等于输入方差),残差加法就变成「每层乘一个略大于 1 的因子」,32 层后到 101510^{15} 量级。这就是归一化存在的根本理由。
  • Post-LN:方差恒为 1,是被构造出来的。 它每一层出口都重新归一化,方差当然永远是 1.000——这一行没有信息量,只是提醒你「稳」是买来的。
  • Pre-LN:方差近似线性增长,不是指数增长。 从 0.999 到 58.290,32 层涨了约 58.358.3 倍;逐层增量约 1.79((58.290−2.709)/31(58.290-2.709)/31),是一条接近直线的曲线。

为什么 Pre-LN 是线性而不是指数?因为子层的输入被归一化过,子层输出的方差几乎与残差流的方差无关,近似是个常数 cc;于是

Var(h(l))≈Var(h(l−1))+c⟹Var(h(L))≈Var(h(0))+Lc\mathrm{Var}\left(h^{(l)}\right) \approx \mathrm{Var}\left(h^{(l-1)}\right) + c \quad\Longrightarrow\quad \mathrm{Var}\left(h^{(L)}\right) \approx \mathrm{Var}\left(h^{(0)}\right) + Lc

「归一化把乘法变成了加法」——这句话是整个 Pre-LN 稳定性的核心,也是它「不需要 warmup」的同一枚硬币的另一面:梯度不再被随深度放大的因子连乘,而是被随深度增长的 σ\sigma 温和地压小。

代价在哪?残差流的尺度到 32 层时标准差约 8,比输入大一个数量级;后续如果再叠别的东西(比如输出层直接接分类头、或者层数继续加深),就得额外处理这个尺度。工程上常见的做法是在末尾加 final LN、或者按深度调初始化——这些都不在本文实验范围内。

为什么增量是个常数:给 cc 一个量级估计

本节上面的表格里,逐层增量约 1.79,看起来像个随手出现的数字。它可以估出来——但先要把递推写全:残差加法不会自动让方差相加,中间还有一个协方差项。

残差加法的方差恒等式是

Var(h+F)=Var(h)+Var(F)+2 Cov(h,F)\mathrm{Var}\left(h+F\right)=\mathrm{Var}(h)+\mathrm{Var}(F)+2\,\mathrm{Cov}(h,F)

「每层加固定一勺」这句话成立的前提,是右边后两项合起来近似一个常数。子层输入被归一化成方差 1 只能保证 Var(F)\mathrm{Var}(F) 的量级稳定,不能保证协方差为零。本文把这两项都量了出来(Pre-LN,选择性列几层):

层Var(F)\mathrm{Var}(F)2 Cov(h,F)2\, \mathrm{Cov}(h,F)两者之和(实际增量)
第 1 层1.735-0.0241.711
第 8 层1.940-0.3981.542
第 16 层2.129+0.2872.416
第 32 层1.815-0.4141.401

协方差项在 -0.4 到 +0.3 之间摆动,相对 Var(F)\mathrm{Var}(F) 不算小(最坏时把增量削掉约四分之一),所以「线性增长」是这两项碰巧都近常数的结果,不是「只要归一化就必然线性」。子层输出方差的量级可以这样估:

c≈1d E[∥F ⁣(LN(h))∥2]c \approx \frac{1}{d}\,\mathbb{E}\left[\left\|F\!\left(\mathrm{LN}(h)\right)\right\|^2\right]

W1W_1 按 2/d2/d 初始化时,第一层线性输出的每个分量方差约 2;GELU 把负半轴压掉一部分,输出方差会降到 2 以下;再乘 W2W_2(按 2/dff2/d_{\text{ff}} 初始化,dffd_{\text{ff}} 是前馈隐层维度)之后回到同一个量级。所以 cc 是个 O(1)O(1) 的正常数——本文设定下量到约 2.00。

这条估计解释了为什么形状接近直线而不是指数:子层输入被归一化后,Var(F)\mathrm{Var}(F) 与残差流当前多大多小基本无关;协方差项虽然不为零,但也没有随深度放大的趋势。反之,一旦子层输入不归一化(表里最左那一列),加进去的量与当前水量成正比,就变成复利。

这一节想让你记住的一件事:线性增长不是巧合,是「每层加固定一勺」的直接后果;哪天子层输入不再归一化,这条线性关系立刻失效。

这一节想让你记住的一件事:Pre-LN 不是「免费把 Post-LN 优化掉了」,它把「每层强制归位」换成了「让尺度慢慢长大,但梯度不被放大」。

7. RMSNorm:为什么要「减均值」这件事可以省掉

到这一步,问题变成了:LayerNorm 那四步里,哪一步是必需的?

RMSNorm(Zhang 与 Sennrich,2019 年,arXiv:1910.07467)的回答是:减均值那一步可以省掉,只留缩放。 写法是:

RMS(x)=1d∑i=1dxi2+ε,yi=xiRMS(x) γi\mathrm{RMS}(x) = \sqrt{\frac{1}{d}\sum_{i=1}^{d}x_i^2 + \varepsilon}, \qquad y_i = \frac{x_i}{\mathrm{RMS}(x)}\,\gamma_i

注意两个细节:分母用的是均方根(不做减均值),而且一般没有 β\beta。参数量也从 LN 的 2d2d 降到 dd。

LayerNorm 与 RMSNorm 的步骤对比:前者求均值与方差再减均值除标准差,后者只求均方根直接相除;下方是不变性实测数字
图 2 LayerNorm 要两个统计量,RMSNorm 只要一个:少的那一步,恰好是「整体平移不变」(本文自绘)

这张图想说明的一件事是:省掉的不只是计算量,还有一条不变性。

纸面上讲不变性太抽象,直接量。取一个 64 维向量,均值 4.537、均方根 5.176(对应标准差 2.493),然后做两件事:整体加 7,或者整体放大 2.5 倍,看归一化后的输出变了多少:

操作LayerNorm 输出最大变化RMSNorm 输出最大变化
整体加 74.44×10−164.44\times10^{-16}0.744
整体放大 2.5 倍1.61×10−61.61\times10^{-6}3.13×10−83.13\times10^{-8}
未做操作时输出标准差1.0000.482

三个数字各说一件事:

  • 平移:LayerNorm 的变化是 4.4×10−164.4\times10^{-16},也就是浮点数的机器精度级别——它严格不变;RMSNorm 变了 0.744,非常大。这不是 bug,是定义决定的:RMSNorm 的分母是均方根,平移会改变均方根,所以输出必然变。
  • 缩放:两者都不变,但误差量级不同(1.61×10−61.61\times10^{-6} 对 3.13×10−83.13\times10^{-8})。前者恰好是 ε=10−5\varepsilon=10^{-5} 破坏严格不变性的程度,后者对应 ε=10−6\varepsilon=10^{-6}——这解释了为什么 LN 与 RMSNorm 常取不同的 ε\varepsilon,也提醒一件事:「不变性」在实现里永远是近似的。
  • 输出尺度:LayerNorm 的输出标准差恒为 1;RMSNorm 的输出标准差是 σx/RMS(x)=2.493/5.176=0.482\sigma_x/\mathrm{RMS}(x) = 2.493/5.176 = 0.482。也就是说 RMSNorm 只把「均方根」钉到 1,保留了均值偏移,因此输出的方差小于 1。这是 RMSNorm 与 LN 最实质的差异,常被一句「只是省了减均值」带过去。

那么,省掉 re-centering 凭什么不掉点?论文的论证是:LayerNorm 的 re-centering 不变性(对输入和权重矩阵的平移不变)在很多场景下是冗余的,真正起作用的是 re-scaling;去掉它之后模型仍能学到等价的表达,而计算更省——论文在多个模型上报告了 7% 到 64% 的加速。这里要严格区分两件事:论文报的是它自己实验里的加速与效果,本文只验证了「不变性确实少了一条、输出方差确实不再为 1」,没有验证「省掉之后效果不掉」。后者需要真训练,本文没做。

这一节想让你记住的一件事:RMSNorm 省的是一个统计量,换掉的是一条不变性;它的输出方差不再为 1,这是使用它时要记得的默认事实。

8. 四种归一化放在一张表里:它们其实在回答不同的问题

把 BatchNorm、LayerNorm、RMSNorm 和下面要讲的 DyT 摆在一起看,会发现它们的分歧不在实现细节,而在「用什么统计量、在哪个维度上算」:

方案用什么统计量在哪个维度上统计依赖 batch?平移不变缩放不变额外参数
BatchNorm每个通道在 batch 上的均值与方差batch × 空间位置是(推理用滑动平均)是是2d2d
LayerNorm单样本内、一层神经元的均值与方差特征维否是是2d2d
RMSNorm单样本内、一层神经元的均方根特征维否否是dd
DyT(替换归一化层时)无统计量,逐元素 tanh⁡(αx)\tanh(\alpha x)逐元素(α\alpha 可学)否否否2d+12d+1(保留 γ,β\gamma,\beta 加一个标量 α\alpha)

表里最值得记的一列是「依赖 batch 吗」。BatchNorm 的统计量跨样本,所以训练与推理要用两套逻辑(推理时用滑动平均),小 batch 时统计量噪声大;LN 与 RMSNorm 在一个样本内部算完就行,与 batch 大小无关——这是 Transformer 普遍用 LN 而不是 BN 的直接原因之一,而不是因为 LN 在数学上「更高级」。

这件事在工程上有个直接后果:若参与统计的元素近似独立同分布,BatchNorm 的统计量误差大约是

se(μ^)≈σm⋅npos\text{se}\left(\hat{\mu}\right) \approx \frac{\sigma}{\sqrt{m\cdot n_{\text{pos}}}}

其中 mm 是 batch 大小、nposn_{\text{pos}} 是每个样本的空间位置数。同一张图像的空间位置通常是相关的,此时不能把它们都当独立样本:取有效样本数 neff≤nposn_{\text{eff}}\le n_{\text{pos}},误差在 σ/m⋅npos\sigma/\sqrt{m\cdot n_{\text{pos}}}(完全独立)与 σ/m\sigma/\sqrt{m}(完全相关)之间。批量 8、每个样本一个位置时,均值的标准误就是 σ/8≈0.354σ\sigma/\sqrt{8}\approx0.354\sigma——三分之一多个标准差,每个 batch 都不一样。小 batch 下这个噪声会直接注进训练信号里,这也是为什么检测与分割这类受显存限制、只能用很小 batch 的任务,后来大量改用 GroupNorm 一类「不跨样本统计」的方案(本文没有做 BN 实验,这一段只是把上面的公式代进数字)。LayerNorm 与 RMSNorm 完全没有这个问题:它们在一个样本内部算完就走。

另一列值得记的是「额外参数」:2d2d(BatchNorm 与 LayerNorm)→ dd(RMSNorm)→ 2d+12d+1(DyT 替换归一化层时,论文的实现保留逐通道 γ,β\gamma,\beta,只额外多一个标量 α\alpha)。注意这里不能简单说「参数越少越好」:LN 与 RMSNorm 的 γ,β\gamma,\beta 通常按 1 和 0 确定性初始化,减少它们并不等于减少「随机初始化带来的偏差」,本文也没有做能支持这一因果的实验。

这一节想让你记住的一件事:四种方案的差别,本质是「统计量怎么算、算在谁身上」,不是「谁更先进」。

9. 常见误解:归一化不等于「把数据变成正态分布」

一个流传很广的说法是「归一化就是把数据变成标准正态分布」。这句话是错的,而且错得有价值——搞清楚它错在哪,能顺手解释好几个工程现象。

LayerNorm 只钉住两件事:一阶矩(均值)与二阶矩(方差)。它完全不管三阶及以上的矩。举一个极端的例子:取一个只含两个值的向量 x=(a, −a, a, −a, … )x = (a,\ -a,\ a,\ -a,\ \dots),它的均值是 0、方差是 a2a^2,归一化之后变成 (1, −1, 1, −1, … )(1,\ -1,\ 1,\ -1,\ \dots)——这是一个二点分布,偏度为 0 但峰度远非常态(把四阶中心矩按 σ4\sigma^4 标准化得到峰度:二点分布是 1,标准正态是 3——二点分布反而更「平」,这一点和直觉相反)。LN 对这个形状无能为力。

偏度=1d∑i(xi−μ)3σ3不受 LayerNorm 约束\text{偏度} = \frac{\frac{1}{d}\sum_i \left(x_i-\mu\right)^3}{\sigma^3} \quad\text{不受 LayerNorm 约束}

这个事实有三个直接后果,都能在上文的实验里看到影子:

  • 第 10 节那个 tanh 拟合之所以「高 R2R^2 却说明不了 S 形」,根子就在这里:LN 只保证一阶二阶,输出长什么样完全取决于输入分布的形状,而随机高斯输入下的 LN 输出自然是「被拉直的高斯」,近似线性;
  • RMSNorm 与 LN 的差别也不是「谁更接近正态」,而是「要不要减均值」这一件事;
  • 任何指望「过了 LN 就数值安全」的判断都不完整——LN 之后仍可能有离群值(单个元素远离其余元素),这类离群值在低精度量化里才会真正咬人(这也是本站另一篇文章讨论 FP8 分块缩放的动机)。

这一节想让你记住的一件事:归一化管的是「位置和尺子」,不是「形状」;形状由数据和权重决定,归一化层改不了它。

10. 再往前一步:连归一化都不要了

2025 年 3 月的一篇工作(Zhu 等,arXiv:2503.10622)把这个问题推到了极端:Transformer 里可不可以完全没有归一化层?

他们的答案是 Dynamic Tanh(DyT):

DyT(x)=tanh⁡(αx)\mathrm{DyT}(x) = \tanh(\alpha x)

一个逐元素的双曲正切,α\alpha 是一个可学习的标量。论文的出发点是观察:Transformer 里的 LayerNorm 常常产生 **S 形(tanh 形)**的输入输出映射;于是干脆用一个真的 tanh 去替代它。论文报告,用 DyT 替换归一化层后,模型在识别到生成、有监督到自监督、视觉到语言等多个设定下能匹配甚至超过有归一化的对应版本,且大多不需要重新调超参。

这个结论听起来很像「归一化根本没必要」,但作为读者,值得自己动手验一下「LN 的输出真的长 S 形吗」。我做了个很朴素的拟合:取 4096×128 的随机输入(标准差 2、方差 4,记作 x∼N(0,22)x\sim\mathcal{N}(0,2^{2})),算 LN 的输出,然后用 k⋅tanh⁡(αx)k\cdot\tanh(\alpha x) 去拟合,网格扫 α\alpha:

  • 最好的拟合是 α=0.06\alpha=0.06、k=8.42k=8.42,决定系数 R2=0.989R^2 = 0.989;
  • 但不带缩放(k=1k=1)时 R2R^2 只有 0.221。

这个结果本身说明了一件值得注意的事:拟合优度很高,并不等于「LN 是 S 形」。 因为 α=0.06\alpha=0.06 配上 8.42 倍的外乘,在 ∣x∣≲3|x|\lesssim 3 这个范围内几乎是直线——高 R2R^2 只是「近似线性」的结果,而线性当然能被线性很好地拟合。真正的 S 形要等到输入远离原点才显出来,而随机高斯输入很少跑到那里。

还有一个容易忽略的细节:DyT 的 α\alpha 是可学的标量,不是常数。这一点很关键——本文那个拟合是在找「一个固定的 α\alpha 能不能替代 LN」,而论文的设定是「让模型自己挑 α\alpha」。两者不是同一个问题。

所以这篇论文的正确读法是:它给了一个结构极简的替代物,在它自己的大规模实验中效果相当;但「LN 输出呈 S 形」这个动机性观察,不能靠一次简单的逐元素拟合去验证(论文的观察是在已训练模型上采样 LN 的输入与输出、再按 token 维与通道维分别统计得到的,本文既没有训练模型、也没有复现这类分布观察)。我保留这个数值只是想说明:一个漂亮的拟合数字,可能是「近似线性」伪装成的机制解释。

从阅读角度说,这一节的价值可能不在「DyT 好不好」,而在「怎么读一个替代方案的主张」:

  • 先分清作者证明的是「能替代」还是「为什么能替代」;
  • 再看动机性观察是在什么数据、什么尺度上得到的;
  • 最后看有没有独立复现——本文这一次不算独立复现,只是自己做了一个更朴素的版本。

一句话总结这一节的方法论:看到「我们不需要 X」这类主张,先问「它证明了能替代,还是证明了为什么能替代」——这两个问题的证据强度差得很远,而论文摘要往往把前者写得更响。

这一节想让你记住的一件事:能不能替换归一化是一回事,替代方案的动机解释是否成立是另一回事——后者需要比 R2R^2 更硬的证据。

11. 想自己验一遍:脚本里四个实验分别做什么

本文的数字都可复现。脚本是单文件纯 numpy,固定种子,跑完不到一分钟(本文用的是本机 Python 3.14 + numpy,未做性能优化)。四个实验各回答一个问题:

  1. grad_check():我的反向传播写对了吗? 在 d=4d=4、隐层 6、2 层的小模型上,用中心差分逐个核对一个权重元素和输入梯度的一个元素,输出最大相对误差。本文结果是 Post-LN 的 1.33×10−101.33\times10^{-10}、7.64×10−117.64\times10^{-11},Pre-LN 的 2.11×10−102.11\times10^{-10}、1.23×10−101.23\times10^{-10}。这一步是后面所有数字的前提——如果梯度算错了,梯度对照表就没有意义。

  2. exp_variance():残差流方差怎么长?(并记录协方差项) 固定 d=128d=128、隐层 512、深度 32、batch 32,用同一套初始化分别跑「完全不归一化」「Pre-LN」「Post-LN」三条路,记录每层之后的方差。输出就是第 6 节那张表。

  3. exp_grad():初始化时各层梯度多大? 固定 d=64d=64、隐层 256、深度 24、batch 32,损失取「输出与固定随机目标 T 的均方误差」的一半,反向求每层 W1W_1、W2W_2 的梯度范数以及输入梯度范数。输出就是第 5 节那张表。

  4. exp_invariance() 与 exp_dyt():不变性与那个 tanh 拟合。 前者取一个均值 4.537、均方根 5.176 的 64 维向量,分别做「加 7」「乘 2.5」,量 LayerNorm 与 RMSNorm 输出的最大变化;后者取 4096×128 的随机输入,用 k⋅tanh⁡(αx)k\cdot\tanh(\alpha x) 网格拟合 LN 的输出,报最优 α\alpha、kk 与 R2R^2。

想自己动手的话,改三处就能看到不同的世界:把 Block.__init__ 里的初始化方差从 2/d2/d 改成 1/d1/d(初始化变小),第 5 节那张梯度表的比值会变;把 exp_variance 的深度从 32 改成 64,第 6 节的方差表右列会继续往上涨;把 exp_invariance 里的平移量从 7 改成 0.1,RMSNorm 的变化会变小但不为零——它永远不会是零,因为它没有平移不变性。

本文的预期输出(原样摘录首行,用于核对脚本是否跑通):

GRADCHECK post=1.33e-10/7.64e-11 pre=2.11e-10/1.23e-10
VAR none L0=0.999 L1=2.696 L4=85.968 L8=7689.563 L12=735848.535 L16=45814876.597 L24=460518557868.057 L32=5313607763416817.000
VAR pre  L0=0.999 L1=2.709 L4=8.940 L8=16.482 L12=24.703 L16=33.478 L24=44.622 L32=58.290
VAR post L0=0.999 L1=1.000 L4=1.000 L8=1.000 L12=1.000 L16=1.000 L24=1.000 L32=1.000
GRAD post dh0=2.466e-02 blk0=2.517e-01 blk6=1.976e-01 blk12=1.833e-01 blk18=1.887e-01 blk23=2.335e-01
GRAD pre  dh0=2.801e-02 blk0=2.881e-01 blk6=1.211e-01 blk12=8.789e-02 blk18=6.872e-02 blk23=6.017e-02

如果自己跑出来的数字和本文不一样,按这三处排查:

  • 随机数流:本文用 np.random.default_rng(20261117);换成旧接口 np.random.seed(...) 后,同一个数字给出的不是同一组随机数,梯度表会整体位移。
  • GELU 形式:本文用 tanh 近似式,换成 erf 精确式后方差表会在小数点后第二三位上变,这是实现差异、不是结论差异。
  • ε\varepsilon 的取值:LayerNorm 取 10−510^{-5}、RMSNorm 取 10−610^{-6};把它们都改成 10−810^{-8},不变性误差会跟着变——这恰好是本文想强调的那一点:数值上的「不变」永远是相对的。

脚本里没有用任何深度学习框架:前向、反向、LayerNorm 的梯度都是手写的,所以你能逐行核对每个数字是怎么来的。代价是它只做得到这里做的事——没有优化器、没有注意力、没有混合精度。要更接近真实训练的实验,就得换框架,那是另一篇文章的工作量。

这一节想让你记住的一件事:文中的每个数字都能在一分钟内重跑出来——这是「可核对」和「听起来合理」的区别。

12. 边界:这些结论在什么范围内成立

写到这里必须把边界划清楚,否则上文很容易被读成「训练稳定性的全部答案」。

  1. 本文的实验脚本改过两版。 第一版用退化损失、且两条布局各自随机初始化,量出来的「15–90 倍」是错的;现文所有数字来自修正后的脚本(共享权重 + 固定随机目标的均方误差)。如果读者复现出不同的数字,先确认跑的是哪一版。

  2. 没有训练,也没有真机。 全文所有数字来自纯 numpy 的前向 / 反向合成实验,模型是两层线性加 GELU 的代理子层,没有注意力、没有真数据集、没有优化器状态。它能量出「初始化时的梯度形态」与「方差传播」,量不出「训练 10 万步后的收敛差异」。

  3. 梯度对比不是受控实验。 Post-LN 与 Pre-LN 是两条不同的函数,用同一套初始化尺度去比梯度范数,只能说方向与论文一致,不能当作定理的数值证明。

  4. 雅可比分析只到一阶。 第 2 节那个矩阵是单层、单次的导数,真实训练里 σ\sigma 本身随参数变化,会引入二阶效应;本文没有处理。

  5. ε\varepsilon 的作用被低估了。 它不只是防除零:实测里它决定了「不变性」的误差量级(10−610^{-6} 对 3.6×10−83.6\times10^{-8}),在低精度训练(fp16/bf16/fp8)下这个量级可能与数值误差同阶,本文没有在低精度下复现。

  6. BatchNorm 那一列只是背景。 本文没有做任何 BN 实验,表里的描述取自其原始论文(arXiv:1502.03167)的定义。

  7. 「约 2.0/层」不能外推。 本文最深 32 层;第 6 节的线性增长是「每层加固定一勺」,形式可外推,但常数项会随初始化、γ\gamma 初始化与残差缩放改变,本文没有测这些设定。

  8. 没有测低精度。 ε\varepsilon 与 10−610^{-6} 量级的不变性误差在 bf16 下会被舍入误差淹没,在 fp8 下更甚;本文全部计算在 float64 下完成,结论不能直接搬到低精度训练。

  9. 没有区分「初始化时」与「训练中」。 第 5 节的表是初始化那一次的测量;训练开始后 σ\sigma 会随参数变化,「初始化梯度大」并不等于「训练中一直大」,论文的 warmup 论证也是围绕初始化附近展开的。

补充一条:本文的脚本与文章同一天写、同一天跑,改动任何一处数字都必须重跑脚本再回填——这一点看起来只是纪律,实际是「自算类文章」唯一能自证的方式。

这一节想让你记住的一件事:本文能回答的是「机制上为什么这样设计」,不能回答「换个设定还灵不灵」——后者只能靠真训练。

  1. 没有扫 ε\varepsilon 与 dd 的取值空间。 本文固定 d∈{64,128}d\in\{64,128\}、\varepsilon\in\{10^{-5},10^{-6\};两者都会改变不变性误差与方差常数的量级,本文没有做参数扫描。

如果把上面八条压成一句操作建议:把本文当「读结构图时的提问清单」用,不要当「选型依据」用。 选型要靠目标任务的真实训练曲线,而那条曲线里还有很多本文没碰的变量(优化器、初始化、精度、数据)。

13. 小结:一句话版本

把整篇压缩成三句话:

  • LayerNorm 在反向上是一个按尺度自动调的衰减器,并且系统性丢掉「整体平移」和「整体缩放」两个方向的梯度(严格说 \varepsilon>0 时缩放方向还剩一个被压到 \varepsilon/\sigma^{3} 量级的弱分量)——这是它所有性质的来源。
  • Post-LN 要求 warmup,是因为初始化时靠近输出端的梯度相对更大(本文受控合成实验:同一层比较约 0.87–3.88 倍,靠输出端最大;Post-LN 沿深度基本平坦,Pre-LN 从首层到末层衰减到 0.21);Pre-LN 把归一化挪到子层前,梯度被压平,代价是残差流方差随深度累积(32 层 0.999 → 58.290)。
  • RMSNorm 省掉的是「减均值」这一个统计量,换掉的是「平移不变」这一条性质:输入整体平移 7,LayerNorm 输出只差 4.4×10−164.4\times10^{-16},RMSNorm 差 0.744,而且它的输出标准差不再是 1(该 64 维向量上实测 0.482,手算的 4 维向量上是 0.9129)。

理解了这三句,再看到「某模型用了 Pre-LN + RMSNorm」这种描述,你就能判断它在为什么买单、又在哪里付账。

补一句读法上的提醒:这三件事都可以在一句话的描述里被说得很含糊——「我们用了 Pre-LN + RMSNorm」这种写法不告诉你 final LN 在哪、也不告诉你 ε\varepsilon 取多大。所以看到这类描述时,回到结构图与配置里找具体位置,比对着名字猜要可靠。本文所有实验都用了固定的设定,换设定后的数字变化属于另一篇的工作。

读一篇用了 Pre-LN 或 RMSNorm 的论文时,有三个问题值得顺手问一句:它把归一化放在残差相加之前还是之后(决定它要不要 warmup)、用的是 LN 还是 RMSNorm(决定残差流是否保留均值偏移)、以及末尾有没有补 final LN(决定输出尺度是否被收口)。三个问题都能在结构图上看到答案,不需要读实验章节。

顺带一句:如果你只是想判断「这个实现有没有把归一化放对」,看结构图上的三处位置就够了——子层之前、残差相加之后、整摞层末尾。这三处就是本文全部讨论的物理落点,剩下的都是它们的推论。

再往下追问一层,就是本站另一条线索:数值精度。归一化的收益最终要通过低精度矩阵乘法兑现,而低精度会重新引入本文回避掉的那些误差(ε\varepsilon 的量级、离群值的动态范围、累加的顺序)。本文只把「归一化在稳什么」讲清楚,精度那一半在 FP8 分块缩放那篇里。

14. 📋 来源与核验记录

以下来源均为本文写作时实际打开核对的页面(含标题与首次提交日期):

  1. Layer Normalization,Ba、Kiros、Hinton,arXiv:1607.06450,首次提交 2016-07-21。本文第 2、3 节的 LayerNorm 定义与其对 BatchNorm 的动机说明出自该文。https://arxiv.org/abs/1607.06450
  2. On Layer Normalization in the Transformer Architecture,Xiong 等,arXiv:2002.04745,首次提交 2020-02-12。第 4 节「Post-LN 初始化时靠近输出层参数期望梯度大、warmup 因此必要;Pre-LN 初始化时梯度良性」的结论出自该文摘要与正文。https://arxiv.org/abs/2002.04745
  3. Root Mean Square Layer Normalization,Zhang、Sennrich,arXiv:1910.07467,首次提交 2019-10-16。第 7 节 RMSNorm 定义、「re-centering 不变性可省、保留 re-scaling」的假设与 7%–64% 加速数字出自该文。https://arxiv.org/abs/1910.07467
  4. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift,Ioffe、Szegedy,arXiv:1502.03167,首次提交 2015-02-11。第 8 节 BatchNorm 一列的定义与「依赖 batch」的性质出自该文。https://arxiv.org/abs/1502.03167
  5. Transformers without Normalization,Zhu 等,arXiv:2503.10622,首次提交 2025-03-13。第 10 节 DyT 的定义、动机观察与「匹配或超过有归一化版本」的结论出自该文摘要。https://arxiv.org/abs/2503.10622

本文自行推导与自算的部分(与上述论文数字分列,不要混读):

  • 第 2 节的 LN 雅可比矩阵表达式,及其「忽略 \varepsilon 时秩为 d−2、\varepsilon>0 时秩 d−1」的结论,为本文推导;
  • 第 5 节的梯度范数对照表(同层比值 0.87 / 1.63 / 2.09 / 2.75 / 3.88,末层/首层 0.93 与 0.21,输入梯度比值 0.88)来自本文实验脚本;
  • 第 6 节的方差传播表(0.999 → 58.290,逐层增量约 1.79)与协方差表(Var(F)\mathrm{Var}(F) 与 2Cov2\mathrm{Cov})来自本文实验脚本;
  • 第 7 节的不变性实测(4.44×10−164.44\times10^{-16}、1.61×10−61.61\times10^{-6}、0.744、3.13×10−83.13\times10^{-8}、输出标准差 1.000 与 0.482)来自本文实验脚本;
  • 第 10 节的拟合结果(α=0.06\alpha=0.06、k=8.40k=8.40、R2=0.988R^2=0.988)来自本文实验脚本。

实验脚本:_ops/tech-daily-plan/article-drafts/exp2-2026-11-17-layer-norm.py(纯 numpy,随机种子固定为 20261117;反向传播经中心差分核验,最大相对误差 1.33×10−101.33\times10^{-10} / 2.11×10−102.11\times10^{-10})。本文没有训练任何真实模型,也没有真机实测。

内容透明度声明:本文由 AI 辅助生成,基于公开资料整理;机制推导与数值实验为本文自行完成。