深度解读 📅 2026-11-05 ✍️ MagicNetWorld 编辑部

预条件的尽头是正交化:在最慢下降框架下,Shampoo 与 Adam 为什么都会向 Muon 靠拢

主题:苏剑林 2026-09-28 与 2026-10-15 两篇《慢即是快》博客提出「正交最慢下降」框架——不从「每步降得最快」出发,而是最小化凸优化的平均收敛上界,再限定只允许对预条件矩阵做正交变换。口径声明:文中「Shampoo 的尽头是 Muon」「Adam 的尽头还是 Muon」是博客原作者在一系列假设(O 随 t 缓变、一阶近似、给定梯度序列)下的启发性结论,不是定理;「Kronecker 积方阵情形奇异值之积恒定」是该框架内可证的部分,「对角近似情形谱趋于均衡」原作者自述仅为无法证明的猜测。核心推导:在此框架下,任何 Kronecker 积或对角形式的预条件矩阵,其特征向量基底都会被消去,更新量退化为「左右奇异基夹一个对角阵」的形式(U、V 是梯度或动量的左右奇异矩阵,D 是对角阵),预条件能改变的至多只剩奇异值谱,且谱有向均匀化靠近的倾向——这正是 Muon 的构造形态。Muon 一侧的工程证据引用 Moonshot 团队论文 arXiv:2502.16982(2025-02-24 提交):加 weight decay 与逐参数更新缩放两项技术后,Muon 在 compute-optimal 训练下相对 AdamW 有约 2 倍的匹配性能效率(口径是达到同等匹配性能所需的训练 FLOPs,不是每步速度或墙钟时间翻倍),这是论文口径、非本文实测。文中二阶矩阵算例为本文自行推导,已单独标注并说明其不可直接横向比较。

优化器MuonShampooAdam深度学习训练数学推导

预条件的尽头是正交化:在最慢下降框架下,Shampoo 与 Adam 为什么都会向 Muon 靠拢

如果你训过模型,大概率在优化器上做过这样的选择题:Adam 用熟了,听说 Muon 在矩阵参数上更快,又听说 Shampoo 系(SOAP、PSGD 等)在理论上比 Muon 更讲究。

先用一句话给直觉(先把限定说在前面):这三类优化器都在干同一件事——给梯度配一个「矫正器」(预条件矩阵)——而苏剑林的框架要论证的是,在「固定梯度与预条件、额外优化一个正交变换」这组限定假设下,矫正器的「方向信息」会被消掉,起作用的至多只剩「把奇异值谱拉平」,而拉平谱的最直接实现就是 Muon 的正交化。这是一条启发性的框架结论,不是定理——剩下的推导都是在回答:在这些假设内,它凭什么敢这么说。

它们的共同点是都想给梯度乘一个「预条件矩阵」来校正方向,区别只在这个矩阵的结构:Muon 直接对动量做正交化,Shampoo 维护两个统计矩阵做 G↦PGQG \mapsto PGQ,Adam 则退化成逐元素除以二阶矩的平方根。

苏剑林(科学空间博主)在 2026 年 9 月 28 日与 10 月 15 日先后发表的两篇博客《慢即是快:1. Shampoo 的尽头是 Muon?》与《慢即是快:2. Adam 的尽头还是 Muon?》给了一个统一视角:把这批优化器放进「最小化收敛上界」的框架里,再允许在预条件矩阵上做正交变换(矩阵参数上真正可用的是左右两侧的结构化正交变换,详见下文「Kronecker 情形」一节),那么不管预条件矩阵原来长什么样,它的特征向量基底都会被「洗掉」,最终更新量只剩梯度的奇异基夹一个对角阵——这正是 Muon 的形状。他把这个结论戏称为「Shampoo 的尽头是 Muon」「Adam 的尽头还是 Muon」。

这篇文章把这条推导链完整摊开:先讲清评价标准(平均收敛上界)从哪来,再逐步走完「正交最慢下降」的推导,最后落到工程读者关心的三个问题——昂贵的预条件到底买到了什么、Muon 为什么恰好是极限形态、这套论证哪里不严格。

术语与符号表

先把符号与维度约定一次列清,后文不再重复解释:

  • W∈Rn×mW \in \mathbb{R}^{n \times m}:被优化的权重矩阵(深度学习的权重几乎都是矩阵);
  • Gt∈Rn×mG_t \in \mathbb{R}^{n \times m}:第 tt 步损失对 WW 的梯度;
  • gt=vec(Gt)∈Rnmg_t = \mathrm{vec}(G_t) \in \mathbb{R}^{nm}:把 GtG_t 按列展平后的向量——预条件矩阵 HH 作用在这个向量上;
  • Ht∈Rnm×nmH_t \in \mathbb{R}^{nm \times nm}:度量矩阵(扮演近似 Hessian 的角色,用它定义范数),更新规则 θt+1=θt−ηtHt−1gt\theta_{t+1} = \theta_t - \eta_t H_t^{-1} g_t 里真正作用在梯度上的是预条件算子 Ht−1H_t^{-1};
  • P∈Rn×nP \in \mathbb{R}^{n \times n}、Q∈Rm×mQ \in \mathbb{R}^{m \times m}:Kronecker 型预条件的两个半正定因子,H−1=Q⊗PH^{-1} = Q \otimes P;
  • N∈R+n×mN \in \mathbb{R}_+^{n \times m}:对角型预条件(Adam/RMSProp 的二阶矩倒数),H−1=diag(vec(N))H^{-1} = \mathrm{diag}(\mathrm{vec}(N));
  • OtO_t、XX、YY:正交矩阵(O⊤O=IO^\top O = I),本文框架中唯一允许自由选择的自由度;
  • G=UΣV⊤G = U \Sigma V^\top:梯度的奇异值分解,奇异值从大到小排;σi\sigma_i 表示第 ii 个奇异值;
  • λi(⋅)\lambda_i(\cdot):特征值从大到小排的第 ii 个;λ↑\lambda^{\uparrow} 表示从小到大重排;ΛP↑\Lambda^{\uparrow}_P 即 PP 的特征值升序对角阵;
  • Φ=X∗⊤PX∗ G Y∗⊤QY∗\Phi = X_*^\top P X_*\, G\, Y_*^\top Q Y_*:经过正交最慢下降改造后的实际更新量,是全文的主角;
  • ⊙\odot:逐元素(Hadamard)乘;⊗\otimes:Kronecker 积;∥⋅∥F\lVert \cdot \rVert_F:Frobenius 范数;tr\mathrm{tr}:迹;
  • ∥g∥H2=g⊤Hg\lVert g \rVert_{H}^2 = g^\top H g:HH-加权范数(HH 是度量矩阵);上界第二项用的是 H−1H^{-1} 加权,即 ∥gt∥Ht−12=gt⊤Ht−1gt\lVert g_t\rVert_{H_t^{-1}}^2 = g_t^\top H_t^{-1} g_t(下标取 Ht−1H_t^{-1},展开式里就出现 Ht−1H_t^{-1} 一次,不是两次);
  • ΛT\Lambda_T:预条件随时间变化的「记账量」(定义见下文「上界从哪来」一节),框架里「缓变」的定量落点;
  • msign(G)=U[:,:r]V[:,:r]⊤\mathrm{msign}(G) = U_{[:,:r]} V_{[:,:r]}^{\top}:矩阵符号函数,Muon 的正交化算子(rr 为 GG 的秩);
  • RMS:root mean square,更新量逐元素平方平均再开方;Moonshot 论文用它对齐 Muon 与 AdamW 的更新尺度;
  • 「基(basis)」:矩阵的特征向量/奇异向量集合;「谱(spectrum)」:特征值/奇异值集合——本文反复用到的核心区分。

先把三个主角写清楚

在进入推导前,把文中反复出现的三个更新规则列出来。深度学习里几乎所有权重都是矩阵,所以这个设定并不特殊。

Adam / RMSProp:对角近似。 Adam 的更新可以写成

Wt+1=Wt−η (N⊙Gt)W_{t+1} = W_t - \eta\, (N \odot G_t)

其中 N∈R+n×mN \in \mathbb{R}_+^{n \times m} 是由二阶矩估计逐元素取倒数拼出来的正矩阵(Adam 里还叠加了动量,这里先看无动量骨架),⊙\odot 是逐元素乘。它的原始论文(arXiv:1412.6980,2014-12-22 提交)强调它「对梯度的对角重缩放不变」(invariant to diagonal rescaling of the gradients)——这个性质下文会再回来。两个值得记的家族细节:

  • RMSProp 与 Adam 的差别就在「滑动平均」:把 AdaGrad 的「累积二阶矩」换成「指数滑动平均」就是 RMSProp,再补上动量项就得到 Adam。这个替换让统计量可以随时间变小——正是它破坏了原始收敛理论的「单调性」前提(见「上界从哪来」一节);
  • 两个优化器都先做一阶动量平滑,但这不代表动量可以一笔抹平:Adam 与 Muon 都用一阶动量,可两者的一阶动量定义、Nesterov 变体与偏差修正细节并不相同。本文比较的是「动量之后被谁加工」这一段,不是在断言动量本身等价;严格结论只覆盖无动量骨架,套到实际实现上要打折扣。

Shampoo:Kronecker 积近似。 Shampoo 系(规模化实现工作 arXiv:2002.09018,2020-02-20 提交)用两个半正定矩阵 P∈Rn×nP \in \mathbb{R}^{n \times n}、Q∈Rm×mQ \in \mathbb{R}^{m \times m} 做预条件:

Wt+1=Wt−η PGtQW_{t+1} = W_t - \eta\, P G_t Q

写成向量形式就是 H−1=Q⊗PH^{-1} = Q \otimes P(Kronecker 积)。PP、QQ 通常取梯度外积统计的某个矩阵幂(如 (∑tGtGt⊤)\big(\sum_t G_t G_t^\top\big) 的 −1/4-1/4 次幂),代价是每步要维护并求逆两个大矩阵——这正是 SOAP(arXiv:2409.11321,2024-09-17 提交)想办法用特征基缓存降低开销的原因。

Muon:直接正交化。 Muon 对动量 MtM_t 做正交化(实践中用 Newton–Schulz 迭代近似 UV⊤U V^\top),更新量形如

Wt+1=Wt−η R(Mt),R(M)≈UV⊤(M=UΣV⊤的SVD)W_{t+1} = W_t - \eta\, R(M_t), \qquad R(M) \approx U V^\top \text{(} M = U \Sigma V^\top \text{的SVD)}

也就是说更新量的左右奇异基与动量完全一致,只有奇异值被动了手脚——正交化把所有非零奇异值拉成相等(零奇异方向仍然为零;实践中用 Newton–Schulz 迭代近似,不是精确 SVD)。顺带一个值得注意的事实:把 Muon 推向大规模训练的这篇论文的作者列表里,第二作者正是苏剑林本人(来源清单第 5 条的 arXiv 页面署名可查),所以这两篇博客并非纯旁观者的评论,而是身在其中的实践者的复盘。Moonshot 团队的工程论文(arXiv:2502.16982,2025-02-24 提交)确认了它在大规模训练里可用,并指出两项让 Muon「开箱即用」的关键技术:加 weight decay 与逐参数调整更新尺度;该论文报告在 compute-optimal 训练下 Muon 相对 AdamW 有约 2 倍计算效率,且实践中与 AdamW 搭配使用——AdamW 处理 RMSNorm、embedding 与 LM head 这些另行排除的矩阵与向量参数。

从平均收敛上界出发,经正交最慢下降、驻点条件、洗掉特征基底,到谱趋于均衡的推导路线图
图 1 正交最慢下降的完整推导路线(本文自绘)。这张图想说明的一件事:整条链的出发点不是「每步降得最多」,而是「让收敛上界里代表抖动的第二项最小」;同时它是启发性推导,依赖凸性、$$O_t$$ 缓变与一阶近似假设。

评价标准:平均收敛上界

要比较优化器,得先有一个判据。苏剑林的出发点是他在《让炼丹更科学一些(十):单调性假设的拆与补》(kexue.fm/archives/11885,2026-09-14)里推导的平均收敛结论:在凸性假设下,对更新规则

θt+1=θt−ηtHt−1gt\theta_{t+1} = \theta_t - \eta_t H_t^{-1} g_t

可以证明(原博客 Eq. 1)

∑t=1Tηt E[L(θt)−L(θ∗)]∑t=1Tηt  ≤  E ⁣[R2ΛT2∑t=1Tηt+∑t=1Tηt2 ∥gt∥Ht−122∑t=1Tηt]\frac{\sum_{t=1}^{T} \eta_t\, \mathbb{E}[L(\theta_t) - L(\theta^*)]}{\sum_{t=1}^{T} \eta_t} \;\le\; \mathbb{E}\!\left[\frac{R^2 \Lambda_T}{2 \sum_{t=1}^{T} \eta_t} + \frac{\sum_{t=1}^{T} \eta_t^2\, \lVert g_t \rVert_{H_t^{-1}}^2}{2 \sum_{t=1}^{T} \eta_t}\right]

其中 RR 是优化轨迹到最优点的最大距离(各步到最优点的距离取最大),ΛT\Lambda_T 定义为

ΛT≜λmax⁡(H1)+∑t=2T[λmax⁡(Ht−Ht−1)]+\Lambda_T \triangleq \lambda_{\max}(H_1) + \sum_{t=2}^{T} \big[\lambda_{\max}(H_t - H_{t-1})\big]_{+}

([⋅]+[\cdot]_{+} 表示取 max⁡(⋅,0)\max(\cdot, 0)——差分可能为负,负项不能计入上界。)

衡量的是 HtH_t 随时间变化的剧烈程度。左边是「平均起来离最优有多远」,右边有两项:第一项罚的是预条件随时间乱跳(它由 ΛT\Lambda_T 这个差分记账量衡量);第二项罚的是步子抖——范数 ∥gt∥Ht−12=gt⊤Ht−1gt\lVert g_t \rVert_{H_t^{-1}}^2 = g_t^\top H_t^{-1} g_t 是用 Ht−1H_t^{-1} 加权的梯度平方(按符号表的约定 ∥g∥H2=g⊤Hg\lVert g\rVert_H^2 = g^\top H g,下标取 Ht−1H_t^{-1} 时展开式里出现的是 Ht−1H_t^{-1} 一次)。注意别把两项读反:HtH_t 是度量矩阵,真正作用在梯度上的算子是 Ht−1H_t^{-1},第二项衡量的是「用这个算子加权之后,梯度还剩多大」。优化器设计的核心就是选 ηt\eta_t 和 HtH_t 让两项的加权和最小。

把上界逐项拆开读一遍,能看清它「悲观」在哪:

  • 分子 ∑tηtE[L(θt)−L(θ∗)]\sum_t \eta_t \mathbb{E}[L(\theta_t) - L(\theta^*)]:全程「还差多远」的时间加权平均——它越小,训练越接近收敛;
  • 第一项里的 ΛT\Lambda_T:它是 λmax⁡(H1)\lambda_{\max}(H_1) 加上每一步差分的正部 [λmax⁡(Ht−Ht−1)]+\big[\lambda_{\max}(H_t - H_{t-1})\big]_{+} 的逐项累加,所以 HtH_t 激烈跳变会直接抬高上界——上界偏好「随时间稳」的预条件;
  • 第二项里的 ηt2\eta_t^2:学习率放大的是抖动而非下降(ηt\eta_t 在分母里只出现一次),这就是为什么大学习率必须配「压抖动」的机制;
  • 期望 E[⋅]\mathbb{E}[\cdot]:对随机梯度取期望,第二项里实际还藏着噪声方差——预条件越小、噪声被放得越大。

这个「最小化收敛上界」的思路有先例:苏剑林在《让炼丹更科学一些(九):经典自适应梯度算法》(kexue.fm/archives/11882,2026-09-05)里用 Ht⪰Ht−1H_t \succeq H_{t-1}、ηt\eta_t 为常数的假设把 ΛT\Lambda_T 换成上界 tr(HT)\mathrm{tr}(H_T),最小化后得到 H∗=(∑tgtgt⊤)1/2H^* = \big(\sum_t g_t g_t^\top\big)^{1/2}——这正是 AdaGrad(逐元素累加梯度平方、再按其平方根缩放更新的自适应方法)的二阶矩形式。也就是说,AdaGrad 可以被看作这个框架的一个解。现在的问题是:Muon 和 Shampoo 是不是也是?

上界从哪来:拆掉「单调性」这个脚手架

读到这里你可能会问:这个上界凭什么成立?它其实是一条三步链(《让炼丹更科学一些(十)》,kexue.fm/archives/11885):

第一步,累计不等式(这一步用到了单调性假设 Ht⪰Ht−1H_t \succeq H_{t-1})。 对更新 θt+1=θt−ηtHt−1gt\theta_{t+1} = \theta_t - \eta_t H_t^{-1} g_t,先证一个不涉及任何损失函数的、对 tt 求和之后的向量不等式(对任意向量 φ\varphi 成立):

2∑t=1Tηt gt⋅(θt−φ)  ≤  R2 tr(HT)+∑t=1Tηt2∥gt∥Ht−122 \sum_{t=1}^{T} \eta_t\, g_t \cdot (\theta_t - \varphi) \;\le\; R^2\, \mathrm{tr}(H_T) + \sum_{t=1}^{T} \eta_t^2 \lVert g_t \rVert_{H_t^{-1}}^2

它的证明思路与经典 SGD 的收敛证明同源:把 ∥θt+1−φ∥2\lVert \theta_{t+1} - \varphi \rVert^2 展开成「距离平方的递推」,交叉项恰好是 gt⋅(θt−φ)g_t \cdot (\theta_t - \varphi),再对 tt 求和 telescoping。具体递推是(按 HtH_t-加权范数展开,代数可直接验证):

∥θt+1−φ∥Ht2  =  ∥θt−φ∥Ht2  −  2ηt gt⋅(θt−φ)  +  ηt2∥gt∥Ht−12\lVert \theta_{t+1} - \varphi \rVert_{H_t}^2 \;=\; \lVert \theta_t - \varphi \rVert_{H_t}^2 \;-\; 2\eta_t\, g_t \cdot (\theta_t - \varphi) \;+\; \eta_t^2 \lVert g_t \rVert_{H_t^{-1}}^2

把中间项解出来(它就是「这一步沿负梯度方向赚到的下降」)、对 tt 求和,左边 telescoping 成「首项 − 末项」,于是「全程赚到的下降总量」被「R2R^2 乘范数变化」加上「全程抖动总量」控制住——这就是上界的全部骨架。RR 的角色是「优化轨迹到参照点的最大距离」,实用理解是假设训练始终在一个直径不超过 RR 的超球内(必要时靠投影保证)。

第二步,凸性把它接到损失上。 取 φ=θ∗\varphi = \theta^*,凸性给出 gt⋅(θt−θ∗)≥L(θt)−L(θ∗)g_t \cdot (\theta_t - \theta^*) \ge L(\theta_t) - L(\theta^*),于是上界从「向量的账」变成「损失的账」。

第三步,取期望与时间平均。 两端取期望、再除以 2∑tηt2\sum_t \eta_t,得到加权平均版(ηt\eta_t 动态时也成立,只要 ηt\eta_t 与已见数据无关)。

关键在「拆与补」的故事:最早版本的上界用的是 tr(HT)\mathrm{tr}(H_T),但它的成立依赖单调性假设 Ht⪰Ht−1H_t \succeq H_{t-1}(半正定序下单调不减)。AdaGrad 的累积二阶矩天然满足单调性,但 RMSProp、Adam 用的是滑动平均——统计量可以变小,单调性破了,旧结论对它们不成立。修补有两条路:

路线一,改优化器(「补」)。 构造单调化的新序列 H^1=H1\hat{H}_1 = H_1、H^t=H^t−1+[Ht−H^t−1]+\hat{H}_t = \hat{H}_{t-1} + [H_t - \hat{H}_{t-1}]_{+}(把差分矩阵的特征值逐个取 max⁡(⋅,0)\max(\cdot, 0)),并可以证明这个构造在迹度量下是与原序列最接近的单调序列。有趣的是:把它套在 Adam 的对角二阶矩上,得到的恰好是经典的 AMSGrad——理论上收敛性质更好、多一组状态变量、实践中并未成为主流,这条路线由此见顶。

路线二,改结论(「拆」)。 回到证明里找出单调性到底用在哪——答案是距离平方递推中的一次放缩 Ht−Ht−1⪯tr(Ht−Ht−1)IH_t - H_{t-1} \preceq \mathrm{tr}(H_t - H_{t-1}) I(依赖半正定性)。把它换成不需要半正定性的更紧放缩:

∥θt−φ∥Ht−Ht−12  ≤  ∥θt−φ∥2 [λmax⁡(Ht−Ht−1)]+  ≤  R2[λmax⁡(Ht−Ht−1)]+\lVert \theta_t - \varphi \rVert_{H_t - H_{t-1}}^2 \;\le\; \lVert \theta_t - \varphi \rVert^2\, \big[\lambda_{\max}(H_t - H_{t-1})\big]_{+} \;\le\; R^2 \big[\lambda_{\max}(H_t - H_{t-1})\big]_{+}

代价是 λmax⁡\lambda_{\max} 不是线性函数、求和不能再 telescoping 成干净的 tr(HT)\mathrm{tr}(H_T),只能逐项记账:

ΛT≜λmax⁡(H1)+∑t=2T[λmax⁡(Ht−Ht−1)]+\Lambda_T \triangleq \lambda_{\max}(H_1) + \sum_{t=2}^{T} \big[\lambda_{\max}(H_t - H_{t-1})\big]_{+}

这正是我们在上文那个平均收敛上界里看到的 ΛT\Lambda_T。它有两个好性质:恒非负(上界不退化);单调性成立时 ΛT≤tr(HT)\Lambda_T \le \mathrm{tr}(H_T),即新结论严格涵盖旧结论。换句话说,「正交最慢下降」框架所依赖的上界,本身就是为了让 Adam 这类非单调预条件能进分析框架而专门修过的版本——框架不是先有 Muon 结论再找理由,而是先修理论漏洞、再把修好的理论用到矩阵优化上。

顺带一个该系列的副产品(同篇):若把 ∥gt∥Ht−12\lVert g_t \rVert_{H_t^{-1}}^2 视为常数,上界右端的最小值在权重 wtw_t 为常数时取到,对应学习率线性衰减——这是「线性衰减 LR schedule 对自适应优化器通用」的一个理论解释。

同篇还有一个对实践更有用的「终点收敛」版本:平均收敛回答的是「一路上平均离最优多远」,但做实验的人关心的是「最后那个点」。苏剑林用一组构造性的权重 wtw_t 把终点收敛化归为平均收敛,得到的结论结构相同,只是把 ηt\eta_t 换成 wtw_t(矩阵版学习率 θt+1=θt−wt wt+1:Tw1:T Ht−1gt\theta_{t+1} = \theta_t - \frac{w_t\, w_{t+1:T}}{w_{1:T}}\, H_t^{-1} g_t)。两个版本合起来读,ΛT\Lambda_T 那个记账量在平均/终点两种口径下都以同一个面目出现——它就是「预条件随时间变化有多野」的通用罚项,也是后文所有「缓变假设」的定量落点。

从上界到「正交最慢下降」

关键一步是苏剑林构造的变换:假设已经有了一个现成的预条件矩阵 HtH_t,我们不直接用它,而是对它做正交变换 Ht↦Ot⊤HtOtH_t \mapsto O_t^\top H_t O_t(OtO_t 正交),更新规则变成

θt+1=θt−ηt(Ot⊤HtOt)−1gt\theta_{t+1} = \theta_t - \eta_t (O_t^\top H_t O_t)^{-1} g_t

这一步的妙处在于它没有引入任何新东西——HtH_t 该是多少还是多少(Adam 继续维护它的二阶矩、Shampoo 继续维护它的统计矩阵),新增的自由度只有「用哪一组正交基来看它」。整套推导只回答:这组正交基怎么选最优。往下分三步走:

  • 第一步(保第一项):证明正交变换基本不动上界的第一项,于是第一项不再约束 OtO_t;
  • 第二步(化简第二项):把剩下的第二项化成逐点的最小化问题,得到「最慢下降」目标;
  • 第三步(求最优解):解这个目标,看最优更新量长什么样——结论是预条件的特征基被洗掉、只剩谱修正。

怎么选 OtO_t?用上界说话。注意两个事实:

第一,正交变换不改变特征值,所以 λmax⁡(O1⊤H1O1)=λmax⁡(H1)\lambda_{\max}(O_1^\top H_1 O_1) = \lambda_{\max}(H_1)。

第二,若 OtO_t 随 tt 缓变,则

λmax⁡(Ot⊤HtOt−Ot−1⊤Ht−1Ot−1)≈λmax⁡(Ht−Ht−1)\lambda_{\max}(O_t^\top H_t O_t - O_{t-1}^\top H_{t-1} O_{t-1}) \approx \lambda_{\max}(H_t - H_{t-1})

于是 ΛT\Lambda_T 在这个替换下近似不变,上界的第一项与 OtO_t 无关。要优化 OtO_t,只剩第二项:

min⁡Ot∥gt∥(Ot⊤HtOt)−12⟺min⁡Ot⟨gt, (Ot⊤HtOt)−1gt⟩s.t.Ot⊤Ot=I\min_{O_t} \lVert g_t \rVert_{(O_t^\top H_t O_t)^{-1}}^2 \quad\Longleftrightarrow\quad \min_{O_t} \langle g_t,\, (O_t^\top H_t O_t)^{-1} g_t \rangle \quad \text{s.t.} \quad O_t^\top O_t = I

注意到 φt=(Ot⊤HtOt)−1gt\varphi_t = (O_t^\top H_t O_t)^{-1} g_t 正是更新方向,而一阶近似下 L(θ−ηφ)≈L(θ)−η⟨g,φ⟩L(\theta - \eta \varphi) \approx L(\theta) - \eta \langle g, \varphi \rangle,所以这个目标等价于最小化每一步的一阶损失下降量——字面意义上的「最慢下降」。

这里值得停下来。大多数优化器教程从「最速下降」(steepest descent)出发:每步在某个约束下让一阶下降量最大。苏剑林把它反过来,是在这两个前提下才成立的:优化空间被限定在正交变换上(于是第一项近似不变,只剩第二项可压);判据是收敛上界(悲观、最坏情形导向),而不是每步贪心。他自己在博客里点明:最速下降是乐观的一阶贪心解,最小化上界是悲观的全局解,「最慢下降」是正交空间下的特例,不是普适原理。它的实用动机是:在保证下降的前提下让轨迹更平稳,从而能承受更大的学习率;在随机优化里,这一项还与梯度噪声的方差相关,压它往往也就压住了噪声。

把「噪声」这一点再摊开一点。随机优化里把梯度分解为「真值 + 噪声」,即 gt=gˉt+ξtg_t = \bar{g}_t + \xi_t(E[ξt]=0\mathbb{E}[\xi_t] = 0),代入上界第二项会出现一个方差项:

E[∥gt∥Ht−12]=∥gˉt∥Ht−12+E[∥ξt∥Ht−12]\mathbb{E}\big[\lVert g_t \rVert_{H_t^{-1}}^2\big] = \lVert \bar{g}_t \rVert_{H_t^{-1}}^2 + \mathbb{E}\big[\lVert \xi_t \rVert_{H_t^{-1}}^2\big]

噪声贡献按同一套加权范数算。这一段只在一个简化模型下成立:要求 HtH_t 是固定的,或与噪声条件独立;否则真值项与噪声项会通过加权交叉项纠缠在一起,不能读成两个各自可拧的旋钮。在这个简化模型下可以说:方向管「真值那一项」能降多少,而 HH 决定噪声被加权放大多少。正交最慢下降对第二项的压制,在随机场景里表现为压噪声方差——这也与 Muon 实践中「可以承受更大学习率」的体感对得上。

对照视角:Muon 自己的推导是「最速下降」

有趣的是,Muon 本尊在苏剑林自己更早的《流形上的最速下降:2. Muon + 正交》(kexue.fm/archives/11215,2025-08-06)里,是从完全相反的哲学推出来的——最速下降,也就是每步贪心地让一阶下降量最大。两边摆在一起看,「殊途同归」才有分量。

那条推导的出发点是「最小作用量」式的约束观:不同优化器的区别只在于给更新量施加了什么约束。设更新 Wt+1=Wt−ηΦW_{t+1} = W_t - \eta \Phi,一阶近似下每步的问题是

max⁡Φ tr(G⊤Φ)s.t.∥Φ∥=1\max_{\Phi}\, \mathrm{tr}(G^\top \Phi) \quad \text{s.t.} \quad \lVert \Phi \rVert = 1

  • 约束取 Frobenius 范数(把矩阵当向量):解是 Φ∝G\Phi \propto G——这就是 SGD;
  • 约束取谱范数(矩阵的最大奇异值,衡量「线性层最多放大多少倍」):设 G=∑i=1rσiuivi⊤G = \sum_{i=1}^{r} \sigma_i u_i v_i^\top(SVD,rr 为秩),则

tr(G⊤Φ)=∑i=1rσi ui⊤Φvi  ≤  ∑i=1rσi=∥G∥∗\mathrm{tr}(G^\top \Phi) = \sum_{i=1}^{r} \sigma_i\, u_i^\top \Phi v_i \;\le\; \sum_{i=1}^{r} \sigma_i = \lVert G \rVert_{*}

因为谱范数约束 ∥Φ∥2=1\lVert \Phi \rVert_2 = 1 保证 ∥Φvi∥≤1\lVert \Phi v_i \rVert \le 1,于是每一项 ui⊤Φvi≤1u_i^\top \Phi v_i \le 1;上界是梯度的核范数(奇异值之和),等号在

Φ=∑i=1ruivi⊤=U[:,:r]V[:,:r]⊤=msign(G)\Phi = \sum_{i=1}^{r} u_i v_i^\top = U_{[:,:r]} V_{[:,:r]}^{\top} = \mathrm{msign}(G)

时取到——这就是 Muon 的正交化算子(r<mr < m 时解不唯一,上式是最简解)。选谱范数而不是 Frobenius 的理由(同文):谱范数是「揭示线性层变化的最紧凑的范数」,更适合当矩阵更新「稳不稳」的度量。

把两条推导并排看,能得到本文认为最有价值的一个观察:

  • 最速下降路线(乐观、每步贪心):约束是谱范数(稳定性),答案是「用 GG 的奇异基 + 把所有非零奇异值拉平到 1」(零奇异方向仍为零,不是「全部变成 1」);
  • 正交最慢下降路线(悲观、压收敛上界):在给定的预条件结构上再取一个结构化正交变换,答案的中点「以奇异值均匀化为准」。

两条哲学相反的路线在同一个点上会师——UDV⊤U D V^\top、谱趋均匀。这不是巧合的装饰性结论:它说明 Muon 的形态同时满足「每一步最稳」与「全程上界最省」两种截然不同的判据。也正是这个双重身份,让「Shampoo/Adam 的尽头是 Muon」这类启发性论断比一般的博客直觉更值得认真读一遍:它至少在一个可推导的框架里,把「为什么偏偏是正交化」这个工程实践问题回答成了一道矩阵分析的练习题。

一个绕不开的问题:为什么自由度只给正交变换

上面这套推导有一个容易被跳过的前提,值得单独拿出来问一句:如果允许预条件矩阵做任意变换,结论会变成什么样?

答案是会变成废话。不加任何限制时,你可以直接把预条件取成 Σ−1\Sigma^{-1},让更新量一步到位地落在最优方向上——这当然更好,但也就什么都没说。「Shampoo 的尽头是 Muon」这种论断之所以还有内容,恰恰是因为它被限制在一个很窄的可行域里:只能取原预条件矩阵在正交群下的等变像 O⊤HOO^\top H O,OO 正交。

这个限制的含义是:HH 的奇异值被完整保留(正交相似变换不改谱),能自由动的只有它的方向。这个「谱是硬约束、基是唯一自由度」的设定,正是整套推导能给出非平凡结论的原因。如果放开到任意变换,最优解是平凡的;限制到正交变换,最优解才是「基被洗掉、谱被重排」这样有内容的结构。

反过来看,框架里那句「第一项基本不随 OtO_t 变」,其实正是这个限制的代价与红利所在:正因为只允许正交变换,ΛT\Lambda_T 里的差分项才近似不动,优化目标才干净地简化成只压第二项。用「第一项不变」换「第二项可单独优化」,这就是整个框架的设计取舍。

为什么标题叫「慢即是快」

读到这里可以回收系列标题了。「慢即是快」不是修辞:它精确描述了这个框架对「快」的重新定义。

  • 常规意义的快 = 每一步一阶下降量最大(最速下降)。它是贪心的:只看眼前一步,隐含假设「每步局部最优 ⇒ 全局更优」——这个假设在陡峭病态的损失面上经常翻车,表现为抖动、震荡、必须配小学习率;
  • 框架意义的快 = 收敛上界里的两项之和最小。第一步可以故意「慢」(一阶下降量小),换来的是第二项(抖动)被压小,从而能用更大的 ηt\eta_t、更少的震荡走完同样的距离——上界不关心你每步赚多少,只关心「时间加权平均离最优多远」。

所以「最慢下降」的目标函数看着自虐,实际买的是稳定性:上界第二项同时编码了「步子方差」与「梯度噪声」,把它压小,通常也就把噪声对轨迹的扰动压小。在随机非凸的真实训练里,「稳」几乎总是「能开大学习率」的前提,而学习率才是深度学习里最值钱的旋钮——这大概也是「慢即是快」这个标题想让人记住的那件事。

工具箱:排序不等式与它的矩阵化身

在进入矩阵推导之前,把贯穿全文的两个不等式工具一次备齐(出处:《排序不等式及其推广》,kexue.fm/archives/11910,2026-09-21)。

标量版:排序不等式。 设两个从大到小排好的数列 a1≥a2≥⋯≥ana_1 \ge a_2 \ge \cdots \ge a_n 与 b1≥b2≥⋯≥bnb_1 \ge b_2 \ge \cdots \ge b_n,τ\tau 是任意排列,则

∑i=1nai bn+1−i  ≤  ∑i=1nai bτ(i)  ≤  ∑i=1nai bi\sum_{i=1}^{n} a_i\, b_{n+1-i} \;\le\; \sum_{i=1}^{n} a_i\, b_{\tau(i)} \;\le\; \sum_{i=1}^{n} a_i\, b_i

一句话:倒序积 ≤ 乱序积 ≤ 同序积。证明是「局部调整法」:对任意 ai≥aja_i \ge a_j、bi≥bjb_i \ge b_j 有 (aibi+ajbj)−(aibj+ajbi)=(ai−aj)(bi−bj)≥0(a_i b_i + a_j b_j) - (a_i b_j + a_j b_i) = (a_i - a_j)(b_i - b_j) \ge 0——只要有一对「不同序」,交换成「同序」不会让内积变小,所以最大值必然在完全同序时取到;把 bb 换成 −b-b 重复论证即得最小值端。

矩阵版:冯·诺伊曼迹不等式。 设 A,BA, B 是 n×nn \times n 实对称矩阵,则

∑i=1nλi(A) λn+1−i(B)  ≤  tr(AB)  ≤  ∑i=1nλi(A) λi(B)\sum_{i=1}^{n} \lambda_i(A)\, \lambda_{n+1-i}(B) \;\le\; \mathrm{tr}(AB) \;\le\; \sum_{i=1}^{n} \lambda_i(A)\, \lambda_i(B)

A,BA, B 取对角阵时退化为标量版,所以它就是排序不等式的矩阵化身。对一般 n×mn \times m 矩阵,相应形式是 ∣tr(A⊤B)∣≤∑iσi(A)σi(B)|\mathrm{tr}(A^\top B)| \le \sum_i \sigma_i(A) \sigma_i(B)(奇异值同序配对最大)。文中推导 Kronecker 特例时,解 min⁡Xtr(GG⊤X⊤PX)\min_X \mathrm{tr}(GG^\top X^\top P X) 用的正是「最小值 = 倒序积」这一端。

再送一个后文会反复用到的视角:迹不等式本身就是正交优化问题。苏剑林在证明它时先注意到

min⁡O tr(A O⊤BO)  ≤  tr(AB)  ≤  max⁡O tr(A O⊤BO)\min_{O}\, \mathrm{tr}(A\, O^\top B O) \;\le\; \mathrm{tr}(AB) \;\le\; \max_{O}\, \mathrm{tr}(A\, O^\top B O)

然后证明两个极值点都发生在「O⊤BOO^\top B O 与 AA 可交换」处。手法是微扰:对最优的 O∗O_*,用反对称阵 SS 生成正交扰动 O∗→O∗etSO_* \to O_* e^{tS}(矩阵指数保证正交性),在 t=0t=0 处导数必须为零,化简后得到对易子条件

[A,  O∗⊤BO∗]=A(O∗⊤BO∗)−(O∗⊤BO∗)A=0\big[A,\; O_*^\top B O_*\big] = A (O_*^\top B O_*) - (O_*^\top B O_*) A = 0

若 AA 是对角阵且对角元两两不同,能与之交换的只有对角阵,于是 O∗⊤BO∗O_*^\top B O_* 必然是 BB 的对角化——问题瞬间退化成两组特征值的配对问题,排序不等式直接收尾。这套「正交微扰 → 对称/对易条件 → 退化成配对问题」的三段式,正是后文「驻点条件」一节的方法论原型:Kronecker 一般情形的推导只是把 A,BA, B 换成了 A,BA, B 依赖 X,YX, Y 的复杂版本,套路一模一样。

多序列推广:为什么「均衡」不是巧合。 三个非负降序序列 a,b,ca, b, c 的最大值侧仍可推广(同序最大),但最小值侧没有干净的「倒序」定义——苏剑林给出的信号来自 AM-GM:

∑i=1naibτ(i)cπ(i)  ≥  n(∏i=1naibτ(i)cπ(i))1/n=n(∏i=1naibici)1/n\sum_{i=1}^{n} a_i b_{\tau(i)} c_{\pi(i)} \;\ge\; n \left(\prod_{i=1}^{n} a_i b_{\tau(i)} c_{\pi(i)}\right)^{1/n} = n \left(\prod_{i=1}^{n} a_i b_i c_i\right)^{1/n}

等号当且仅当全体乘积相等——多序列的最小值配对会「尽量让所有乘积均衡」,而这个均衡化配对问题本质上是三维轴向指派问题,已知是 NP-Hard 的。记住这个「均衡化」信号:下文推导谱往哪边走时,它就是「DD 趋向把奇异值拉平」这一直觉的严格来源。

Kronecker 情形:特征基底被洗掉的第一个证据

回到矩阵参数。Kronecker 形式的预条件写成更新量就是 W−η PGQW - \eta\, P G Q。施加正交最慢下降,即在 X⊤X=InX^\top X = I_n、Y⊤Y=ImY^\top Y = I_m 约束下选正交阵 X,YX, Y,最小化(原博客 Eq. 8)。这里要先交代「结构化正交变换」这个说法:前面说的 OtO_t 是 nmnm 维空间里的任意正交阵,理论上可以是任意旋转;但落到矩阵参数上真正可用的只有结构化正交变换——左右两侧各一个正交阵(Kronecker 情形),或它们的 Kronecker 形式 O=Y⊗XO = Y \otimes X(对角情形)。后文所有结论都是在「结构化正交变换」这个可行域上取得的,不是在任意正交变换的全集上。

min⁡X,Y  tr(G⊤X⊤PX G Y⊤QY)\min_{X, Y}\; \mathrm{tr}\big(G^\top X^\top P X\, G\, Y^\top Q Y\big)

先解 Q=ImQ = I_m 的特例。利用迹的轮换性,目标化为 tr(GG⊤X⊤PX)\mathrm{tr}(GG^\top X^\top P X),这正是冯·诺伊曼迹不等式的标准形式。苏剑林在《排序不等式及其推广》(kexue.fm/archives/11910,2026-09-21)里给出的对称阵版本是:

∑i=1nλi(A) λn+1−i(B)  ≤  tr(AB)  ≤  ∑i=1nλi(A) λi(B)\sum_{i=1}^{n} \lambda_i(A)\, \lambda_{n+1-i}(B) \;\le\; \mathrm{tr}(AB) \;\le\; \sum_{i=1}^{n} \lambda_i(A)\, \lambda_i(B)

「同序积最大、倒序积最小」的矩阵版。取最小值端的配置:设 GG 的完全 SVD 为 G=UΣV⊤G = U \Sigma V^\top(奇异值从大到小),则 GG⊤=UΣΣ⊤U⊤GG^\top = U \Sigma \Sigma^\top U^\top,最优解满足

X∗⊤PX∗=UΛP↑U⊤X_*^\top P X_* = U \Lambda_P^{\uparrow} U^\top

其中 ΛP↑\Lambda_P^{\uparrow} 是 PP 的特征值从小到大排成的对角阵。代回去,最优更新量为(原博客 Eq. 11)

X∗⊤PX∗G=U(ΛP↑Σ)V⊤X_*^\top P X_* G = U (\Lambda_P^{\uparrow} \Sigma) V^\top

这个结果值得盯着看几秒:不管 PP 原来的特征向量是什么,经过正交最慢下降之后它全部消失,只剩下 PP 的特征值与 GG 的奇异值以「大配小」的倒序相乘。而倒序配对的作用是把乘积序列 λP,i↑σi\lambda_{P,i}^{\uparrow} \sigma_i 拉得比原来更均匀(大奇异值被配小特征值)。「调谱不调基」,已经是半个 Muon 了。

为什么「倒序配对 = 更均匀」?拿本文后文那个 σ=(4,1)\sigma = (4, 1) 的算例反过来读就能看见:设 PP 的特征值为 (1,4)(1, 4)(升序 λ↑=(1,4)\lambda^{\uparrow} = (1, 4)),倒序相乘得 (4×1,  1×4)=(4,4)(4 \times 1,\; 1 \times 4) = (4, 4)——乘积序列完全拉平;而同序相乘得 (4×4,  1×1)=(16,1)(4 \times 4,\; 1 \times 1) = (16, 1)——原有的悬殊被进一步放大。倒序配对天然做的是「削峰填谷」,这正是正交化(把奇异值全拉成 1)在「只允许微调谱」约束下的最接近替代品。

一般情形:驻点条件与对称性论证

Q≠ImQ \neq I_m 时闭式解没了,但结论不变。记 A=G⊤X⊤PXGA = G^\top X^\top P X G、B=GY⊤QYG⊤B = G Y^\top Q Y G^\top,由迹轮换性分别固定 XX、YY 求驻点,得到两组条件(原博客 Eq. 13)

X∗⊤PX∗=UBΛP↑UB⊤,Y∗⊤QY∗=UAΛQ↑UA⊤X_*^\top P X_* = U_B \Lambda_P^{\uparrow} U_B^\top, \qquad Y_*^\top Q Y_* = U_A \Lambda_Q^{\uparrow} U_A^\top

其中 UAΛA↓UA⊤U_A \Lambda_A^{\downarrow} U_A^\top、UBΛB↓UB⊤U_B \Lambda_B^{\downarrow} U_B^\top 分别是 AA、BB 的特征值分解。关心的更新量记为 Φ=X∗⊤PX∗ G Y∗⊤QY∗\Phi = X_*^\top P X_*\, G\, Y_*^\top Q Y_*。直接计算可得

G⊤Φ=UA(ΛA↓ΛQ↑)UA⊤,ΦG⊤=UB(ΛB↓ΛP↑)UB⊤G^\top \Phi = U_A (\Lambda_A^{\downarrow} \Lambda_Q^{\uparrow}) U_A^\top, \qquad \Phi G^\top = U_B (\Lambda_B^{\downarrow} \Lambda_P^{\uparrow}) U_B^\top

两个都是对称矩阵。这个对称性为什么强?做一个分解验证。而任何 Φ\Phi 都可以唯一写成 Φ=UMV⊤\Phi = U M V^\top(M=U⊤ΦVM = U^\top \Phi V,UU、VV 是 GG 的左右奇异阵),代入 G⊤ΦG^\top \Phi 与 ΦG⊤\Phi G^\top:

G⊤Φ=V(Σ⊤M)V⊤,ΦG⊤=U(MΣ⊤)U⊤G^\top \Phi = V (\Sigma^\top M) V^\top, \qquad \Phi G^\top = U (M \Sigma^\top) U^\top

「这两个乘积对称」分别等价于 Σ⊤M\Sigma^\top M 与 MΣ⊤M \Sigma^\top 对称。写成分量形式:

σiMi,j=σjMj,i,σjMi,j=σiMj,i\sigma_i M_{i,j} = \sigma_j M_{j,i}, \qquad \sigma_j M_{i,j} = \sigma_i M_{j,i}

把两组等式交叉相乘,立即得到

(σi2−σj2) Mi,j=0(\sigma_i^2 - \sigma_j^2)\, M_{i,j} = 0

若 GG 的奇异值两两不等,则 i≠ji \neq j 时 Mi,j=0M_{i,j} = 0,即 MM 是对角阵 DD。若奇异值有重合,苏剑林的做法是把这种情形理解为满足条件的矩阵序列的极限,结论以极限意义保持。一般情形下,预条件的特征矩阵依然被消去:更新量只剩 UDV⊤U D V^\top 这个 Muon 形状。

顺带补上原文把 DD「夹出来」的后半段(原博客 Eq. 17–18 的转述):既然 Φ=UDV⊤\Phi = U D V^\top,代回驻点条件并与 G⊤ΦG^\top \Phi、ΦG⊤\Phi G^\top 的表达式对照,原博客由特征值分解的唯一性推出 UAU_A、UBU_B 与 VV、UU 至多差一个置换矩阵——注意原博客在这一步自己加了限定:特征值分解的唯一性依赖特征值两两不等,否则可以构造出反例,原作者称此步为启发式推导、不抠细节。本文沿用同一限定(另见「这套论证哪里不严格」一节):

UA=VΠQ,UB=UΠPU_A = V \Pi_Q, \qquad U_B = U \Pi_P

把这两个置换代回 Φ=(UBΛP↑UB⊤)G(UAΛQ↑UA⊤)\Phi = (U_B \Lambda_P^{\uparrow} U_B^\top) G (U_A \Lambda_Q^{\uparrow} U_A^\top),整串收缩成

Φ=U((ΠPΛP↑ΠP⊤) Σ (ΠQΛQ↑ΠQ⊤))V⊤\Phi = U \big((\Pi_P \Lambda_P^{\uparrow} \Pi_P^\top)\, \Sigma\, (\Pi_Q \Lambda_Q^{\uparrow} \Pi_Q^\top)\big) V^\top

括号里全部是对角阵:Φ\Phi 的谱是「GG 的奇异谱 × 两个置换后的特征值谱」的逐元素乘积。于是「怎么排 PP、QQ 的特征值与 GG 的奇异值的配对,能让乘积和最小」——这正是排序不等式的三序列推广(见工具箱一节),最小值配对趋向「全体乘积相等」,理想点对应 D∝Σ−1D \propto \Sigma^{-1}。这一段是 Kronecker 情形「趋于均衡」论证的完整闭环。

值得强调的是这一步的「跨结构稳定性」:从 Q=ImQ = I_m 的特例到一般情形,论证从「迹不等式直接给出闭式解」换成了「驻点条件 + 对称性消元」,但结论一字不变——不管 PP、QQ 的特征向量多聪明,正交最慢下降都会把它们转回 GG 自己的奇异基上。这也是为什么这个框架能同时覆盖 Shampoo(PP、QQ 都非平凡)与只动一边的变体。

Kronecker 积预条件(Shampoo/SOAP)与对角近似预条件(Adam/RMSProp)在正交最慢下降下都归到 UDV^T 形态,Muon 作为旁路对照
图 2 两类预条件结构在正交最慢下降下的归宿,与 Muon 的旁路对照(本文自绘)。这张图想说明的一件事:起点结构不同,极限形态相同——预条件的「基」被洗掉,只剩对奇异值谱的修正;Muon 本身就是这个形态,所以它是旁路对照而不是被改造的输入。

谱往哪边走:均衡化的排序不等式论证

「洗掉基底」是第一重「尽头是 Muon」;第二重是 DD 的对角元会不会趋于均衡。这里没有闭式解,只有定性论证。用迹轮换性把 tr(G⊤Φ)=tr(Σ⊤D)=∑iσidi\mathrm{tr}(G^\top \Phi) = \mathrm{tr}(\Sigma^\top D) = \sum_i \sigma_i d_i 拿 AM-GM 不等式压(AM-GM 指算术-几何平均不等式;原博客 Eq. 11,第二篇):

∑i=1mσidi  ≥  m(∏i=1mσidi)1/m\sum_{i=1}^{m} \sigma_i d_i \;\ge\; m \left( \prod_{i=1}^{m} \sigma_i d_i \right)^{1/m}

等号成立当且仅当全体乘积 σidi\sigma_i d_i 相等,也就是 di∝σi−1d_i \propto \sigma_i^{-1}(逐分量取逆、形状不变)。这里要把两个量分开命名:更新奇异值是 did_i(更新量 UDV⊤U D V^\top 的对角元),目标乘积是 σidi\sigma_i d_i(迹里逐项出现的那个乘积)——AM-GM 约束的是目标乘积全体相等,不等于 did_i 本身相等,这是最容易读错的一处。在「Φ\Phi 的奇异值之积固定」的前提下,理想最小值在 D∝Σ−1D \propto \Sigma^{-1} 处取到。而最理想端 Σ−1\Sigma^{-1} 与最糟糕端 Σ\Sigma(原样放行)在 DD 空间里逐分量相乘再开方,恰好得到 D=ID = I(全 1 谱)——这是「几何平均」的正确落点:它说的是两个矩阵的几何平均,而不是两个迹数值的几何平均。D=ID = I 意味着更新量就是 UV⊤U V^\top,即 Muon 的精确形态。所以第二重「尽头」是:即使取不到理想配对,几何平均意义下的中点也指向奇异值均匀化。

这一段论证的读法,拆开是三句话:

  • 可控的是「配对顺序」而不是「任意谱」:我们只能在正交变换里选 X,YX, Y,所以 DD 的自由度是「怎么把 PP、QQ 的特征值与 GG 的奇异值配对」,而不是想改多少改多少;
  • AM-GM 告诉我们「均衡配对」是下界方向:目标乘积 σidi\sigma_i d_i 全体相等时取到下界,而「乘积全体相等」正是均衡化的数学表述——方向有了;
  • 「几何平均」补上了中点:理想端 Σ−1\Sigma^{-1} 与最坏端 Σ\Sigma 在 DD 空间(逐分量相乘再开方)的几何平均是单位阵,所以几何平均意义下的中点恰好落在 Muon 上。

本文自算的二阶算例(非任何来源转述,算式与数字均为本文推导):取 n=m=2n = m = 2、Σ=diag(4,1)\Sigma = \mathrm{diag}(4, 1),考察三种谱形状下的一阶下降量绝对值 tr(Σ⊤D)\mathrm{tr}(\Sigma^\top D)。三行数字全部按 tr(Σ⊤D)=σ1d1+σ2d2\mathrm{tr}(\Sigma^\top D) = \sigma_1 d_1 + \sigma_2 d_2 逐项代入:

  • 谱原样保留 D=Σ=diag(4,1)D = \Sigma = \mathrm{diag}(4, 1):4×4+1×1=174 \times 4 + 1 \times 1 = 17;
  • 均匀(Muon 形态)D=I=diag(1,1)D = I = \mathrm{diag}(1, 1):4×1+1×1=54 \times 1 + 1 \times 1 = 5;
  • 谱逐分量取逆 D∝Σ−1=diag(0.25,1)D \propto \Sigma^{-1} = \mathrm{diag}(0.25, 1):4×0.25+1×1=24 \times 0.25 + 1 \times 1 = 2。

这三行不可直接横向比较:它们的对角元乘积分别是 1616、11、0.250.25,互不相同,因此并不满足前文「Φ\Phi 的奇异值之积固定」的前提。每一行能配的 AM-GM 下界也是各自那一行的:

配对DDtr(Σ⊤D)\mathrm{tr}(\Sigma^\top D)该行自己的 AM-GM 下界
谱原样保留D∝Σ=diag(4,1)D \propto \Sigma = \mathrm{diag}(4,1)4×4+1×1=174{\times}4 + 1{\times}1 = 17216=82\sqrt{16} = 8
均匀(Muon 形态)D=I=diag(1,1)D = I = \mathrm{diag}(1,1)4+1=54 + 1 = 524=42\sqrt{4} = 4
谱逐分量取逆D∝Σ−1=diag(0.25,1)D \propto \Sigma^{-1} = \mathrm{diag}(0.25, 1)4×0.25+1×1=24{\times}0.25 + 1{\times}1 = 221=22\sqrt{1} = 2(该行恰好取到下界)

三个数字 17、5、2 全部由本文代入公式算出,读者可以自行验证。这张表能支持的结论只有一条:在给定 DD 的形状下,迹就是逐项乘积之和;它不能支持「均匀化把某个最坏值压到 5、再压到 2」这种横向排名,因为三行的约束并不相同(整体尺度会被学习率吸收,混进来只会把尺度差异误读成性能差异)。真正可比的结论要在固定对角元乘积的前提下说:那时 AM-GM 告诉理想形态是 D∝Σ−1D \propto \Sigma^{-1},而 D=ID = I 是 Σ\Sigma 与 Σ−1\Sigma^{-1} 在 DD 空间的几何平均,落点仍然指向奇异值均匀化。

至于「Φ\Phi 的奇异值之积是否真的固定」:方阵 Kronecker 情形下可以证明(∣det⁡(Φ)∣=∣det⁡(P)det⁡(G)det⁡(Q)∣|\det(\Phi)| = |\det(P)\det(G)\det(Q)| 与 X,YX, Y 无关,原博客 Eq. 12);非方阵和对角近似情形则无法证明,苏剑林直接承认这是「关于行列式与正交矩阵的信仰」。

  • 方阵、Kronecker:∣det⁡(X⊤PX)∣=∣det⁡(P)∣|\det(X^\top P X)| = |\det(P)|、∣det⁡(Y⊤QY)∣=∣det⁡(Q)∣|\det(Y^\top Q Y)| = |\det(Q)|,行列式逐因子不变——这一档是可证的;
  • 非方阵:det⁡\det 不再良定义,只能「不加证明地认为近似成立」(原博客原话口径);
  • 对角近似:X⊤(N⊙XGY⊤)YX^\top (N \odot X G Y^\top) Y 里 Hadamard 积挡在中间,连近似论证都给不出——只剩猜测。

一个可验算的中间例子:把「洗掉基」做成数值实验

前面两节是解析推导。为了让「基底被洗掉」这句话有一个能被读者自己跑出来的版本,这里给一个刻意做小、能手算的例子(非任何来源转述,构造与数字均为本文自行推导)。

取一个不对称的 2×22 \times 2 权重矩阵

W=(31 02)W = \begin{pmatrix} 3 & 1 \ 0 & 2 \end{pmatrix}

它的 SVD 可以直接算出来:W⊤W=(93 35)W^\top W = \begin{pmatrix} 9 & 3 \ 3 & 5 \end{pmatrix},特征值为 14±16+362=7±13\frac{14 \pm \sqrt{16 + 36}}{2} = 7 \pm \sqrt{13},即 λ±≈10.606\lambda_\pm \approx 10.606 与 λ∓≈3.394\lambda_\mp \approx 3.394,奇异值为 σ1=7+13≈3.256\sigma_1 = \sqrt{7 + \sqrt{13}} \approx 3.256、σ2=7−13≈1.843\sigma_2 = \sqrt{7 - \sqrt{13}} \approx 1.843。

现在看三个候选更新量在同一个梯度上的行为(这里只做形状对照,不做性能比较):

  • 原样更新 Φ0=W\Phi_0 = W:奇异值保持 (σ1,σ2)≈(3.256,1.843)(\sigma_1, \sigma_2) \approx (3.256, 1.843),谱是「陡」的;
  • 谱拉平后的更新 Φ1=UV⊤\Phi_1 = U V^\top:把两个奇异值都换成 1,谱变成 (1,1)(1, 1),但左右奇异基 UU、VV 一个没变;
  • 逐分量缩放 Φ2=diag(2,0.5) W\Phi_2 = \mathrm{diag}(2, 0.5)\, W:这是「只动对角」的更新,算出来它的奇异值是 ≈(6.33, 0.95)\approx (6.33,\ 0.95)——谱不但没被拉平,反而被拉得更陡。这正是「对角近似的谱结构难分析」在最小规模上的直观体现:逐元素缩放没有「只改谱、不改基」这种自由度可分性。

这三行对照想说的是一件很具体的事:「基」和「谱」是可以分开动的两种自由度。Φ1\Phi_1 保留了基、把谱压平;Φ2\Phi_2 动的是谱,但基也跟着被搅了。框架的全部主张就是:在它限定的那个可行域(只允许正交变换)里,能自由动的是谱,基会被自动洗回梯度自己的奇异基。至于这个「只动谱」的自由度值多少训练收益——那不是框架能回答的问题,需要实测。

复现这个例子只需要几步:构造 WW,用 numpy.linalg.svd 拿到 U,Σ,V⊤U, \Sigma, V^\top,再算 UV⊤U V^\top 与 UΣV⊤U \Sigma V^\top 的奇异值对比。这个例子刻意做小,正是为了让人能手算复核,而不是只能相信一句结论。

Adam 也一样:对角近似的目标与统一形式

第二篇博客把同样的手术做到 Adam 家族上。对角预条件写成 H−1=diag(vec(N))H^{-1} = \mathrm{diag}(\mathrm{vec}(N))、更新 W−η(N⊙G)W - \eta (N \odot G) 后,施加 Kronecker 结构的正交变换 O=Y⊗XO = Y \otimes X,目标变为

min⁡X,Ytr(G⊤X⊤(N⊙XGY⊤)Y)s.t.X⊤X=In,  Y⊤Y=Im\min_{X, Y} \mathrm{tr}\big(G^\top X^\top (N \odot X G Y^\top) Y\big) \quad \text{s.t.} \quad X^\top X = I_n,\; Y^\top Y = I_m

这个目标看着别扭,它有一个更友好的等价形式。用「迹在循环下不变」把左边的 YY 挪到最前:

tr(G⊤X⊤(N⊙XGY⊤)Y)=tr(YG⊤X⊤(N⊙XGY⊤))=∥N⊙1/2⊙XGY⊤∥F2\mathrm{tr}\big(G^\top X^\top (N \odot X G Y^\top) Y\big) = \mathrm{tr}\big(Y G^\top X^\top (N \odot X G Y^\top)\big) = \big\lVert N^{\odot 1/2} \odot X G Y^\top \big\rVert_F^2

第二行用到两个事实:tr(MM⊤)=∥M∥F2\mathrm{tr}(M M^\top) = \lVert M \rVert_F^2 把「迹」翻译成「Frobenius 范数平方」;N⊙1/2N^{\odot 1/2} 表示对 NN 逐元素开方(Hadamard 意义下的平方根),开方出来正好与自身相乘还原出 N⊙(⋅)N \odot (\cdot)。也就是说,Adam 情形的目标其实是**「在正交变换后的矩阵上做逐元素加权,再看 Frobenius 范数」**——权重 N⊙1/2N^{\odot 1/2} 越大的位置,XGY⊤X G Y^\top 在那里被压得越狠。

同样的恒等式也把 Kronecker 情形的目标变成 ∥P1/2XGY⊤Q1/2∥F2\lVert P^{1/2} X G Y^\top Q^{1/2} \rVert_F^2。对比着读:

  • Kronecker:权重以矩阵因子 P1/2,Q1/2P^{1/2}, Q^{1/2} 从左右两侧夹住 XGY⊤X G Y^\top——谱结构,可分解、可求逆、可做 SVD 分析;
  • 对角:权重以逐元素 N⊙1/2N^{\odot 1/2} 直接按在矩阵的每个格子上——没有谱结构可言,任何把 NN 折进左右因子的尝试都会破坏 Hadamard 结构。

这就是为什么后文「谱乘积恒定」在 Kronecker 方阵情形可证、在 Adam 情形彻底推不动的根源——不是技巧不够,而是 Hadamard 积在矩阵分析工具面前天然免疫。顺带一提,这个「开方后的权重按在格子上」的视角也解释了 Adam 的逐元素二阶矩为什么是一种「最细粒度的谱修正」:它退到了比奇异值谱更细的粒度(每个元素一个系数),代价是失去了任何可分析的矩阵结构。

这个形式和 Kronecker 情形的目标不能直接比较,但两篇博客发现它们共享抽象结构 min⁡X,Yf(XGY⊤)\min_{X,Y} f(X G Y^\top)。对这个一般问题引入拉格朗日乘子求驻点,得到的关键条件是(第二篇 Eq. 10)

X⊤KYG⊤ 对称,G⊤X⊤KY 对称X^\top K Y G^\top \text{ 对称}, \qquad G^\top X^\top K Y \text{ 对称}

其中 K=∇Zf(Z)K = \nabla_Z f(Z)、Z=XGY⊤Z = X G Y^\top。注意这个驻点条件的形式与 ff 的具体长相无关——它只来自「目标只通过 XGY⊤X G Y^\top 依赖 X,YX, Y」这个结构事实,所以它能同时套在 Kronecker 与对角两类目标上。而「两个乘积对称 ⇒\Rightarrow X⊤KYX^\top K Y 具有 UDV⊤U D V^\top 形式」正是上一篇已经证过的事实。于是殊途同归:Kronecker 积和对角近似,两类预条件的基都被洗掉。

这里有一个值得单独强调的观察:Adam 情形里我们关心的更新量是 Φ=X⊤KY/2\Phi = X^\top K Y / 2,而 K=2N⊙XGY⊤K = 2 N \odot X G Y^\top 里的 NN 是逐元素的——Hadamard 结构让它无法像 Kronecker 情形那样把 NN「折」进左右因子,也正因为如此,谱乘积恒定性(∣det⁡(Φ)∣|\det(\Phi)| 不变)在这里推不动。对角近似那条线的谱均衡论证更弱(Hadamard 积几乎无法做奇异值分析,「乘积恒定」纯属猜测),这是原作者自己标注的缺口。换句话说,「Adam 的尽头是 Muon」比「Shampoo 的尽头是 Muon」又弱了一档:前者连第二步(谱往哪边走)都只有信仰级论证,只有第一步(基被洗掉)是扎实的。

一张对照表:框架里它们各自是什么位置

优化器预条件结构每步主要开销在正交最慢下降框架下的形态谱修正能力
SGD(+动量)无(H=IH = I)几乎为零GG 原样,奇异谱保留无
Adam / RMSProp对角阵 diag(vec(N))\mathrm{diag}(\mathrm{vec}(N))维护一、二阶矩(与参数同形)基被洗掉,UDV⊤U D V^\top有,均衡化倾向为猜测
Shampoo / SOAPKronecker 积 Q⊗PQ \otimes P维护并求逆两个大矩阵(SOAP 用特征基缓存降开销)基被洗掉,UDV⊤U D V^\top有;方阵情形乘积恒定可证
Muon直接正交化 R(M)≈UV⊤R(M) \approx U V^\topNewton–Schulz 迭代若干步就是极限形态本身全 1 谱,构造上直接均衡

这张表也解释了为什么 Moonshot 论文里 Muon 还要额外加 weight decay 与逐参数更新尺度:正交化把谱压平之后,更新量的整体大小需要重新标定,不同形状的参数矩阵(embedding、输出层等)也需要不同的缩放——这些工程补丁处理的是「谱之外」的自由度,与本框架并不矛盾。

SOAP 的旁证:特征基可以是「慢变量」

对照表里 SOAP 那一行值得单独展开。SOAP 论文(arXiv:2409.11321,2024-09-17 提交;正式版本收录于 ICLR 2025)摘要给出的事实是:它建立了「1/2 幂实现的 Shampoo」与 Adafactor 之间的形式联系——Shampoo 等价于在 Shampoo 预条件矩阵的特征基里运行 Adafactor。这里的 Adafactor 是一种把二阶矩按行/列分解、从而省显存的 Adam 变体(论文里的原词是 Adafactor 这一族)。由此 SOAP 的构造是:特征基不每步都重算(只在若干步更新一次),基内统计交给 Adam 风格的滑动平均去维护(此段构造细节为本文按摘要口径的解读,非论文原文逐字)。

把这件事放进本文框架里读,它是一个漂亮的旁证:

  • 「基可以低频维护、甚至缓存」之所以不致命,恰好因为基不是每步必须精确的东西——与「正交最慢下降会把任意基洗回梯度奇异基」是同一件事的两面;
  • 而「基内统计必须每步维护」,说明真正持续起作用的信息在谱上——SOAP 把计算预算从「求逆大矩阵」挪到「维持一套对角/低频统计」,方向与「调谱不调基」的结论一致。

注意这只是方向一致性,不构成「SOAP 就是正交最慢下降的解」的证明——SOAP 的实际更新仍然带着自己的特征基修正,其论文口径也只是「改进并稳定 Shampoo」(见其标题与摘要),框架描述的是「理想极限的形状」,不是「实测成绩的排名」。

工程读者的三个收获

第一,昂贵的预条件买不到「更好的方向」。 在这套框架下,Shampoo 花大代价维护的 PP、QQ,其信息量经过最优正交变换后只剩特征值——而特征值的作用又只是修正奇异值谱,且修正的极限是「更均匀」。同方向的事实还有一条,来自 SOAP 论文(2024-09-17 提交):Shampoo(1/2 幂实现)等价于「在 Shampoo 预条件矩阵的特征基里跑 Adafactor」——即基可以低频维护甚至缓存,但统计必须在当前基里按 Adam 的方式持续维护(细节见上文 SOAP 一节)。这与「基里的信息会被洗掉、谱修正是留下来的那部分」是同一个故事的不同讲法。

对预算有限的团队,这条推论的现实版本是:如果 Shampoo 系的显存与通信开销(两个大统计矩阵、特征基缓存、逆矩阵维护)只换来「一个可被正交化近似替代的谱修正」,那把这份预算省下来换更长的训练或更大的批,往往更划算。当然,这仍然只是框架内的推断,不是实验结论。

第二,Muon 的「土办法」有位置优势。 如果极限形态就是「用梯度的奇异基 + 尽量均匀的谱」,那直接对动量做 Newton–Schulz 正交化(不用维护任何二阶统计矩阵)就是绕过中间商的做法。Newton–Schulz 迭代只需要几次矩阵乘就能把动量的奇异值压向均匀,不需要对任何统计量求逆,显存开销是与动量同形的一个矩阵。Moonshot 论文的「约 2 倍计算效率」是在这个形态上再加两项工程补丁测出来的。

其中第二项补丁值得展开:论文的「consistent update RMS」做法是把 Muon 的更新幅度(RMS,逐参数更新量的均方根)刻意对齐到 AdamW 的水平,从而让学习率、weight decay 等超参数可以直接复用 AdamW 基线的最优值(论文原文口径:超参数「直接复用对 AdamW 基线最优的那组」)。工程上这是把「换优化器」的成本从「重新调一遍超参」降到「改一行配置」的关键一步——也提醒任何自行实现 Muon 类配方的读者:正交化之后的更新量尺度与原动量不同,先把尺度对齐再谈对比,是这篇论文给出的第一个实践建议。

第三,「对角重缩放不变」是 Adam 的结构性短板。 Adam 的预条件自由度全部花在逐元素缩放上,一旦框架告诉你「特征基会被洗掉、只有谱修正有效」,Adam 的二阶矩统计就只在做「粗粒度谱修正」这一件事,而且是以一种 Hadamard 结构很难分析的方式在做。这不能推出「Adam 不行」——它仍然是向量类参数与另行排除的 embedding/LM head 矩阵上的默认选择——但它解释了为什么在二维权重矩阵上差距会这么显性:按论文口径,compute-optimal 训练下 Muon 的匹配性能效率约为 AdamW 的 2 倍(口径是达到同等匹配性能所需的训练 FLOPs,不是每步速度或墙钟时间翻倍)。

实践记账:换优化器到底换了哪些开销

三个来源各给了一笔可以核对的账(均为论文/博客口径,非本文实测):

  • 状态量:Moonshot 论文(2025-02-24 提交)在分布式分析一节明确写着「Muon 只用一个动量缓冲,AdamW 用两个」——所以只算优化器状态时,Muon 的状态显存约为 AdamW 的一半(该文原文口径;这个数字不含参数本身、梯度、激活值及其他缓冲区,不能读成训练总显存或峰值显存减半);
  • 每步计算:Adam 的逐元素开销与参数量同阶;Shampoo 要维护两个 n×nn \times n、m×mm \times m 统计矩阵并做矩阵求逆/幂运算,该规模化实现论文(arXiv:2002.09018,2020-02-20 提交)自述二阶方法「计算、显存与通信成本高昂」;SOAP 的动机(其摘要,2024-09-17 提交)就是消掉这些「额外超参与计算开销」;
  • 正交化开销:Muon 每步对每个矩阵参数跑若干轮 Newton–Schulz 迭代,只做矩阵乘、不做统计量求逆(本文按 msign\mathrm{msign} 的定义归纳:迭代近似 SVD 的 UV⊤U V^\top 部分)。

把这三笔账与本文结论合在一起读:Shampoo 多付的钱主要买了基,而框架说基最不值钱——这不一定意味着 Shampoo 全无优势(谱修正的粒度仍可能起作用),但意味着它必须用实测收益证明自己「值回票价」,而 Muon 的开销结构天然与「极限形态」对齐。

三个容易读错的点,集中对照

前面散落着几处「同一个符号在不同段落里含义漂移」的风险,这里集中列一张对照表,方便第一次读的时候对照使用(表中每一行都是本文正文已交代过的内容,此处只做索引):

容易读错的地方正确读法本文位置
把 HtH_t 直接叫「预条件矩阵」HtH_t 是度量矩阵;真正作用在梯度上的算子是 Ht−1H_t^{-1}符号表、「评价标准」一节
把 H−1H^{-1}-加权范数展开成含两次逆矩阵的形式下标取 Ht−1H_t^{-1} 则展开式是 gt⊤Ht−1gtg_t^\top H_t^{-1} g_t,Ht−1H_t^{-1} 只出现一次符号表、「评价标准」一节
把上界第一项读成「矩阵越大、步子越快」第一项罚的是预条件随时间乱跳,第二项罚的是步子抖「评价标准」一节
把两者的动量当成完全等价两者都做一阶动量平滑,但定义、Nesterov 变体与偏差修正不同;严格结论只覆盖无动量骨架「三个主角写清楚」一节
把「DD 拉平」直接等同于「谱均匀化」要分清更新奇异值 did_i 与目标乘积 σidi\sigma_i d_i;AM-GM 约束的是后者全体相等「谱往哪边走」一节
把几何平均算成两个迹数值的几何平均几何平均发生在 DD 空间(逐分量相乘再开方),不是两个迹数值之间的那种平均「谱往哪边走」一节
把算例 17 / 5 / 2 当成横向排名三行的对角元乘积不同,不可直接横向比较「谱往哪边走」一节
把正交化说成把每个奇异方向都变成 1只说非零奇异值;零奇异方向仍为零「对照视角」一节

常见误读 FAQ

  • 问:「所以 Adam 被证明了该淘汰?」 答:不是。框架的结论是「在矩阵参数上,预条件的方向信息会被正交最优性消去」,而 Adam 的大量用武之地(向量类参数、另行排除的 embedding/LM head 矩阵)根本不在这个框架的推导对象里。Moonshot 论文自己的做法也是「Muon 与 AdamW 搭配、用 AdamW 处理这些另行排除的参数」。
  • 问:「SOAP 报告的更好结果说明框架错了?」 答:不能这么推。框架比较的是「给定预条件结构下的理想极限」,实验比较的是「具体超参与开销下的实测」。两者不在一个层面;框架也从未否认 SOAP 在特定任务上可以赢。
  • 问:「正交最慢下降是证明吗?」 答:不是定理。它依赖凸性、OtO_t 缓变、一阶近似与「给定梯度序列」四层假设(见下一节),作者的定位是「启发性推导」。
  • 问:「DD 谱均衡对 Adam 情形是结论吗?」 答:更弱——方阵 Kronecker 情形可证「奇异值之积恒定」,非方阵近似成立,对角情形连近似证明都没有,只是「信仰」级的猜测。
  • 问:「那我该今天就切 Muon?」 答:工程决策请以自己的复现为准;本文给的是「为什么 Muon 这个构造在理论上占了个好位置」的理解,不是选型指令。
  • 问:「动量在这套推导里有位置吗?」 答:框架是对「梯度类」更新做的;苏剑林在第一篇明确说 Kronecker 型框架覆盖的是「无动量版本」的各优化器,动量被顺延进来是「对动量做同样的手术」的推广,正式论证并不因为加了动量自动成立——这是又一个容易被略过的限定条件。
  • 问:「把奇异值全拉成 1,会不会把重要的方向也抹掉了?」 答:不会抹掉方向——UU、VV 保留着梯度的全部奇异基,被拉平的只是每个奇异方向上的步长权重。真正被丢掉的是「不同方向走不同远近」这一自由度;框架的论点是这自由度里真正值钱的部分有限(见「谱往哪边走」一节里 D∝Σ−1D \propto \Sigma^{-1} 与 D=ID = I 的几何平均关系)。
  • 问:「学习率策略在框架里怎么说?」 答:上界最小化在「第二项近似常数」的假设下推出常数权重/线性衰减(见「上界从哪来」一节);但 Muon 正交化之后更新 RMS 变了,学习率要么重新调、要么按 Moonshot 论文的 consistent update RMS 对齐——理论推 schedule 与实践对齐尺度是两件事。
  • 问:「PSGD 呢?苏剑林第一篇也点名了它。」 答:本文未核读 PSGD 的论文,不对其下任何判断;它被提及仅因为原文把它列为「声称比 Muon 更好的 Shampoo 系变体」之一,而该系列结论(Kronecker 型预条件的基会被洗掉)按框架同样覆盖它的 Kronecker 部分——但这只是框架外推,不是对 PSGD 实测表现的评述。

这套论证哪里不严格:作者自陈与本文补充

苏剑林在第一篇的「延伸说明」里罕见地长篇自陈了论证的软肋,值得逐条转述(下为概述,非逐字引用):其一,用收敛上界指导优化器设计是最坏情形判据,上界更小不保证实际更快;其二,OtO_t 缓变假设与各处一阶近似都粗糙,无法定量;其三,给定 gtg_t 序列再推导剩余参数的前提本身站不住——改了学习率,后续梯度就变了,「严格较真的话命题无法成立」;其四(第二篇),对角近似情形的谱均衡「无法做出有效估计」,只是猜测。

本文再补四条(以下为本文归纳,非原文):

  • 凸性假设与深度学习现实差距巨大:ΛT\Lambda_T 那一项在非凸、非单调场景里如何主导并不清楚,把凸分析的判据平移到 LLM 训练是整条链最大的跨度;
  • 正交变换的可达集论证依赖「特征值两两不等」:真实梯度的奇异值经常重合或极接近,退化情形的稳定性只有「取极限」的口头处理,没有误差估计;
  • 「正交最优」是逐点贪心:每步各自选最优 OtO_t,但收敛上界是全程求和的量,逐点最优不等于全程最优——这与作者自己批评「最速下降是贪心」是同一类毛病,只是从每步搬到了每个坐标。换句话说,「尽头是 Muon」是一个在限定沙盘内自洽的启发性结论,不是「应该把所有优化器换成 Muon」的证明。但它的价值恰恰在于给「调谱」这件事提供了一个统一的、可推导的分析框架——与 SOAP 论文「Shampoo 等价于在预条件特征基里跑 Adafactor」这类工作所暗示的「基可以简化、谱修正是药」方向一致,只是这一次经验被串成了一条数学线。
  • 「与 Shampoo 系实测结果的张力」没有定量处理:原作者在 2026-09-28 的《慢即是快:1. Shampoo 的尽头是 Muon?》里自述测过各种 Shampoo 变体「没有一种能胜过 Muon」,但博客没有给出这些实验的配置与数字,读者无法复核「测试范围有多广、调参是否对等」——这是把博客结论用于实践前应当补的一课(本文同样未做实验,见来源段声明)。

小结

这篇文章完整走了一遍苏剑林《慢即是快》系列的推导链:从平均收敛上界的两项权衡出发,把「只允许正交变换」的优化目标化简成逐点的「最慢下降」,再用冯·诺伊曼迹不等式与对称性论证证明——Kronecker 积(Shampoo 家族)与对角(Adam 家族)两类预条件的特征基底都会被洗掉,更新量退化为 UDV⊤U D V^\top,且 DD 在几何平均意义下的中点指向「全 1 谱」。Muon 的构造恰好就是这个极限形态。工程上的读法:预条件的钱主要花在谱修正上,而谱修正的最直接实现就是正交化本身。论证的边界同样清楚:这是一套依赖凸性、缓变、一阶近似与「给定梯度序列」的启发式框架,把它当作理解优化器的透镜,比当作选型圣旨更合适。

如果只记住一件事:在这个框架的限定假设下,预条件矩阵里真正起作用的是谱(奇异值怎么缩放),而基(往哪个方向转)携带的信息会被正交变换消掉——这条判断成立与否决定你该为 Shampoo 的统计矩阵付多少钱,而它至少在一个可推导的框架里得到了支持。

最后交代本文的覆盖边界,方便你决定要不要去读原文:本文完整转述了「正交最慢下降」的两篇核心推导(含公式级细节),但没有转述原系列里《让炼丹更科学一些(九)》对 AdaGrad 的完整推导、《流形上的最速下降》系列对 Stiefel 流形(n>mn > m 半正交约束)的处理,也没有对任何优化器做实验对比。若你的兴趣在「拿公式去跑实验」,按「五步复现」清单走;若在「把系列读全」,按「系列阅读地图」的顺序走即可。

五步复现:把这条推导变成可验算的练习

理论文最大的风险是「看懂了每个公式,合上就忘」。这条推导链的好处是每一步都能写成几十行代码、用 SciPy 逐行验一遍。给一个自上而下的复现清单(均为本文归纳的练习设计,不是原文内容):

  • 第 1 步,验排序不等式的矩阵版:随机生成两个对称阵 A,BA, B,用 scipy.linalg.eigh 取特征值,验证 ∑λi(A)λn+1−i(B)≤tr(AB)≤∑λi(A)λi(B)\sum \lambda_i(A) \lambda_{n+1-i}(B) \le \mathrm{tr}(AB) \le \sum \lambda_i(A)\lambda_i(B);再随机置换特征向量的配对方式,确认任何「乱序」都落在两端之间。
  • 第 2 步,验倒序配对的均衡效果:取 GG 的奇异值谱 σ=(4,2,1)\sigma = (4, 2, 1) 与某组正谱 λP\lambda_P,分别计算同序、乱序、倒序乘积序列的方差,把三个数都记下来再比较——排序不等式保证的是乘积和的极值,不是方差最小(可以构造出倒序方差并不更小的谱,例如 σ=(4,2,1)\sigma = (4, 2, 1) 配 λ=(0.01,0.1,1)\lambda = (0.01, 0.1, 1)),所以这一步要记录的是实测值与反例,而不是预设结论。
  • 第 3 步,数值解 Q=IQ = I 特例:固定一个 n=m=3n = m = 3 的 PP 与 GG,用 SciPy 在正交约束下(参数化成 X=exp⁡(S)X = \exp(S),SS 反对称)数值最小化 tr(GG⊤X⊤PX)\mathrm{tr}(GG^\top X^\top P X),把解与解析解 X∗⊤PX∗=UΛP↑U⊤X_*^\top P X_* = U \Lambda_P^{\uparrow} U^\top 对照——特征值应该对上,特征向量应该重排。两处边界要交代:X=exp⁡(S)X = \exp(S) 只覆盖指数映射能到达的那部分正交群;而且这只是局部求解,多初值(换几组随机初值各跑一次取最优)才靠谱,请记录每组初值的目标值与残差(∥X⊤X−I∥F\lVert X^\top X - I\rVert_F 以及目标函数相对解析值的偏差),不要把「求解失败」当成理论反例。
  • 第 4 步,验「基被洗掉」的一般情形:同样的数值设置,但 Q≠IQ \neq I、P,QP, Q 都随机,验证最优更新量 Φ\Phi 在 U⊤ΦVU^\top \Phi V 坐标系下是对角阵(非对角元接近 0)。
  • 第 5 步,验谱均衡倾向:在数值解里读出 DD 的对角元,记录它相对于「原谱 Σ\Sigma」与「逆谱 Σ−1\Sigma^{-1}」的位置(用相对距离或秩来度量,并记下随机种子与样本数);落点由你自己的样本说话,这里不预告结论(注意:这是启发式验证,不是证明)。

这五步跑完,「特征基被洗掉、只剩谱修正」就不再是博客里的一句结论,而是你自己机器上记录下来的一组数值(也可能包含反例)——区别在于后者你会真的记住。

系列阅读地图

这次引用的苏剑林文章来自两条相互咬合的系列,按依赖关系给一张阅读地图(日期均为各篇页面标注的发表日期,本文写作时核读):

  • 优化器分析主线:《让炼丹更科学一些(九):经典自适应梯度算法》(2026-09-05,AdaGrad 作为框架的一个解)→ 《(十):单调性假设的拆与补》(2026-09-14,收敛上界与 ΛT\Lambda_T)→ 《排序不等式及其推广》(2026-09-21,工具箱)→ 《慢即是快:1. Shampoo 的尽头是 Muon?》(2026-09-28)→ 《慢即是快:2. Adam 的尽头还是 Muon?》(2026-10-15)。
  • 矩阵优化构造主线:《流形上的最速下降:2. Muon + 正交》(2025-08-06,谱范数约束与 msign\mathrm{msign})——它先于「慢即是快」系列一年多,是「约束观」那一侧的原点。
  • 两条线的交汇点:更新量的形状 UDV⊤U D V^\top 与谱均衡化。读的时候建议先「九/十」再「排序」,最后两线并行对照。

📋 来源与核验记录

以下来源均为本文写作时(2026-11-05)真实打开核读的一手页面;摘要、日期以当次抓取为准。

核验方式说明:kexue.fm 对命令行抓取返回 403,四篇博客与《流形》均通过本机浏览器逐篇打开读取全文;arXiv 五篇摘要页与 Muon 论文 HTML 全文(arXiv:2502.16982v1)通过 curl 抓取解析。文中所有 kexue 公式引用(Eq. 编号)均指对应博客原文的编号。

  1. 苏剑林.《慢即是快:1. Shampoo 的尽头是 Muon?》. 科学空间,2026-09-28. https://kexue.fm/archives/11917 — 本文核心推导链(收敛上界引用、正交最慢下降、Kronecker 情形特例与一般情形、均衡化论证、作者自陈局限)的一手出处;正文对原文为引述+自写讲解,未整段复述。

  2. 苏剑林.《慢即是快:2. Adam 的尽头还是Muon?》. 科学空间,2026-10-15. https://kexue.fm/archives/11964 — 对角近似(Adam/RMSProp)推广、统一抽象形式 min⁡f(XGY⊤)\min f(XGY^\top)、驻点条件、谱乘积常数性讨论的一手出处。

  3. 苏剑林.《排序不等式及其推广》. 科学空间,2026-09-21. https://kexue.fm/archives/11910 — 冯·诺伊曼迹不等式与多序列推广(含最小值侧 NP-Hard 说明)的一手出处。

  4. 苏剑林.《让炼丹更科学一些(十):单调性假设的拆与补》. 科学空间,2026-09-14. https://kexue.fm/archives/11885 — 平均收敛上界(见上文「评价标准」一节的公式)的推导出处;本文「上界从哪来」一节的单步不等式链、AMSGrad 对应、ΛT\Lambda_T 的 [⋅]+[\cdot]_{+} 版本与「单调性成立时 ΛT≤tr(HT)\Lambda_T \le \mathrm{tr}(H_T)」均核读自该文。

  5. Liu, J., Su, J.(苏剑林), Yao, X. et al.(Moonshot AI).《Muon is Scalable for LLM Training》. arXiv:2502.16982,2025-02-24 提交. https://arxiv.org/abs/2502.16982 — Muon 大规模化两项技术(weight decay、逐参数更新尺度)与「compute-optimal 下约 2 倍计算效率」的论文口径;「AdamW 用于 RMSNorm、LM head、embedding 等另行排除的参数」亦为该论文正文原文(HTML 版核读)。已在正文标注为论文数字、非本文实测。

  6. Anil, R., Gupta, V., Koren, T. et al.《Scalable Second Order Optimization for Deep Learning》. arXiv:2002.09018,2020-02-20 提交(v2 2021-03-05). https://arxiv.org/abs/2002.09018 — Shampoo 的规模化实现工作(与 Gupta 等人 2018 年那篇更早的工作不同,本文按 2020 年这篇的定位引用)。

  7. Vyas, N. et al.《SOAP: Improving and Stabilizing Shampoo using Adam》. arXiv:2409.11321,2024-09-17 提交(v2 2025-01-31). https://arxiv.org/abs/2409.11321 — SOAP 特征基缓存与「Shampoo 等价于在预条件特征基中跑 Adafactor」的论文表述。

  8. Kingma, D., Ba, J.《Adam: A Method for Stochastic Optimization》. arXiv:1412.6980,2014-12-22 提交(v9 2017-01-30). https://arxiv.org/abs/1412.6980 — Adam 更新规则与「对角重缩放不变」性质的论文原文。

  9. 苏剑林.《流形上的最速下降:2. Muon + 正交》. 科学空间,2025-08-06. https://kexue.fm/archives/11215 — Muon 的另一条推导(谱范数最速下降、核范数上界、msign\mathrm{msign} 算子、「最小作用量」约束观)的一手出处;本文「对照视角」一节据此转述并自写讲解。

  10. 苏剑林.《让炼丹更科学一些(九):经典自适应梯度算法》. 科学空间,2026-09-05. https://kexue.fm/archives/11882 — AdaGrad 作为该框架一个解的一手出处(ΛT\Lambda_T 换成 tr(HT)\mathrm{tr}(H_T)、最优预条件 H∗=(∑tgtgt⊤)1/2H^* = \big(\sum_t g_t g_t^\top\big)^{1/2} 的推导在此篇)。

实体真实性核验

本文点名的报告与论文额外核了「官方页面可访问 + 存在独立第三方页面」两条,核验日期均为 2026-11-05:

实体官方页面独立第三方页面访问结果
SOAP(arXiv:2409.11321 / ICLR 2025)https://arxiv.org/abs/2409.11321https://proceedings.iclr.cc/paper_files/paper/2025/hash/e988664070e9591f93fdcf605f7dc623-Abstract-Conference.html两个页面均正常打开,标题、作者与摘要一致(第三方页为 ICLR 2025 正式 proceedings 收录页)
Shampoo 规模化实现工作(arXiv:2002.09018)https://arxiv.org/abs/2002.09018https://huggingface.co/papers/2002.09018两个页面均正常打开,作者与提交日期(2020-02-20)一致;第三方页是独立论文索引页,本文未转引其中任何性能数字
Muon 工程报告(arXiv:2502.16982)https://arxiv.org/abs/2502.16982https://huggingface.co/blog/bird-of-paradise/reproducing-and-validating-distributed-muon官方页正常打开;第三方页为社区作者转引,本文只用它确认实体与报告存在,不采信其性能数字
Adam 论文(arXiv:1412.6980)https://arxiv.org/abs/1412.6980https://dare.uva.nl/id/a20791d3-1aff-464a-8544-268383c33a75两个页面均正常打开,题名与作者一致

本文自行推导项:二阶算例(Σ=diag(4,1)\Sigma = \mathrm{diag}(4,1) 三种谱形状下的迹 17 / 5 / 2、逐行各自的 AM-GM 下界,以及「三行不满足同一固定乘积前提、不可直接横向比较」的说明)与对照表中「在框架下的形态」一列的归纳,均为本文自算/自归纳,已在正文标注,与官方数字分列。本文未做任何训练实验;所有性能表述均注明来源口径。