解构 Scaling Law：一个不等式如何把优化、架构、数据统一成一场三重奏 - 技术文章

训练一个大模型，最终效果取决于一大堆彼此纠缠的旋钮：学习率多大、批大小多少、模型多宽多深、数据用多少轮。Scaling Law 把这些经验压缩成幂律公式，是深度学习里少数”敢拿来做预算”的定量规律。但读多了会发现一个尴尬的事实：各家结论经常互相打架。Kaplan Law（OpenAI，2020）说算力该优先堆参数，Chinchilla Law（DeepMind，2022）说参数和数据要等比扩展，Step Law（阶跃星辰，2025）说最优学习率随数据增大而增大，Microsoft Law（2024）说最优学习率随数据增大而减小——四个都对，因为它们各自在不同的变量组合下拟合。

2026 年 7 月，苏剑林在科学空间发表《解构 Scaling Law：优化、架构、数据的三重奏》，做了一件很少有人做的事：不再新增一条拟合公式，而是把这一大家子 Scaling Law 拆回同一个数学骨架。整个框架只有两件东西：一个把总损失分解成三段误差的恒等式，一条推广的 AM-GM 不等式。各家 Law 的指数差异，在这个骨架里只是”你在哪个约束下求最小值”的差异。

本文以这篇博客为主线，面向做工程的读者把整套推导走一遍：先给直觉和符号，再把异幂不等式证出来，然后依次推导最优学习率、最优批大小、最优深宽比、算力最优分配、Multi-Epoch 最优轮数，每一步都代入理论值和各家实测值验算，最后说清这套框架的边界——它统一不了什么，以及苏剑林自己承认想不清楚的部分。对原文的关键结论，本文以引述方式给出并标注出处；推导细节与工程解读为本文自行展开，自算数字在来源段单独列清单。

一、先给直觉：Scaling Law 到底在”律”什么

一句话直觉：Scaling Law 不是在预测”模型有多聪明”，而是在预测”损失还有多远没降到头”，而这段距离总是由”几种互相拉扯的幂律开销”里的短板决定。

具体来说，训练一个模型的损失可以被想象成四层天花板：

数据天花板：训练集只是理想世界的一个采样，模型在测试分布上的损失永远比训练集高；
优化天花板：你的优化器、步数、学习率都有限，训练损失没有降到该架构能达到的最低点；
架构天花板：参数量、宽度、深度有限，模型容量本身有上限；
理论极限：给定这份数据，任意强大的架构加任意完美的优化，损失也有一个下限。

每往下一层，都多了一笔”代价”。Scaling Law 的经验是：这些代价随各自变量的变化都是幂律（loss 正比于变量的负幂次），于是”求最优配置”就变成了”在约束下求几个幂律之和的最小值”。而幂律之和的最小值，恰好有一条干净的初等不等式可以算——这是整个框架能算出解析结果的关键。

二、符号约定

符号	含义	单位/说明
$\mathcal{E}$	理想分布	想象为一个无穷大的测试集，不可触达
$\mathcal{D}$	训练集	$\mathcal{E}$ 的一个采样，大小为 $D$
$\mathcal{A}$	架构	参数量 $N$ 、宽度 $W$ 、深度 $H$ 、稀疏度 $S$ 等
$\mathcal{O}$	优化器	学习率 $\eta$ 、批大小 $B$ 、训练步数 $T$
$L(\cdot\\|\cdot)$	损失	条件号左边为被测分布，右边为条件
$F_{\text{opt}}$	优化误差	优化器与”完美优化”的差距
$F_{\text{arch}}$	架构误差	实际架构与”无限架构”的差距
$F_{\text{data}}$	数据误差	测试损失与训练损失之差，即泛化误差
$K$	训练样本数	$K = BT$ ，允许 Multi-Epoch， $K$ 可大于 $D$
$C$	计算量	Dense 模型约 $C \sim NK$ ，标准架构比例系数约为 6
$N_{\text{act}}$	激活参数量	MoE 中实际参与计算的参数
$S$	稀疏度	$S = N_{\text{total}} / N_{\text{act}}$

一个容易踩的坑： $K$ （训练中学过的样本数）和 $D$ （训练集大小）是两个量。多数经典 Scaling Law 工作默认 Single-Epoch，把两者混用；这套框架刻意区分它们，为的是把 Multi-Epoch（数据重复训练）纳入讨论。

三、三重分解：一个恒等式，三段误差

苏剑林把训练过程形式化为：在给定数据 $\mathcal{D}$ 、架构 $\mathcal{A}$ 和优化器 $\mathcal{O}$ 之下，最小化 $L(\mathcal{E}\mid\mathcal{D},\mathcal{A},\mathcal{O})$ 。然后做了一个层层递进的分解：

\begin{aligned} L(\mathcal{E}\mid\mathcal{D},\mathcal{A},\mathcal{O}) ={}& \underbrace{L(\mathcal{E}\mid\mathcal{D},\mathcal{A},\mathcal{O}) - L(\mathcal{D}\mid\mathcal{A},\mathcal{O})}_{\text{数据误差 } F_{\text{data}}} \\ &+ \underbrace{L(\mathcal{D}\mid\mathcal{A},\mathcal{O}) - L(\mathcal{D}\mid\mathcal{A},\infty)}_{\text{优化误差 } F_{\text{opt}}} \\ &+ \underbrace{L(\mathcal{D}\mid\mathcal{A},\infty) - L(\mathcal{D}\mid\infty,\infty)}_{\text{架构误差 } F_{\text{arch}}} \\ &+ L(\mathcal{D}\mid\infty,\infty) \end{aligned}

四项的含义： $F_{\text{data}}$ 是泛化误差，由数据的数量、质量、多样性主导； $F_{\text{opt}}$ 中 $L(\mathcal{D}\mid\mathcal{A},\infty)$ 代表”把优化推到极致”（完美优化器或无限步数）时训练集上能达到的理想损失， $F_{\text{opt}}$ 就是实践优化器与这个天花板的距离； $F_{\text{arch}}$ 中 $L(\mathcal{D}\mid\infty,\infty)$ 是”架构与优化都无限强”时这份数据自身的理论极限， $F_{\text{arch}}$ 衡量架构差距；最后一项是不可再降的底。

这个分解本身只是恒等式，没有证明任何定理——它的价值在于解耦：每一段误差各自主要对应一组变量（数据段对应 $D$ 、优化段对应 $\eta, B, T$ 、架构段对应 $N, W, H, S$ ），于是可以分段假设幂律、分段求最优，而不必在十几维空间里一起拟合。原文对此的说法是：

这个分解看上去将问题复杂化了，但实际上它将当前训练状态到理想目标的距离，分解成了层层递进的三步。在”越多越好”的常规假设下，每个括号都是非负的，因此它相当于把总差距写成三段各自可解释的距离之和，尽可能解耦了各个变量对损失函数的影响……（苏剑林，《解构 Scaling Law：优化、架构、数据的三重奏》，科学空间，2026-07-29）

工程读者的直觉版：这就是把”为什么我的模型还不够好”拆成三个可以分别问责的部门——数据部、优化部、架构部。部门的边界不是精确的（架构变量也会影响优化误差，后文会处理），但问责框架先立起来，后面每个部门各自求最优。

四、唯一的数学引擎：异幂不等式

框架的全部计算能力来自一条不等式。设 $a, b, p, q, x > 0$ ，则：

ax^p + bx^{-q} \;\geq\; (p+q)\left(\frac{a^{q}b^{p}}{p^{p}q^{q}}\right)^{\frac{1}{p+q}}

取等条件为 $x = \left(\frac{bq}{ap}\right)^{\frac{1}{p+q}}$ 。

分步推导（加权 AM-GM 路线）。加权 AM-GM 不等式为 $w_1 x_1 + w_2 x_2 \geq (w_1 + w_2)(x_1^{w_1} x_2^{w_2})^{\frac{1}{w_1+w_2}}$ 。把 $ax^p + bx^{-q}$ 改写成带权的两项：

ax^p + bx^{-q} = q\cdot\frac{ax^p}{q} + p\cdot\frac{bx^{-q}}{p}

套用加权 AM-GM，取 $w_1 = q$ 、 $w_2 = p$ 、 $x_1 = \frac{ax^p}{q}$ 、 $x_2 = \frac{bx^{-q}}{p}$ ：

\geq (p+q)\left[\left(\frac{ax^p}{q}\right)^{q}\left(\frac{bx^{-q}}{p}\right)^{p}\right]^{\frac{1}{p+q}} = (p+q)\left(\frac{a^{q}b^{p}}{p^{p}q^{q}}\right)^{\frac{1}{p+q}}

最后一步用了 $x$ 的幂次对消： $x^{pq} \cdot x^{-pq} = 1$ 。等号成立当且仅当 $\frac{ax^p}{q} = \frac{bx^{-q}}{p}$ ，解出即得取等条件。

这条不等式为什么值得单独起名字（原文称它”异幂不等式”）？看三个性质：

最小值点仍是幂律： $x^* \sim (b/a)^{\frac{1}{p+q}}$ ，系数之比的幂；
最小值本身仍是幂律：右端是 $a^{\frac{q}{p+q}} b^{\frac{p}{p+q}}$ 的幂律组合；
形式封闭：对幂律之和求最小值，得到的还是幂律——这意味着”最优超参数怎么随规模缩放”这类问题可以一层一层套下去，不会越推越复杂。

换句话说：如果损失的各项开销是幂律，那么”最优配置”和”最优损失”自动继承幂律形式。Scaling Law 里那些 $\eta^* \sim K^{-1/4}$ 、 $N^* \sim C^{3/7}$ 的干净指数，全部是这条不等式的直接产物。

一个对工程读者有用的观察：这条不等式刻画的是典型的”收益递减 + 代价递增”结构。 $ax^p$ 是随 $x$ 增大的代价项（比如学习率过大带来的噪声）， $bx^{-q}$ 是随 $x$ 减小的收益项（比如训练路程不够导致的欠拟合），最优解永远停在两项”功率平衡”的地方——取等条件 $\frac{ax^p}{q} = \frac{bx^{-q}}{p}$ 说的是：最优时，两项按各自指数加权后恰好相等。

五、优化篇：从三项假设推出最优学习率与最优批大小

5.1 优化误差的幂律假设

优化误差 $F_{\text{opt}}$ 的核心变量是学习率 $\eta$ 、批大小 $B$ 、训练步数 $T$ 。苏剑林给出的启发式假设是：

F_{\text{opt}} \;\sim\; \alpha_1 (T\eta)^{-\gamma_1} + \alpha_2 B^{-\gamma_2} + \alpha_3 \eta^{\gamma_3}

三项各有直观来源： $T\eta$ 是模型走过的”路程”，路程越长优化越充分（第一项，收益）；批大小越小梯度噪声越大（第二项，代价）；学习率越大训练越不光滑（第三项，代价）。原文指出这个形式与 arXiv:2503.12645 和 arXiv:2603.15958 一致，且这两篇都不是实验拟合，而是对 SignSGD、Muon 这类优化器的收敛性做理论分析得出的，理论值为 $\gamma_1 = \gamma_3 = 1$ 、 $\gamma_2 = 1/2$ 。

5.2 最优学习率：第一次套异幂不等式

把 $\eta$ 相关的两项 $\alpha_1 T^{-\gamma_1}\eta^{-\gamma_1} + \alpha_3\eta^{\gamma_3}$ 视为 $a\eta^{-\gamma_1} + b\eta^{\gamma_3}$ 的形状（即不等式里的 $x = \eta$ ， $p = \gamma_3$ ， $q = \gamma_1$ ），直接套用：

\eta^* = \left(\frac{\gamma_1 \alpha_1 T^{-\gamma_1}}{\gamma_3 \alpha_3}\right)^{\frac{1}{\gamma_1+\gamma_3}} \;\sim\; T^{-\frac{\gamma_1}{\gamma_1+\gamma_3}}

两个立刻可读出的结论：最优学习率随训练步数衰减，指数小于 1；同时，如果假设每次都跑在最优学习率上，三参数公式坍缩成两参数：

F_{\text{opt}}^* \;\sim\; \tilde{\alpha}_1 T^{-\tilde{\gamma}_1} + \alpha_2 B^{-\gamma_2}, \qquad \tilde{\gamma}_1 = \frac{\gamma_1\gamma_3}{\gamma_1+\gamma_3}

代入理论值 $\gamma_1 = \gamma_3 = 1$ 得 $\tilde{\gamma}_1 = 1/2$ ，即 $\eta^* \sim T^{-1/2}$ 。这个”假设总在最优超参下训练”的降维正是 arXiv:2607.01487 提议使用的解耦形式——原本 6 个待拟合参数降到 4 个，打点成本和过拟合风险同步下降。

5.3 最优批大小：第二次套

固定 $K = BT$ （训练中学过的样本总数），把 $T = K/B$ 代入两参数式：

F_{\text{opt}} \;\sim\; \tilde{\alpha}_1 (B/K)^{\tilde{\gamma}_1} + \alpha_2 B^{-\gamma_2}

又是异幂不等式的形状（ $B$ 一正一负两个幂次），最小值在：

B^* \;\sim\; K^{\frac{\tilde{\gamma}_1}{\tilde{\gamma}_1+\gamma_2}}, \qquad F_{\text{opt}}^* \;\sim\; K^{-\frac{\tilde{\gamma}_1\gamma_2}{\tilde{\gamma}_1+\gamma_2}}

代入理论值（ $\tilde{\gamma}_1 = 1/2$ 、 $\gamma_2 = 1/2$ ）得：

B^* \sim K^{1/2}, \qquad \eta^* \sim T^{-1/2} \sim K^{-1/4}, \qquad F_{\text{opt}}^* \sim K^{-1/4}

5.4 验算：理论值对上实测值了吗

先说明口径：下表”相对偏差”一列按”相对误差 = |实测−理论| / |理论|“计算，是本文自行验算的数字，不是任何一篇论文自己报告的误差；各论文原文报告的是各自的拟合 RMSE/R²（如 Microsoft Law 的 RMSE = 2.2×10⁻⁵、R² = 0.978），与这里的跨论文对比是两回事。

这是整个框架最值得工程读者记住的一张表——理论指数（零拟合参数，纯来自优化器收敛分析）对照各家实验拟合值：

量	本文框架理论值	各家实测	相对偏差	来源
最优批大小 $B^*$ 对 $K$ 的指数	$1/2 = 0.5$	Step Law：0.571	约 14%	arXiv:2503.04715 表 1
最优学习率 $\eta^*$ 对 $K$ 的指数	$-1/4 = -0.25$	Microsoft Law：−0.32（ $D$ 的指数， $N$ 固定时）	约 28%	arXiv:2409.19913 式(4)
优化误差 $F_{\text{opt}}^*$ 对 $K$ 的指数	$-1/4 = -0.25$	Chinchilla：−0.28（数据项指数）	约 12%	arXiv:2203.15556 式(10)

偏差说明：这些实测指数来自不同实验设置、不同模型家族、不同 token 化和拟合方法，逐点对齐本来就不该期望精确命中；能对到百分之十几到三十的量级（本文按”相对误差 = |实测−理论|/|理论|“口径自算：Step Law 对 0.5 偏约 14%、Microsoft Law 对 −0.25 偏约 28%、Chinchilla 对 −0.25 偏约 12%，逐条见文末推导清单），已经说明”收敛理论指数 + 异幂不等式”抓住了主要结构。苏剑林自己的评价是”比较接近""相差不远”。

还要注意一个框架内部的真实分歧：Step Law 给出的 $\eta^* = 1.79\,N^{-0.713}D^{0.307}$ 里， $D$ 的指数是正的 0.307——即其他条件固定时，数据越多最优学习率越大；而 Microsoft Law 的 $\eta^* = 1.55\times 10^{-3}\,N^{-0.23}D^{-0.32}$ 里 $D$ 的指数是负的（系数按 Microsoft Law 原文式(4)；Step Law 表 1 的改写形式给出 $1.3192\times10^{-5}$ ，指数相同、系数口径不同）。两者方向相反，因为它们固定其他变量的方式不同：Step Law 在固定 $N$ 和 $D$ 下扫学习率，Microsoft Law 在固定 $N$ 下扫 token horizon。这正呼应了本文开头的观察——各家 Law 打架，多数时候是”在哪个约束下求最小”不同，而不是谁错了。这套框架的价值之一就是把”约束”变成了显式参数，让这种对比成为可能。

5.5 一张图：优化篇的推导链

flowchart TD
    A["优化误差假设<br/>F ~ α₁(Tη)^-γ₁ + α₂B^-γ₂ + α₃η^γ₃"] -->|对 η 套异幂不等式| B["最优学习率<br/>η* ~ T^(-γ₁/(γ₁+γ₃))"]
    B -->|代入回原式，6 参数降为 4 参数| C["解耦形式<br/>F* ~ ã₁T^-γ̃₁ + α₂B^-γ₂"]
    C -->|固定 K=BT，对 B 再套不等式| D["最优批大小<br/>B* ~ K^(γ̃₁/(γ̃₁+γ₂))"]
    D -->|代入理论值 γ₁=γ₃=1, γ₂=1/2| E["理论预测<br/>B* ~ K^(1/2), η* ~ K^(-1/4), F* ~ K^(-1/4)"]
    E -->|与实测对照| F["Step Law 0.571<br/>Microsoft Law -0.32<br/>Chinchilla -0.28"]

这张图说明了什么：整条优化篇的推导链是一个”假设 → 套不等式 → 降维 → 再套不等式 → 代理论值 → 对实测”的漏斗，每一步都只在引入一个新约束时做一次最小化，没有任何一步需要数值拟合。

六、架构篇：深宽比、算力分配与稀疏架构

6.1 深度与宽度：最优配比无解析解

架构误差最朴素的假设是 $F_{\text{arch}} \sim \alpha_4 N^{-\gamma_4}$ （Kaplan 给 $\gamma_4 = 0.076$ ，Chinchilla 给 0.34，普遍认为后者在训练规模变大时更准）。更细一点，把宽度 $W$ 和深度 $H$ 分开：

F_{\text{arch}} \;\sim\; \alpha_W W^{-\gamma_W} + \alpha_H H^{-\gamma_H}, \qquad N \sim W^2 H

注意这里的最小化问题和异幂不等式不同型：约束是 $x + y = 1$ 的和约束而非乘积约束，一阶条件为

\frac{x^{p+1}}{(1-x)^{q+1}} = \frac{ap}{bq}

它没有初等解析解，但左端在 $(0,1)$ 上严格单调，二分法即可数值求解。原文提到 arXiv:2606.25008 从理论出发提出 $\gamma_W = \gamma_H = 1$ ，代入得

W^* \sim N^{1/3}, \qquad H^* \sim N^{1/3}, \qquad F_{\text{arch}}^* \sim N^{-1/3}

即最优形状是”等比放大”——宽和深随参数量同比例增长，这跟多数大模型实践中宽深大致同步扩展的直觉一致，且 $N^{-1/3}$ 与 Chinchilla 的 0.34 相当接近（偏差约 2%）。

工程含义：如果你在设计一个 2 倍参数量的模型，深宽各乘 $2^{1/3} \approx 1.26$ 比把参数全砸进宽度（或全砸进深度）更接近理论最优。当然这是 $\gamma_W = \gamma_H$ 假设下的结论，实践中还要叠加数据效率、长上下文需求等约束。

6.2 参数量如何反过来改变优化规律

一个容易被忽略的耦合：优化误差的系数 $\alpha_1, \alpha_2, \alpha_3$ 在架构篇里不再视为常数——参数量越大，模型能力越强、损失下降越快（ $\alpha_1 \to \alpha_1 N^{-\gamma_5}$ ），但模型越复杂、噪声越大（ $\alpha_2 \to \alpha_2 N^{\gamma_6}$ 、 $\alpha_3 \to \alpha_3 N^{\gamma_7}$ ）。把这套替换代回优化篇重复推导，会得到一组 $K$ 和 $N$ 联合的指数。苏剑林接着做了一个很”物理”的假设：既然 Kaplan、Chinchilla、Step Law 的拟合都显示 $B^*$ 和 $F_{\text{opt}}^*$ 与 $N$ 无关，就让这两个 $N$ 指数为零，解出 $\gamma_3\gamma_5 = \gamma_1\gamma_7$ 、 $\gamma_6 = 0$ 。有趣的结果是：在这个假设下重新推出 $\eta^* \sim K^{-c}N^{-\gamma_7/\gamma_3}$ ——对 $N$ 的依赖是假设的推论而不是输入，而它的形状恰好与 Microsoft Law 的 $N^{-0.23}$ 一致。 $\gamma_7$ 的取值：Microsoft Law 给 0.23，Step Law 给 0.713，苏剑林从凸优化里梯度标准差的量级猜测它在 0 到 0.5 之间，“拍一个 1/4”。

6.3 给定算力：Chinchilla 结论的重推导

Dense 模型每步计算量约正比于 $N$ ，总计算量 $C \sim NK$ （标准架构约为 $6NK$ ：前向 $2NK$ 加反向 $4NK$ ）。把优化误差与架构误差合起来，在 $NK \sim C$ 约束下求最优：

F_{\text{opt}}^* + F_{\text{arch}} \;\sim\; \hat{\alpha}_1 C^{-\hat{\gamma}_1} N^{\hat{\gamma}_1} + \alpha_4 N^{-\gamma_4}

又是异幂不等式（ $N$ 的指数一正一负），直接得：

N^* \sim C^{\frac{\hat{\gamma}_1}{\hat{\gamma}_1+\gamma_4}}, \qquad K^* \sim C^{\frac{\gamma_4}{\hat{\gamma}_1+\gamma_4}}, \qquad F^* \sim C^{-\frac{\hat{\gamma}_1\gamma_4}{\hat{\gamma}_1+\gamma_4}}

代入理论值 $\hat{\gamma}_1 = 1/4$ 、 $\gamma_4 = 1/3$ ：

N^* \sim C^{3/7} \approx C^{0.43}, \qquad K^* \sim C^{4/7} \approx C^{0.57}, \qquad F^* \sim C^{-1/7}

对照 Chinchilla 的参数拟合法（arXiv:2203.15556 式(4)）： $a = 0.46$ 、 $b = 0.54$ ，即 $N^* \sim C^{0.46}$ 、 $K^* \sim C^{0.54}$ 。理论值 0.43/0.57 与实测 0.46/0.54 偏差分别约 7%（ $N^*$ ）与 5%（ $K^*$ ）——Chinchilla 的”参数与数据大致等比扩展”在这套框架里不是一个独立发现，而是”优化收敛理论指数 + 异幂不等式”的必然推论。这是全文最漂亮的一处闭环。

顺带还能推出最优批大小随算力的缩放 $B^* \sim C^{2/7} \approx C^{0.29}$ ，与 DeepSeek Law 的 $B^* = 0.2920\,C^{0.3271}$ （arXiv:2401.02954 式(1)）相差不多；但学习率一项，框架给 $\eta^* \sim C^{-1/4}$ （代入 $\gamma_7 = 1/4$ ），DeepSeek Law 给 $\eta^* = 0.3118\,C^{-0.1250}$ ，差距明显。原文对此的判断是：各家在最优批大小上比较一致，最优学习率分歧大，可能跟具体优化设置和学习率 Schedule 相关。

6.4 MoE 与 Memory：解耦参数量与计算量之后

Dense 假设”参数量即计算量”在 MoE 上失效：理论计算量只取决于激活参数量 $N_{\text{act}}$ ，增加稀疏度 $S = N_{\text{total}}/N_{\text{act}}$ 理论上不增加计算量但能降损失。把稀疏度纳入的简单方案（与 arXiv:2501.12370 相似）：

F_{\text{arch}} \;\sim\; \alpha_4 N_{\text{act}}^{-\gamma_{\text{act}}} N_{\text{total}}^{-\gamma_{\text{total}}} = \alpha_4 N_{\text{act}}^{-(\gamma_{\text{act}}+\gamma_{\text{total}})} S^{-\gamma_{\text{total}}}

由此可导出”等效参数量”：

N_{\text{eff}} = N_{\text{act}}^{\frac{\gamma_{\text{act}}}{\gamma_{\text{act}}+\gamma_{\text{total}}}} N_{\text{total}}^{\frac{\gamma_{\text{total}}}{\gamma_{\text{act}}+\gamma_{\text{total}}}}, \qquad F_{\text{arch}} \sim \alpha_4 N_{\text{eff}}^{-(\gamma_{\text{act}}+\gamma_{\text{total}})}

民间常用经验公式 $N_{\text{eff}} = \sqrt{N_{\text{act}}N_{\text{total}}}$ 对应 $\gamma_{\text{act}} = \gamma_{\text{total}}$ 的特例。但这个形式有个漏洞：计算量只看 $N_{\text{act}}$ ，那让 $N_{\text{act}} \to 0$ 、 $S \to \infty$ ，就能用近乎零的算力保住效果——显然不现实。所以合理猜测还要补一项对 $N_{\text{act}}$ 的惩罚：

F_{\text{arch}} \;\sim\; \alpha_4 N_{\text{act}}^{-\gamma_{\text{act}}} N_{\text{total}}^{-\gamma_{\text{total}}} + \alpha_8 N_{\text{act}}^{-\gamma_8}

Memory 层（PKM、UltraMem、Engram 等）可以看成 MoE 的另一个极端：“Expert”退化为无可计算的可训练向量，靠 Router 或 N-gram Hash 选中。若两类稀疏设计同时使用，还出现一个真正的”最优配比率”问题：固定 $N_{\text{act}}$ （计算瓶颈）和 $N_{\text{total}}$ （内存瓶颈），在恒等式 $N_{\text{moe}} + N_{\text{mem}} = N_{\text{total}} + N_{\text{act}}$ 的和约束下分配参数——这正是第三节那个无解析解、需二分求解的问题，结论是存在一个非平凡的最优配比，不是把参数全给 MoE 或全给 Memory 最好。

6.5 架构篇数据流

flowchart TD
    A["架构误差 F_arch"] --> B["朴素版：F ~ α₄N^-γ₄<br/>Kaplan 0.076 / Chinchilla 0.34"]
    A --> C["深宽版：F ~ α_W·W^-γ_W + α_H·H^-γ_H<br/>和约束，二分数值解"]
    A --> D["MoE 版：F ~ α₄·N_act^-γ_act·N_total^-γ_total + α₈·N_act^-γ₈"]
    C -->|γ_W=γ_H=1| E["W*~N^(1/3), H*~N^(1/3)<br/>F*~N^(-1/3) vs Chinchilla 0.34"]
    D -->|定义| F["等效参数量 N_eff<br/>特例：√(N_act·N_total)"]
    D -->|叠加 Memory 层| G["和约束最优配比<br/>MoE 与 Memory 参数不全是哪一边最好"]
    B -->|并入算力约束 C~NK| H["N*~C^(3/7), K*~C^(4/7)<br/>vs Chinchilla 0.46/0.54"]

这张图说明了什么：架构误差这一段按”变量粒度”分了三层（一个标量 $N$ 、两个标量 $W/H$ 、四个标量的 MoE+Memory），粒度越细约束类型越复杂——从异幂不等式（解析解）退化到和约束（数值解），但方法骨架不变。

七、数据篇：唯一没有解析解、也是最模糊的一段

7.1 把 K 和 D 分开

数据误差 $F_{\text{data}}$ 的基本形式：

F_{\text{data}} \;\sim\; \alpha_9 D^{-\gamma_9} + \alpha_{10} (K/D)^{\gamma_{10}}

第一项：训练集越大泛化越好；第二项： $K/D$ 是平均每个样本被训的次数（Epoch 数），Multi-Epoch 越严重泛化越差。区分 $K$ 和 $D$ 是这套框架与多数经典工作的关键差异——Kaplan、Chinchilla 默认 Single-Epoch（ $K = D$ ），于是”数据”只有一个旋钮；分开后才有资格讨论”数据不够时该训几遍”。

7.2 最优轮数：第三次套异幂不等式

固定 $D$ 、 $N$ 且总在最优超参下训练，合并优化误差与数据误差：

F_{\text{opt}}^* + F_{\text{data}} \;\sim\; \hat{\alpha}_1 K^{-\hat{\gamma}_1} + \alpha_{10}(K/D)^{\gamma_{10}}

对 $K$ 套异幂不等式（ $K$ 一负一正两个幂次）：

K^* \;\sim\; D^{\frac{\gamma_{10}}{\hat{\gamma}_1+\gamma_{10}}}, \qquad \frac{K^*}{D} \;\sim\; D^{-\frac{\hat{\gamma}_1}{\hat{\gamma}_1+\gamma_{10}}}

第二个式子读出来是：数据越少，最优 Epoch 数越多；数据越多，最优 Epoch 数越少（且趋于 1，即 Single-Epoch 附近）。这与 arXiv:2511.13421《Larger Datasets Can Be Repeated More》的结论方向相反。原文坦承这一点，并给了一个修补方案：把惩罚项一般化为 $\alpha_{10}K^{\gamma_{10}}D^{-\gamma_{11}}$ ，此时最优 Epoch 随数据增减的方向由 $\gamma_{11} - \hat{\gamma}_1 - \gamma_{10}$ 的符号决定，两种方向都可能——等于承认当前形式定不了这个方向。

这个未决分歧值得工程读者注意：“小数据多训几遍”到底是补救还是伤害，在理论层面还没有定论，你的数据清洗预算和爬虫预算之间的边际交换率，目前没有可靠公式可抄。

7.3 数据侧为什么”凌乱”

苏剑林对数据篇的自我评价是理解”还停留在非常肤浅的阶段”，并给出三个原因：其一，优化器和架构的变量（ $\eta, B, T, N, W, H, S$ ）都是明确的数字，而数据的领域、质量、模态没有清晰边界，无法用单一标量刻画；其二， $\mathcal{D}$ 、 $\mathcal{A}$ 、 $\mathcal{O}$ 都是损失的条件，变量相互作用，很难构造”干净”的实验设置；其三，方法论上有个内生悖论——为了公平测量效果要先准备一个”装作不知道”的测试集，再去研究训练数据的规律，“这个流程不管怎么看都挺莫名其妙”。数据配比、质量、模态的建模工作（arXiv:2403.16952、2510.03313、2607.22043 等）形式五花八门，尚无可统一的骨架。

八、幂律篇：为什么是幂律、为什么只动系数不动指数

两个”元问题”。

为什么假设幂律？ 原文的回答：当我们确定一个变量的依赖关系是单调递减、且只关心渐近行为时，初等函数里基本只有幂函数和指数函数两类可选。指数衰减是”短尾”的——资源稍加投入收益就触顶，与体感不符；幂律是”长尾”的，能描述”持续投入、持续改善”。更深一层，幂律等价于无标度性： $f(\lambda x) = \lambda^{-\gamma}f(x)$ ，函数在任何尺度下看起来都一样，而”Scaling”的本义恰恰是跨尺度规律。实用层面：幂律在 log-log 坐标下是直线，好拟合好可视化；且异幂不等式保证最小值点和最小值仍是幂律——形式封闭。

为什么条件变化只改系数、不改指数？ 这是框架里最”物理”的一条假设（架构变化只影响优化误差幂律的系数、稀疏度只影响架构误差的系数，指数保持不变）。苏剑林给的理由有三层：数学务实——指数若随条件变化，幂律形式本身被破坏，异幂不等式失效，框架失去可操作性；物理类比——统计物理中相变的临界指数是普适的，同一普适类的材料共享指数、细节只改非普适的前置因子，类似地指数可理解为问题本身的”难度”（由数据分布与任务决定），系数是解决方案的”工程水平”；反证法——若有限的工程改进真能改变指数，渐近意义下其相对优势随规模无界放大，有限投入换无界收益，通常不现实，除非它改变了问题本身。arXiv:2606.25008 的立场论文给了更强的版本：指数由 Softmax 非线性（时间的三分之一幂）、表征叠加（宽度反比）、层间集成平均（深度反比）等通用机制固定，系数才对数据和架构细节敏感——“fixed exponents, time to understand coefficients”。

这条”指数难动”的假设对工程团队有直接的预算含义：如果你的一次架构改进让 loss 曲线在 log-log 图上斜率变了，先怀疑实验有混淆变量，再庆祝找到了新机制——按这套世界观，斜率（指数）是问题的属性，截距（系数）才是你的工程水平。

九、把各家 Law 装进同一个格子

现在可以把开头的”打架”重新读一遍。下表把本文涉及的主要 Law 放进三重分解的坐标系：

Law	年份/出处	主变量	核心结论	在框架中的位置
Kaplan Law	2020，arXiv:2001.08361	$N, D, C$	$L(N) \sim (N_c/N)^{0.076}$ ；算力优先堆参数	架构段朴素版 $\gamma_4 = 0.076$ ；未区分 K/D，Embedding 统计口径有争议（arXiv:2406.12907）
Chinchilla Law	2022，arXiv:2203.15556	$N, D, C$	$L = E + A/N^{0.34} + B/D^{0.28}$ ； $N^* \sim C^{0.46}$	架构段 $\gamma_4 = 0.34$ ；算力分配结论被框架理论值 3/7、4/7 独立复现
Microsoft Law	2024，arXiv:2409.19913	$N, D$	$\eta^* = C_{\text{ms}}N^{-0.23}D^{-0.32}$	优化段： $\eta^$ 对 $N$ 的依赖是”B、F* 与 N 无关”假设的推论； $\gamma_7 = 0.23$
DeepSeek Law	2024，arXiv:2401.02954	$C$	$\eta^* = 0.3118C^{-0.1250}$ 、 $B^* = 0.2920C^{0.3271}$	优化+架构联合段的算力约束版； $B^$ 的理论值 $C^{2/7}$ 吻合、 $\eta^$ 偏差大
Step Law	2025，arXiv:2503.04715	$N, D$	$\eta^* = 1.79N^{-0.713}D^{0.307}$ 、 $B^* = 0.58D^{0.571}$	优化段： $B^*$ 理论值 $K^{1/2}$ 吻合； $D$ 指数符号与 Microsoft Law 相反源于约束方式不同
苏剑林框架	2026，kexue.fm/archives/11833	$\eta,B,T,N,W,H,S,K,D,C$	三重分解 + 异幂不等式统一以上各格	骨架本身：零拟合参数的理论值（1/2、1/4、1/3、3/7）对上各家实测

读法：前五行是不同横截面上的实验拟合，最后一行是把它们串起来的”生成机制”。理论指数与实测指数 2%–28% 的偏差不是失败——拟合值本身携带各家模型家族、数据配方、token 化的差异，而理论值是零参数的。

十、边界与未解：这套框架不解释什么

如实列出框架自身的边界，多数是苏剑林在原文中主动声明的：

没有证明任何定理。原文自述：“我们没有证明任何定理，只是写下了一个三重分解，以及凭经验写下了一堆幂律假设，然后利用最优化方法做了一些基本的分析。“它更像物理里的量纲分析——先凭直觉和单调性猜形式，推导最优解规律，再对照经典结果修正。
数据篇是最弱的一段。最优 Epoch 方向与 arXiv:2511.13421 相反且无裁决；惩罚项 $K \to \infty$ 时损失趋于无穷的渐近行为与经验（继续训练测试损失不会无穷大）矛盾，只在 Multi-Epoch 不太多的区间可用。
$\gamma_7$ 只能”拍”。Microsoft Law 给 0.23、Step Law 给 0.713，框架内部没有机制定这个值，苏剑林从梯度标准差量级猜 0 到 0.5 之间、取 1/4——这是整条链上最不硬的一环。
长上下文缺位。框架里计算量 $C \sim NK$ 不含上下文长度。苏剑林在评论回复中承认：跑 Scaling Law 实验时上下文一般只有 4K 至多 8K，1M 上下文下 attention 层的计算量不可忽略，“可能要做新的修正”。
稀疏架构只搭了形。MoE 的路由开销、推理效率、Shared Expert、Expert 颗粒度等实践因素都只点到为止（arXiv:2509.23678 试图把所有因素糅进一个大形式拟合），“增加稀疏度总是划算的”仅在理论计算量意义上成立。
指数普适性是猜想。“系数之问”的答案是作者自认”基于简洁性与自洽性的一个猜想，算是开放问题”。arXiv:2606.25008 的普适类论证是一篇立场论文（position paper）的力度，不是证明。
各家实测指数的可比性有限。本文第五、六节做的”理论值 vs 实测值”对照，前提是各家用可比的量在可比的区间拟合——实际上模型家族、数据配方、拟合方法都不同，14% 或 28% 的偏差里有多少是框架误差、多少是实验异质性，无法从公开数字里分离。

十一、小结

这套框架的贡献不是新数据、不是新公式，而是把 Scaling Law 从”一堆各自为政的经验拟合”重新组织成”一个可推导的结构”：三重分解提供坐标系，异幂不等式提供引擎，各家 Law 的指数变成坐标系里不同位置的读数。对工程读者，三个可带走的东西：

降维武器：假设”总在最优超参下训练”，六参数优化律坍缩成两参数，再坍缩成单参数经典形式——打点预算减半以上，这直接对应 arXiv:2607.01487 的解耦做法；
方向直觉： $\eta^*$ 随步数/样本数衰减、 $B^*$ 随样本数增长、深宽等比、参数数据等比，四个方向都有零参数理论值背书；
怀疑论锚点：指数是问题的属性、系数是工程水平——下次看到”我们的新架构改变了 Scaling 斜率”的说法，知道该先查什么。

而它的诚实同样值得带走：作者明确说数据篇理解肤浅、 $\gamma_7$ 是拍的、指数普适是猜想。在一个Scaling Law 被当作圣经引用的舆论环境里，一篇把”哪些是推导、哪些是假设、哪些是拍脑袋”标得清清楚楚的长文，本身就是方法论示范。

📋 来源与核验记录

以下来源均为本文写作过程中实际打开并核对过的一手来源（核对日期：2026-09-30，北京时间）：

苏剑林. 《解构 Scaling Law：优化、架构、数据的三重奏》. 科学空间, 2026-07-29. https://kexue.fm/archives/11833 （镜像：https://www.spaces.ac.cn/archives/11833 ） —— 本文主线；三重分解、异幂不等式、各节推导与”小结一下”的结论、以及第十节中主动声明的边界（无定理、数据篇肤浅、 $\gamma_7$ 拍 1/4、评论中关于长上下文的回复）均出自此文。已核对：异幂不等式取等条件、理论值 $\gamma_1=\gamma_3=1,\gamma_2=1/2$ 、 $B^*\sim K^{1/2}$ 、 $\eta^*\sim K^{-1/4}$ 、 $N^*\sim C^{3/7}$ 等式子在原文中逐条存在。
Kaplan, J. et al. “Scaling Laws for Neural Language Models.” arXiv:2001.08361. https://arxiv.org/abs/2001.08361 —— 已在 HTML 版核对 $\alpha_N \sim 0.076$ （式 1.1，non-embedding parameters）。
Hoffmann, J. et al. “Training Compute-Optimal Large Language Models”（Chinchilla）. arXiv:2203.15556. https://arxiv.org/abs/2203.15556 —— 已在 HTML 版核对式(10) $L(N,D) = E + A/N^{0.34} + B/D^{0.28}$ （ $E=1.69, A=406.4, B=410.7$ ）与参数拟合法 $a = 0.46, b = 0.54$ （式(4) 及 Table 2）。
Step Law: “Predictable Scale: Part I, Step Law — Optimal Hyperparameter Scaling Law in Large Language Model Pretraining.” arXiv:2503.04715. https://arxiv.org/abs/2503.04715 —— 已在 HTML 版 v7 核对表 1 与正文式(1)： $\eta^* = 1.79\,N^{-0.713}D^{0.307}$ 、 $B^* = 0.58\,D^{0.571}$ ；论文摘要称训练 3700+ 个 LLM、约 100 万 H800 GPU 小时。
Microsoft Law: Bjorck, J. et al. “Scaling Optimal LR Across Token Horizons.” arXiv:2409.19913（ICLR 2025）. https://arxiv.org/abs/2409.19913 —— 已在 HTML 版 v3 核对式(3) $LR^*(N,D) = CN^{-\alpha}D^{-\beta}$ 与式(4) 拟合值 $C \sim 1.55\times10^{-3}, \alpha \sim 0.23, \beta \sim 0.32$ ；Step Law 表 1 中引用的 $1.3192\times10^{-5}N^{-0.23}D^{-0.32}$ 为 Step Law 对其改写的形式。
DeepSeek-AI. “DeepSeek LLM: Scaling Open-Source Language Models with Longtermism.” arXiv:2401.02954. https://arxiv.org/abs/2401.02954 —— 已在 HTML 版核对式(1)： $\eta_{\text{opt}} = 0.3118\,C^{-0.1250}$ 、 $B_{\text{opt}} = 0.2920\,C^{0.3271}$ ；论文使用 $C = 6ND$ 近似（后改用更精确的 $C = MD$ ）。
其他在正文提及、经 arXiv API/摘要核对标题与主题的论文（未逐条读全文，仅核对存在性与主题）：arXiv:2503.12645（Understanding Gradient Orthogonalization）、arXiv:2603.15958（Deriving Hyperparameter Scaling Laws via Modern Optimization Theory，摘要确认其对 LMO 框架优化器给出闭式幂律）、arXiv:2607.01487（How to Allocate Your Tokens? Scaling Laws with Training Steps and Batch Size）、arXiv:2606.25008（Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients，摘要确认其为立场论文）、arXiv:2501.12370（Parameters vs FLOPs: Scaling Laws for Optimal Sparsity for MoE）、arXiv:2406.12907（Reconciling Kaplan and Chinchilla Scaling Laws）、arXiv:2511.13421（Larger Datasets Can Be Repeated More）、arXiv:2403.16952（Data Mixing Laws）、arXiv:2510.03313（Scaling Laws Revisited: Modeling the Role of Data Quality）、arXiv:2607.22043（Scaling Native Multimodal Pre-Training From Scratch）、arXiv:2509.23678（Towards a Comprehensive Scaling Law of MoE）。
苏剑林博客引用、本文正文未直接使用的论文（仅登记存在性，不计入上文核对范围）：arXiv:2202.01169（Unified Scaling Laws for Routed Language Models）、arXiv:2605.01640（Prescriptive Scaling Laws for Data Constrained Training）、arXiv:2305.16264（Scaling Data-Constrained Language Models）。

本文自行推导/验算的数字清单（与官方口径分列）：

偏差百分比：Step Law 0.571 对理论 0.5 偏差约 14%；Microsoft Law −0.32 对 −0.25 偏差约 28%；Chinchilla −0.28 对 −0.25 偏差约 12%；深宽比理论 $N^{-1/3}$ 对 Chinchilla 0.34 偏差约 2%；算力分配理论 3/7≈0.43、4/7≈0.57 对 Chinchilla 0.46/0.54 偏差分别约 7%（理论 0.43 对实测 0.46）与 5%（理论 0.57 对实测 0.54）； $B^*$ 理论 $C^{2/7}\approx C^{0.29}$ 对 DeepSeek 0.3271 偏差约 14%（精确按未舍入的 2/7\approx0.2857 计为 14.5%；分母一律用理论值，不用实测值）。以上均为本文按”相对误差 = |实测−理论|/|理论|“口径自行计算。
Microsoft Law 对 Step Law 中 $D$ 指数符号相反的分析（约束方式不同）、以及”对 $N$ 的依赖是 B*、F* 与 N 无关假设的推论”的推导链梳理，为本文基于原文的自行解读。

未核实项（如实声明）：

arXiv:2603.15958 中 SignSGD/Muon 收敛分析给出 $\gamma_1 = \gamma_3 = 1$ 、 $\gamma_2 = 1/2$ 的具体推导本文未逐行验证，仅从其摘要确认”对 LMO 框架优化器（含 normalized SGD、signSGD、Muon）给出闭式幂律”与苏文的引用一致。
苏文对”Microsoft Law 给出 0.23、Step Law 给出 0.713”的 $\gamma_7$ 归属：0.23 已直接在 Microsoft Law 原文式(4) 核对；0.713 已在 Step Law 原文表 1 核对为 $N$ 的指数。但”这两个指数对应框架中的 $\gamma_7$ “这一映射本身是苏文的观点，本文未独立复核 Step Law 的拟合是否在其他变量固定方式下能拆出独立的 $\gamma_7$ 。
DeepSeek Law 的 $\eta^*$ 与框架理论值的明显差距（−0.125 vs −0.25），原文归因于”优化设置和学习率 Schedule”，本文未从 DeepSeek 论文中独立验证该归因。