草稿先行、并行验证:投机解码为什么能把大模型解码提速两倍多,而不改变目标模型的输出分布
大模型逐 token 解码慢,根子是每生成一个 token 都要把全部权重从显存搬一遍。投机解码让一个小草稿模型先猜若干步、大模型一次并行打分,用拒绝采样保证输出分布不变——这是分布意义上的严格等价,单次采样结果并不承诺与某一次基线运行逐字相同(贪心解码是例外)。本文从带宽账推导它为什么快,给出期望接受 token 数与加速比的闭式公式,并自算一组加速曲线(演示参数 α=0.7、β=0.05 下最优 γ 约为 5–6、加速约 2.35 倍;γ=7 时约 2.3 倍);对照口径:Chen 等在 Chinchilla 70B 分布式部署下报告 2–2.5 倍解码加速。带宽墙示例为本文按公开规格自算(70B bf16、batch=1、权重流量主导,在 4.8 TB/s 带宽下约 29 ms/步、约 34 token/s 理论上界),非实测。
草稿先行、并行验证:投机解码为什么能把大模型解码提速两倍多,而不改变目标模型的输出分布
2022 年 11 月到 2023 年 2 月,Google 与 DeepMind 的两个团队先后发表了同一思路的论文:让一个远小于目标模型的小模型先把 token”草拟”出来,再让大模型一次性并行验证这些草稿,验证通过的部分直接采纳。这就是投机解码(speculative decoding)。前者在 T5-XXL 上相对标准 T5X 实现实测 2–3 倍加速,后者在 70B 的 Chinchilla 上、于分布式部署形态下实测 2–2.5 倍解码加速——两组数字的基线实现与部署形态不同,不可直接横向比较。两者对输出分布的保证相同:与逐 token 解码在分布意义上严格相等——不是”几乎一样”,是数学上严格相等——严格性以浮点数值精度为限(Chen et al. 的口径是”within hardware numerics”)。注意”分布不变”的准确含义:同一起草线下,两种方式产出的样本服从同一分布;采样自带随机性,单次运行并不保证逐字相同(贪心解码是能承诺逐字相同的特例,见第 3 节)。
一个值得记住的时间线(提交日以 arXiv 摘要页为准,均于本文截稿当日核读):Leviathan 等的论文 2022 年 11 月 30 日首次提交、2023 年 5 月 18 日修订到 v2;Chen 等(DeepMind,Chinchilla)2023 年 2 月 2 日提交;两个团队前后只差约两个月、方法几乎相同——这在方法论上说明它不是某个团队的奇思,而是”带宽墙下解码延迟”这道题相当自然的解法。从 Chen 等提交起再过约一年,2024 年 1 月 Medusa(1 月 19 日提交)与 EAGLE(1 月 26 日提交)在同一个月里先后把”草稿来源”从独立小模型推进到”模型自己长出来的头”。至于”进入主流推理栈”:本文只在截稿当日确认 vLLM 文档已把投机解码列为正式特性(见来源 5),不给”何时首次落地”下断言。
本文做三件事:先把”为什么慢”的账算清楚(这笔账在显存带宽,不在算力);再把核心的拒绝采样算法与它的分布等价性逐步推导出来;最后自己推导期望接受 token 数与端到端加速比的闭式公式,自算一组加速曲线,看它跟论文报告的数字对不对得上。
1 术语与符号表
先把本文用到的符号一次性列清,后文不再重复定义:
| 符号 | 含义 | 备注 |
|---|---|---|
| 目标模型在当前前缀下对下一个 token 的概率分布 | 大模型,如 70B | |
| 草稿模型的分布 | 小模型,如 1B 级 | |
| 每轮起草的 token 数 | 两篇原始论文实验取 3–8(Leviathan 扫描 γ∈{1,3,7,8}、Chen 用 K∈{3,4},见来源 1、2) | |
| 单个草稿 token 的接受率 | 精确定义见第 3 节;速度估计时按位置平均(见第 4 节) | |
| 目标模型基线增量前向(处理一个新位置)的耗时 | 解码态、batch=1 | |
| 草稿模型生成一个 token 的耗时 | 同硬件、同样解码态 | |
| 草稿一步与目标基线一步的时间比 | 关键工程变量 | |
| 一轮迭代平均产出多少个 token | 含拒绝后的修正 token | |
| 端到端加速比 | 基线每 token 时间 ÷ 投机每 token 时间 | |
| KV 缓存 | 注意力键值缓存 | 拒绝时要回滚的部分(见第 8 节) |
| 树形注意力 | 分叉草稿专用的注意力掩码 | Medusa 与 EAGLE 共用的工程构件 |
| token | 模型处理文本的最小单位 | 与中文”字”不一一对应 |
| logits | 输出层给词表每个候选的未归一化分数 | 经温度等处理后归一化成分布 |
| bf16 | 16 位脑浮点存储格式 | 每个参数占 2 字节 |
| HBM | 高带宽显存 | 每步权重从这里搬进计算单元 |
| prefill / decode | 预填充 / 逐 token 解码两个阶段 | 见第 2 节 |
| batch(批量) | 一次前向并行处理的位置数 | 单请求候选位置与多请求并发是两个维度 |
另外约定两个”一次前向”:基线解码的一次前向是增量前向,只处理一个新位置;验证时目标模型的一次前向则并行处理一整块候选位置(批量维为 )。两者都复用已有 KV 缓存、都只把全部权重从显存搬一遍。本文并假设 KV 缓存的读写流量相对权重搬运可忽略——上下文极长时这个假设会松动,届时每步时间里 KV 流量的占比上升,但”一次前向算多个位置仍只搬一遍权重”的结论不变。
阅读地图:第 2 节是硬件账(为什么慢、为什么小批量下并行验证近乎免费);再往后依次是第 3 节算法与等价性证明(全文核心)、第 4–5 节速度公式与自算曲线(想直接抄公式的从那里看起)、第 6–7 节变体选型与蒸馏对比、第 8–9 节边界与 FAQ。时间紧的读者可以只读第 3、5 两节。
称谓约定:下文一律用「目标模型」指被加速的大模型(即 )、「草稿模型」指出建议的小模型(即 );「一轮」指一次”起草 → 验证 → 回灌”的完整循环;「位置」指草稿链上的第 个 token 槽位。
单位约定:时间用毫秒(ms)、吞吐用 token/s、加速比为无量纲倍数;凡标注「本文自算」的数字均为按闭式公式代入的演示值,与论文实测口径分列(见文末来源段的分列说明)。
这一节想让你记住的一件事:投机解码的全部收益都压在 (草稿准不准)和 (草稿快不快)这两个数上,后面所有公式只是把它们组合起来的方式不同。
2 先把”慢”的账算明白:解码是一道带宽题
训练大模型吃的是算力,但 batch=1 的逐 token 解码吃的不是算力。解码时每个 token 都要把模型的全部权重从 HBM 显存搬进计算单元一遍,而单个 token 的矩阵乘法算术强度极低——每个权重字节只参与一次乘加,算力利用率天然上不去。这就是常说的”带宽墙”(memory wall)。
带宽账很好写。设模型有 个参数,以 bf16 存储,每个参数 2 字节,则每步解码至少要搬运的字节数为:
在带宽为 的硬件上,一次前向时间的下界是:
拿一个 70B 目标模型放在 H200 上算一笔(本文自算,假设权重全量加载、忽略激活与 KV 缓存的额外流量):H200 的 HBM 带宽按官方规格为 4.8 TB/s(见来源 6),则
即解码吞吐的理论上界约 token/s。这个数字与大家跑 70B 模型的体感(几十 token/s;实际单卡 bf16 放不下 70B 权重,多为量化或多卡部署)是同一量级——说明瓶颈确实在带宽,而不是算力。注意这是一道除法:模型越大,每步要搬的字节越多,每步越慢。
投机解码的关键观察正建立在这笔账上:目标模型一次前向算 1 个 token 还是并行算 个 token 的分数,搬运权重的成本几乎一样(都要把全部权重过一遍)。既然如此,为什么不每轮让它一次多算几个位置?问题只剩一个:token 是串行依赖的,你不知道第 个位置该算什么,除非第 个位置已经定下来。答案是——先猜。
为什么 prefill 不受这个苦
顺带把一个常见困惑说清:prefill(把整段 prompt 一次性算掉)为什么不慢?因为 prompt 是已知的——整段可以当作一个长度为 的批次一次前向算完,权重只搬一遍,算力反而吃满。慢的只有 decode:每步只有 1 个新 token,权重却要再搬一遍。换句话说,解码慢的根源不是”矩阵乘法慢”,而是下一步的输入依赖上一步的输出,天然串行、天然批次为 1。投机解码的全部巧思,就是把”批次为 1”这件事打破:用草稿把串行依赖预先”铺”出来,让目标模型每次前向都有好几个位置可以一起算。
一次前向多算几个位置,为什么几乎不额外花钱
把一次前向从算 1 个位置改成并行算 个位置,改变的是矩阵乘法的行数(批量维度从 1 变成 ),不变的是要搬运的权重字节。注意这里的”批量”是单请求一次前向内的候选位置数;它与多请求并发拼批的”服务批量”是两个维度,后者见第 8 节。算力开销变成了原来的多少倍?批量维放大只放大激活相关的计算,逐项看:
但解码态下算力本来就大量闲置——判断是否”白给”的标准是算术强度(每字节搬运对应多少次浮点运算)是否还低于硬件的转折点:
拿公开规格算一笔(本文自算):A100 的 FP16 峰值算力约 、HBM 带宽约 (均为 NVIDIA 官方口径,见来源 7;),转折批量约 。也就是说,只要一次前向的批量不超过百这个量级,计算时间相对权重搬运时间仍然近乎免费——验证 个位置远远碰不到这条线。带宽才是每步时间的地板,而带宽没变。这就是小批量下”并行验证近乎免费”的硬件根据——153 是该规格与简化假设下的 roofline 估计,不是实测的免费验证阈值;等批量大到越过转折点(高并发服务就是这种形态),验证就不再免费,这一点回到第 8 节再谈。
3 核心算法:起草、并行验证、拒绝采样修正
一轮投机解码的流程是:
- 草稿模型 从当前前缀出发,串行生成 个候选 token:(每步条件于前面已生成的草稿);
- 目标模型 对前缀和这串草稿做一次前向,并行得到每个位置的分布 ;
- 从左到右逐位置验证:位置 接受当且仅当第 1 到 个位置都被接受,且该位置通过下面的接受准则;
- 一旦某个位置被拒绝,就从该位置起丢弃后面全部草稿,并从”修正分布”里采一个 token 作为该位置的最终输出——这个 token 是被保证的;
- 若 个全部接受,再从目标模型对第 个位置的分布里正常采一个”奖励” token。
所以每轮至少产出 1 个 token(拒绝时修正采样保底),至多产出 个。
图 1 是一轮迭代的完整流程:
这张图想说明的一件事:慢的部分(目标模型)每轮只跑一次,跑一次却能最多确认 个 token;串行跑很多次的换成了快的小模型。
接受准则:拒绝采样的三行定义
对每个位置,设草稿模型给出的分布是 、目标模型给出的是 (都条件于同一个已被接受的前缀)。从 里采样出候选 后,接受准则是:
直觉很直白:若目标模型比草稿模型更喜欢这个 token(),必然接受;若目标模型不那么喜欢,就按比例 的概率接受——目标模型”越不喜欢”,越可能被拒。
被拒绝时,不从 重采,而是从修正分布 里采:
即”把目标模型比草稿模型多出来的概率质量归一化”。直觉同样直白:草稿模型已经把 里的部分采过一次了,被拒绝说明目标模型偏好”草稿模型给得太少”的部分,那就专门从这部分差额里补一个。
为什么输出分布不变:逐步推导
这一小节把”等价”证清楚。定义单步接受概率(对所有可能的 求和):
它就是”从 采一个 token、按上述准则判定”的无条件接受概率。
第一步:候选 被接受的联合概率是 。
第二步:拒绝的总概率是 。注意一个恒等式(下面用到):因为 ,所以
证明只用到逐点恒等式 :对 求和得 。
第三步:合并”接受”与”拒绝后修正采样”两条路径,位置最终输出的分布为:
代入 的定义与第二步的恒等式,第二项等于:
第四步:两项相加,再用一次逐点恒等式:
即每个位置的最终输出严格服从目标分布 。∎
注意这个证明完全没用到”草稿模型要好”这个假设—— 任意差都可以,分布都不变; 的好坏只影响接受率 ,也就是速度,不影响正确性。这是投机解码设计上最漂亮的一点:它把”变快”和”变准”解耦了。
一个手算小例子:三个词的世界
抽象符号容易糊,拿一个只有三个候选词 的世界把全过程手算一遍(本文自算)。设某位置上草稿与目标的分布分别是:
草稿采出 (概率 0.5)时,接受概率 ——必然接受:草稿低估了 ,目标只会更喜欢它。草稿采出 (概率 0.3)时,接受概率 ;采出 时为 。
单步总接受率按 算:
修正分布按”目标比草稿多出来的部分”归一化:
即被拒绝时永远从修正分布里采出 。逐项验算输出分布:;;——三个数正好就是 。草稿把 、 采样得偏多,拒绝修正恰好把这份偏差补了回去,这就是”分布不变”在数字上的样子。
全接受与”奖励” token:为什么上界是 γ+1
流程第 5 步的”奖励” token 值得单独说一句。当草稿的 个位置全部被接受时,目标模型这一次前向其实已经顺带算出了第 个位置的分布(它就在最后一个草稿 token 的下一行输出里,不需要任何额外计算),直接从该分布正常采样即可。所以一轮的产出上界是 而不是 。把这一步与拒绝时的修正 token 统一起来看更清楚:每轮恒有一个”额外”输出——首位置就被拒时它是修正 token,全部接受时它是奖励 token。这正是级数 开头那个常数项 1 的来源: = 每轮保底的 1 个额外 token + 期望被接受的草稿数。
顺带一个常见追问:贪心解码(argmax)下这套机制还成立吗?成立,而且更简单——贪心是分布退化为独热(one-hot)的特例,接受准则退化为”草稿的 argmax 与目标的 argmax 是否相等”,逐字相等才接受,全等时目标本就要输出同一个 token,“奖励” token 也不需要额外采样。这也是各推理引擎在 greedy 模式下能直接报”接受率 = 命中率”的原因。
q 不必是”模型”:建议分布的一般性
再退一步看,等价性证明只用到 这一个条件——草稿甚至不需要是一个神经网络。任何能给下一 token 开出概率的建议机制都可以套进同一个接受/修正框架:可以是”复读上文出现过的搭配”,可以是规则模板,也可以是缓存的历史采样。不同建议机制只改变 与 (也就是说只改变速度),不改变输出的正确性。这个一般性正是后续工作能自由替换”草稿来源”的理论空间——Medusa 的解码头、EAGLE 的特征头,本质都是往 这个槽位里塞不同的东西。
当然,工程上 还有一个隐性要求:它必须能给出实际用于起草采样的归一化概率 ——logits 要先经过与采样配置一致的处理(温度、top-k/top-p 截断)再归一化,否则接受准则里的比值 无从算起。Chen et al. 在讨论草稿选择时也把”暴露 logits”列为前提。只吐 token 不吐分布的建议机制(比如某种只给结果的检索器)直接用不了这套准则,得先改成给分布的形式。
4 每轮平均产出多少 token:从几何级数到闭式公式
一轮的产出是这样构成的:第 1 个位置以概率 接受;接受了它,第 2 个位置才轮到验证,又是 ;如此直到第 个位置,全对时还有第 个”奖励” token。这是一串(近似)独立的伯努利试验,产出 token 数的期望为:
( 时退化为 。)分子里每个位置被”数进来”的前提是它前面的位置全部通过,这正是级数的形式;分母的 让它收敛——直觉是:只要 ,把草稿拉长的边际产出按 的幂次衰减,级数封顶于 。
要把两种”精确性”的边界分清:第 3 节的等价性证明不依赖任何平均化假设——它对每一轮、每个位置逐个精确成立;平均化只出现在速度估计这一步。说”近似”是因为各位置的接受率并不严格同分布:草稿在第 2 步以后条件于前面的草稿 token(有些可能后来被拒掉),速度公式假设各位置的条件接受率近似恒定为同一个 ——两篇原始论文正是以这一平均化假设建模速度(Leviathan et al. 明写 i.i.d. 假设);vLLM 文档则用按位置的非递增接受率刻画草稿质量,是同一现象更细的刻画,并不采用单一平均 的速度公式。它对算法正确性无影响,只影响速度估计的精度。
除了期望,还有必要看一眼波动。单轮最少产出 1 个 token、最多 个,极端情形”全拒”的概率是第一位置被拒的概率:
代入 :每轮有 30% 的机会一个草稿都不中、只拿到保底的修正 token;但连续 轮都全拒的概率按独立近似约为 , 时已不到 3%。单轮看波动不小,但整段生成几百个 token 是几十上百轮的叠加,大数定律会把每 token 平均时间收敛到期望值附近。这也再次呼应一个工程直觉:投机解码的收益在长输出上最稳,在短输出上要考虑方差(对照 FAQ 问三)。
把整段生成的视角写成伪代码(轮外循环,完整版):
- 前缀 prefix 初始化为已确认的全部 token;
- 循环:草稿模型从 prefix 出发串行采 步,得到草稿链;
- 目标模型对 prefix+草稿链做一次前向,取出每个位置的分布 ;
- 从左到右逐位置执行接受准则(与修正采样),截出最长接受前缀;
- 把接受前缀与(奖励或修正的)1 个 token 全部并入 prefix;
- 未达停止条件(长度/结束符)则回到第 2 步。
注意第 5 步:一轮并入的 token 数就是 1 到 之间的随机变量——本文所有公式刻画的正是它的期望。
下面这组数字全部是本文自算(代入上式):
| (token/轮) | |||
|---|---|---|---|
| 1.62 | 1.65 | 1.67 | |
| 2.18 | 2.31 | 2.46 | |
| 2.95 | 3.36 | 4.16 | |
| 3.44 | 4.10 | 5.70 |
这张表想让你看出两件事:其一, 对 极其敏感—— 列从 的 2.46 升到 的 4.16(约 1.7 倍),所以后来的一切变体(EAGLE、Medusa 等)都在卷”草稿准不准”;其二, 对 明显边际递减,草稿画太长不划算——草稿也要花时间,这就引出下一节的端到端账。
按位置拆开看:接受率并不是每步同高
把 当成一串同分布伯努利试验是一种简化。常见的实测画像是接受率按位置递减:第 1 个草稿 token 只需要条件于已确认前缀,与目标模型”看到的世界”完全一致,接受率往往最高;第 2 个开始,草稿条件于”自己上一笔可能被拒的草稿”,一旦前面画偏了、后面只会越偏越远(错误会沿草稿链复利放大)。所以”平均 “背后往往是 的一条曲线——要强调:这条递减画像是常见的工程观察、不是无条件成立的规律,具体形状取决于草稿与任务,应在自己的负载上实测(见第 11 节); 取得越长,边际位置的平均接受率越低——这是 边际递减的第二个原因(第一个是级数本身的收敛)。
对实现的启示:与其把 定死,不如按位置接受率的实测画像动态截断——发现草稿链上前面几步命中率高、后面塌下去,就缩短草稿。EAGLE(来源 3)论文中的动态草稿树正是这个思路的树形推广。
另一个值得单列的边界是首轮效应:第一轮草稿条件于整段 prompt(已知内容),但没有”已确认的生成内容”可依附,与后续轮次的条件基础不同,接受率画像可能偏低——这是待实测的边界,本文不依据任何具体测量下断言。对几十 token 的短输出,这个冷启动可能吃掉可感知的收益;对长输出则无关紧要。
5 端到端加速比:把草稿的时间也算进去
期望产出 刻画”一轮平均确认多少个 token”,但一轮的总时间不止目标模型那一次验证前向,还有草稿模型串行跑 步:
其中 是目标模型并行验证 个候选位置的一次前向耗时。在带宽受限、候选块很短的解码态下,验证前向虽然多算了几个位置,权重仍只搬一遍,因此近似 ;下文的端到端公式沿用这一近似,它在高并发下何时失效见第 8 节。
基线逐 token 解码生成 个 token 要 的时间,于是端到端加速比为:
(这与两篇原始论文给出的加速比形式一致;本文从时间账重新推导了一遍,以便每个因子的来源都可核。)
关键是 有一个漂亮的工程近似:batch=1 的解码是带宽墙下的除法(第 2 节),草稿模型与目标模型在同一硬件、同一解码形态下,单位 token 耗时近似正比于参数量:
例如用 1B 草稿去伺候 70B 目标,。这个近似在 batch 增大、两模型先后进入算力受限区间时会失效——它是边界条件,不是定律。
自算加速曲线:最优草稿长度存在吗
取一组演示值 、(本文选取的演示参数,非任何论文实测配置;比 1/70 略保守,给调度与采样开销留余量),代入上式(本文自算):
| (加速比) | |||
|---|---|---|---|
| 2.31 | 2.33 | 2.18 |
以 为例算一遍全过程:,。
三个观察:
- 不是”越长越好”。按上式对 做整数扫描(本文自算):峰值 落在 与 的平台上(两者几乎并列), 时约 2.33、之后单调回落——分子逼近上限 ,分母的 却线性变大,曲线必然在有限点回头。草稿长度存在一个依赖 与 的最优值,这也是实现里常把 设为 4–8 的原因之一。
- 这组演示参数下的最优加速约 2.35 倍,与 Chen et al. 在 Chinchilla 70B(分布式部署口径)上报告的 2–2.5 倍落在同一区间——公式抓住了主要矛盾。
- 加速比的极限行为分两问:固定 把 , 封顶,而分母 线性增大,——任何有限 下草稿画太长必然反向亏本;反过来 (草稿近乎免费)时 的上界是 。草稿越快,天花板越高,但天花板永远存在( 时上界约 3.33)。
草稿多快才值得画多长:β 的三档对照
由草稿相对目标的”体重”决定(带宽墙近似 ),它直接改写最优草稿长度。把上表固定 ,换 扫三档(本文自算):
| (加速比) | ||
|---|---|---|
| (草稿约为目标的 1/100) | 2.67 | 2.94 |
| (约为 1/20) | 2.31 | 2.33 |
| (约为 1/7) | 1.73 | 1.53 |
三个结论直接可读:
- 草稿越便宜,最优 越长: 时把草稿画到 7 步仍然净赚; 时 7 步反而比 4 步亏——分母里 的惩罚开始压过分子 的增长。
- 决定这套方法”值不值得做”(仍指固定 的参数扫描结果):草稿是目标 1/100 量级时收益稳定在 2.5 倍以上(,即表中两列);草稿只比目标小一个档位时收益已缩到约 1.7 倍()到 1.5 倍(),扣除实现开销后可能只剩个零头。
- 与上一小节合起来看: 决定分子能长到多高, 决定分母涨得多快——选草稿就是在这两个数之间出价:草稿更大通常 更高(分子涨),但 也更高(分母涨)。Chen et al. 论文专门用一节讨论草稿模型的选择:草稿不必特别强,只要暴露 logits、接受率够高且延迟够低即可收支平衡;他们还报告了一个对工程很友好的观察——总接受率对具体采样参数(top-k、温度等)相当稳健。
一个完整的自算算例:把 70B 的账从头到尾算一遍
把散在各节的算式串成一条完整的时间线(全部本文自算,参数为演示取值,非任何论文实测)。设目标模型 70B、bf16、单卡 H200(带宽 4.8 TB/s)、batch=1 解码;草稿取 1.1B、同硬件同精度。
第一步,目标模型每步时间(第 2 节的带宽账):
第二步,草稿每步时间与 (同一笔账除以草稿体量):
第三步,设 、:每轮时间 ms,每轮产出 个 token,于是:
从 34 涨到 97 token/s、快约 2.8 倍——只靠”小模型先猜、大模型抽查”,输出分布还一点没变。三个口径再对一遍: 时草稿的时间只占每轮的 (),所以再拉长草稿仍略有赚头(对照上一小节 行);加速比的主要来源是目标模型那一次前向从”确认 1 个 token”变成”确认约 3 个 token”;而这个数字与 Chen et al. 在 Chinchilla 70B(分布式部署口径)上报告的 2–2.5 倍同处一个区间(本例参数更乐观,故略高)。最后一个必须重申的限定:以上 29.2 ms 是”权重搬运地板”的理论值,真实部署里还有 KV 缓存流量、采样、调度与框架开销,实测吞吐与实测加速比都可能低于这些数字——两者都要实测,不能把本节的理想化算例外推为部署预期。
图 2 把基线生成 4 个 token 的时间结构,与一次 投机轮次的时间结构并排画出来(注意两者产出量不保证相等:投机那一轮实际产出 1 到 5 个 token,取决于接受情况;同产出量的严格对比应按期望 归一化):
这张图想说明的一件事:投机解码用”4 次便宜的前向 + 1 次昂贵的前向”替换”4 次昂贵的前向”,省下的就是右边那一大块目标模型时间。
不完美的草稿也有用:收支平衡线
从加速比公式还能读出一个反直觉结论。 的条件是:
左边随 收敛到 。也就是说哪怕草稿很一般(如 的示例,左边上界 2),只要 足够小(草稿足够小、跑得足够快),收益仍为正。反过来,若草稿与目标在同一量级(),右边对任何 都 ,左边在该示例下的上界只到 2、实际取值始终更低——该示例下跟目标差不多大的草稿必然亏本。这解释了为什么没人拿 65B 去给 70B 打草稿。
6 变体与工程落地:草稿从哪来
“草稿必须另备一个小模型”是这套方法最大的工程负担:草稿要与目标模型同分词器、风格对齐、还得跟得上目标模型的版本迭代。后续工作主要在攻这一点,三条路线的对照如下。先声明再读表:各行报告的基线实现、硬件、负载与口径(延迟/吞吐/每 token 时间)互不相同,数字不可横向比较;表中加速均为各论文自报口径:
| 路线 | 代表工作 | 草稿来源 | 输出等价性 | 论文报告加速 |
|---|---|---|---|---|
| 独立小模型 | 两篇原始论文(arXiv:2211.17192 / 2302.01318) | 另训/另选小模型 | 精确(拒绝采样框架内) | T5-XXL 相对标准 T5X 实现 2–3 倍;Chinchilla 70B 分布式部署解码 2–2.5 倍 |
| 加解码头 | Medusa(arXiv:2401.10774) | 在目标模型上加多个解码头(Medusa-1 冻结骨干只训头、Medusa-2 联合微调) | 取决于接受策略(严格拒绝采样可保持精确;typical acceptance 为有损扩展) | Medusa-1 超 2.2 倍、Medusa-2 2.3–3.6 倍(摘要口径) |
| 特征层外推 | EAGLE(arXiv:2401.15077) | 轻量头在倒数第二层特征上做自回归 | 精确(投机采样框架内) | LLaMA2-Chat 70B 延迟 2.7–3.5 倍 |
- Medusa 的思路是不再要独立草稿模型,而是在目标模型的隐藏层上直接加一组解码头,每个头预测一个未来位置,配合树形注意力(tree attention)同时验证多条候选续写。对它的输出等价性要分三个维度看:是否修改目标骨干(Medusa-1 冻结骨干只训头、Medusa-2 联合微调骨干与头)、采用什么接受策略(论文把 typical acceptance 作为扩展列出:用阈值代替严格拒绝采样,这一配置是有损的;同时保留基于严格拒绝采样的用法,Medusa-1 的加速在论文摘要中亦以”lossless inference acceleration”描述)、是否承诺原目标分布(取决于前两条的具体组合)。换来的便利是无需获取和维护一个单独的草稿模型——但选型时不能把整条 Medusa 路线压缩成”有损”一个标签。树形注意力值得多说一句:既然草稿不再是一条链而是多份”分叉”的候选续写,验证时就要求注意力掩码让每个位置只看见自己的祖先与自身,不看未来位置、也不看兄弟分支——这是对标准因果掩码的一次小改造,也是 Medusa 与 EAGLE 共用的工程构件。
- EAGLE 的观察更本质:token 层面的自回归很难(下一词本质多解),但倒数第二层特征层面的自回归更平滑,不确定性也更有结构。它在特征层外推、以极轻的头部起草,再配合动态的草稿树验证;在投机采样的严格框架内保持精确,论文报告在 LLaMA2-Chat 70B 上取得 2.7–3.5 倍延迟加速。EAGLE 处理”特征不确定”的手法也很有代表性:预测下一个特征时,把当前已知的 token 序列前移一步作为条件一起喂进去。索引关系用一个小表对齐(“已知”指可直接作为输入喂给轻量头的部分):
| 时刻 | token | 特征 | 起草头的用法 |
|---|---|---|---|
| 已知 | 已知 | 起草头在此起步 | |
| 未知(待生成) | 待预测 | 已知的 (连同 )前移一步作为条件补入 |
下一 token 本身虽然未知,但上一位置的 token 与特征是已知的,把这个信息补上,特征预测的不确定性大大收窄。这等于把”猜下一词”改写成”看上一词、猜下一特征”,把不适定的预测变成了条件更充分的预测。 读加速数字时还有一个容易踩的坑:各家论文的加速比不可直接横向比。Leviathan et al. 的 2–3 倍是相对”标准 T5X 实现”(其摘要原文口径),Chen et al. 的 2–2.5 倍是分布式部署下的解码加速,EAGLE 的 2.7–3.5 倍是延迟加速且草稿机制完全不同(特征头 + 动态树)。基线实现、硬件、batch 形态、草稿体量、报告口径(延迟 vs 吞吐 vs 每 token 时间)全都不一样,拿 EAGLE 的 3.5 减 Leviathan 的 3 得出”EAGLE 更强”是不成立的读法。正确的用法是把每篇的数字当成”该形态下该方法的大致收益区间”,再按本文的 // 框架把自己的形态对号入座。
- 工程侧,本文截稿当日核读 vLLM 的 Speculative Decoding 特性文档(latest 版,见来源 5),确认其已把投机解码列为正式特性——latest 文档只能证明截稿时已提供,不承担”何时首次落地”的证据。本文未实测 vLLM 的具体后端配置,不对其性能下结论。
三条路线怎么选?一个实用的判读顺序(本文工程解读,非任何论文口径):如果你不想维护第二个独立草稿模型,且能接受典型接受配置下的分布偏差(或改用其严格接受口径),看 Medusa 系;如果你要求分布精确、且愿意为训练一个轻量头付出一次成本,看 EAGLE 系;如果你的目标模型已有同家族的小模型(同分词器、同风格),直接拿它当草稿是最省事的起点——这正是两篇原始论文的用法。
7 与蒸馏的关系:为什么不直接蒸馏一个小模型全部接管
读到这里你可能冒出一个更大的疑问:既然小模型在”容易 token”上已经很准,为什么不干脆蒸馏一个足以独立工作的小模型,把大模型整个换掉,那才是几个数量级的省?
答案在于两件事并不矛盾、而是各管一段。投机解码的等价性证明(第 3 节)说明:小模型不需要”接近大模型”,只需要在”两者分歧不大”的那部分概率质量上与大模型重合——分歧大的部分拒绝采样会自动修正,保证最终分布精确等于大模型。而一个独立部署的蒸馏小模型,在分布分歧大的位置上没有任何纠错机制,它输出什么就是什么,质量天花板就是它自己。换句话说:
第一个是恒等号,第二个只是约等号——约的成分随任务、随分布尾部的稀有事件放大。Leviathan et al. 的摘要正是以”without any changes to the outputs”为核心卖点;Chen et al. 的对应表述是”within hardware numerics”、不牺牲采样质量。所以工程上的分工是清晰的:要质量上限就用投机解码(大模型仍在环上),要绝对成本下限就用小模型(大模型下线);也有把两者叠起来用的形态——用一个蒸馏小模型当草稿,去伺候它自己的老师。
顺带也就回答了”草稿从哪来”的最好答案之一:从目标模型自己蒸馏。同一份训练数据、同一个分词器,风格天然对齐, 通常比”顺手抓一个别家小模型”高一截;Chen et al. 讨论草稿选择时把序列级蒸馏列为候选路线,但同时也指出蒸馏需要大算力预算、不如直接用目标模型的小号版本实用——同源蒸馏可行,但并非该文首推。
收成一张三行的决策表(本文工程解读):要质量上限——用投机解码,大模型留在环上;要成本下限——直接部署小模型,大模型下线;两者都要一点——把蒸馏出来的小模型再拿去当它老师的草稿,一份蒸馏成本换来两种用法。
8 边界与限制
- 收益随 batch 增大而缩小。第 2 节的带宽账只在批量小的时候成立;高并发下目标模型进入算力受限区间,一次验证 个位置的浮点开销不再是”免费搭车”, 的参数量近似也失效。投机解码的甜点区是低并发、单请求延迟敏感的场景。
把这个边界再算细一点(本文自算示意):设并发批量已经大到每步解码是算力受限的(时间正比于 FLOPs),草稿与目标同硬件。基线每 token 花 1 单位(= 一次目标前向)算力;投机解码每轮花草稿算力 加验证算力 (草稿的浮点量近似按参数量比例折算)、产出 个 token,折合每 token:
代入 、()、草稿为目标 1/20:每 token 约 单位——吞吐不升反降到基线的约 53%。这与带宽墙下的结论完全相反:同一个方法,在延迟敏感的单请求场景是两倍加速,在吞吐敏感的大批量场景可能近乎减半吞吐。所以”投机解码是不是免费午餐”的答案取决于你的服务形态——在本节构造的算力受限示例里,它优化延迟、牺牲吞吐;你的服务上净收益如何,要按自己的批量形态实测,不能把这个示例推广成投机解码的普遍性质。
- 接受率是任务相关的。草稿与目标在领域上偏移(代码 vs 闲聊、多语切换)时 会明显下滑,加速比随之缩水;极端情况下低于收支平衡线就反向变慢。上线前应按自己的负载实测 ,而不是抄论文的数。
- 两个模型都要驻留显存。草稿虽小也要占显存,还要管理两份 KV 缓存的对齐与回滚(拒绝时草稿的 KV 需要丢弃),实现复杂度不低。
- 有损配置要单独评估分布漂移。Medusa 在 typical acceptance 配置下用阈值换来了便利,“输出分布不变”的保证在该配置下不复存在(其严格接受口径仍可保持精确),对采样敏感的任务要针对具体配置单独验证质量。
- 草稿与目标要版本同步。目标模型一旦升级(新权重、新分词、新风格),旧草稿的 会整体漂移,加速比静默缩水——没有报警,只有变慢。把 当成一个需要持续监控的在线指标、而不是一次性调好的常数,是长期运营这套方法的前提。
- 本文所有性能数字除标注”本文自算”外,均为论文口径转述;本文未做端到端实测。
KV 缓存的回滚账:实现层最容易被低估的一笔
还有一个只在动手实现时才会撞上的坑:两个模型的 KV 缓存都要跟着回合走。草稿模型为 个候选 token 各自生成了 KV 缓存,一旦某个位置被拒绝,这些缓存全部作废,必须回滚到接受前缀的末尾;目标模型的 KV 缓存同理,只能保留被接受前缀对应的部分。工程上通常为两个模型各维护”接受前缀 + 草稿区”两段,草稿区每轮覆盖重写。这笔开销不体现在上面的公式里——公式假设了”拒绝只浪费草稿时间”,但缓存管理写得糙时,回滚与重算可能把收益啃掉一大块。这也是各引擎把它做成正式特性而非示例代码的原因之一:正确性容易证,工程细节容易错。
具体到目标模型的 KV,还有一个容易想岔的点:验证那次前向算出的、落在被拒位置上的 KV,不能顺手保留下来给下一轮用——下一轮的草稿可能走完全不同的分叉,这些位置的 KV 对应的是”旧草稿的上下文”,留着只会污染注意力。正确的语义是:每轮验证后,目标模型 KV 截断到接受前缀末尾,多余部分丢弃;草稿区每轮整体重写。验收时可以专门构造”连续两轮、第一轮长草稿第二轮短草稿”的用例,检查第二轮的注意力输出与”从未有过第一轮草稿”的基线完全一致。
9 常见疑问五则
问一:输出真的”逐字一样”吗?采样不是有随机性吗?
“逐字一样”的准确含义是每个位置的条件分布逐个等于目标模型自己的分布(第 3 节已证),不是”与某一次具体运行的基线输出一字不差”——只要采样带随机性,两次基线解码自己也不会字字相同。真正可承诺的是:投机解码与基线解码产出的样本服从同一分布。固定同一套随机种子只是对拍实验手段之一——同种子并不保证逐字相同(两条路径消耗随机数的次序不同);更稳的分布验证是固定共同前缀、多次独立采样后比对位置分布(见第 11 节清单第 3 条)。贪心解码是唯一能承诺”逐字相同”的特例。
问二:接受率是不是就是”草稿准确率”?
不是。接受概率 逐 token 依赖两个分布的比值,不是”草稿选对了没有”的 0/1 事件——草稿选了一个目标模型也喜欢的词(哪怕不是目标的第一名),照样大概率通过。 是逐位置比值的和式平均,它比”准确率”宽松得多,这也是为什么中等水平的草稿也能拿到不错的 。
问三:长输出和短输出收益一样吗?
正文越长收益越接近稳态值 。轮数少时,前几轮的方差(可能连续被拒)会摊薄收益;同时第一轮草稿没有”已确认生成 token”可依附的热身问题(prompt 本身是已知的)、以及上下文特别长的场景里 prefill 本身占比小,这些边界效应本文未单独建模。对延迟敏感的短输出场景,建议实测自己负载下的首轮接受率。
问四:草稿要用什么温度采样?跟目标一致吗?
一个常被忽略的细节:拒绝采样保证的是”以目标分布为不变量”,草稿自己的采样温度只影响 的形状、进而影响 。直觉上有两种走法:草稿温度调低(更确定、更保守)会提高逐字命中率但可能让 与 的形状错位;与目标保持同温度则让 更接近 的形状、比值更友好。Chen et al. 报告总接受率对具体采样参数相当稳健,说明这不是第一敏感项——但工程上值得在自己的负载上各扫一遍再定,而不是拍脑袋。
问五:它和连续批处理(continuous batching)冲突吗?
不冲突但要一起算账。连续批处理把不同请求的解码步拼批来填满硬件,这恰好是在把”带宽墙”往”算力墙”推——而本文边界一节刚推过:批量越大,验证的浮点开销越不免费、投机解码的收益越薄。两套机制叠加时的净收益取决于你的批量落在哪个区间,且没有统一的批量阈值——建议在自己的服务上按批量档位实测净收益后再定:小批量下大概率是赚的;批量为几十上百时可能变成负贡献。务实做法是给投机解码设一个”批量开关”——小批量开、大批量关——而不是全局常开,开关的具体档位以压测为准。
10 进阶学习建议
按”能动手复算”的标准给一条路径(均出自本文来源列表里的材料):
- 先把 Leviathan et al.(arXiv:2211.17192)的采样等价性证明自己推一遍——只需拒绝采样的基础,一页纸就能推完,本文第 3 节的四步就是它的骨架;
- 再读 Chen et al.(arXiv:2302.01318)的草稿模型选择章节与部署形态讨论,重点看” 随部署形态怎么变”——这是把公式对到自己硬件上的钥匙;
- 然后对比读 Medusa(arXiv:2401.10774)与 EAGLE(arXiv:2401.15077)各自怎么把”草稿来源”这块最难啃的骨头换成”自己长出来的头”——EAGLE 代表”保持精确、改草稿来源”这一取舍;Medusa 则按配置分看:用典型接受时以分布偏差换便利、用严格接受口径时仍可保持精确,取舍取决于具体配置;
- 最后去 vLLM 的 Speculative Decoding 特性文档里找一个你能跑起来的后端,用本文的”实现核对清单”逐项对拍——公式读十遍不如贪心模式下对拍一次。
11 实现核对清单
如果你打算在自己的栈里验证这套方法,建议按这个顺序核对(本文工程经验整理,非论文内容):
- 分词器一致性:草稿与目标共享同一个词表,否则”token 级对齐”无从谈起;
- 先在贪心模式下打通:贪心把接受退化为逐字相等,最容易对拍验证(投机解码输出与基线输出应完全一致);但贪心同样存在拒绝路径(草稿 argmax 与目标不一致即拒绝),测试要主动构造全命中、首位置拒绝、中途拒绝三类用例,别只测”全命中”;
- 再切到采样模式对拍分布:固定共同前缀、多次独立采样,统计每个位置的 token 频率(分母 = 该位置被实际验证到的次数,见第 4 节),两套实现应无系统偏差;小词表场景可直接枚举全分布比对,统计比较要预留容差。固定种子只在贪心下有”逐字一致”的意义,采样模式下同种子不保证同文本;
- 实测自己负载的 (按位置分桶)与 ,再代入 公式决定 ,不要照抄论文的 ;
- 上线前用生产流量形态(而非单请求)复测——并发一高,带宽墙变算力墙,收益可能完全不同;
- 把每轮实际接受长度与耗时打进日志: 是要长期监控的在线指标(对应边界节”版本同步”一条),没有日志就等于让收益静默流失。
对拍阶段最常见的三种”看起来对、其实错了”(本文经验整理):
- 接受率统计口径混入”奖励” token:把第 个奖励位置也当命中计进 ,数字虚高、 选型跟着虚高——统计命中时只数前 个草稿位置,分母用”该位置被实际验证到的次数”(即前面位置全部通过的次数),不要用所有起草轮次;
- 修正采样忘了用 而是拿 重采:只在贪心模式下对拍看不出来,要切到采样模式、按上面对拍清单统计位置分布才能暴露系统性偏差——这正是把对拍顺序从”贪心先行”设计成两步的原因;
- KV 回滚差一位:拒绝后 prefix 多保留/少保留一个 token 的 off-by-one,症状是长文本质量随长度恶化、而短输出完全正常,极难从端到端指标里直接定位——对拍时建议专门留几条长输出用例。
12 小结
投机解码把”解码慢”的带宽账与”采样可以等价加速”的统计账接在了一起:小模型出草稿、大模型一次并行验证,拒绝采样保证分布不变,收益由 与 两个闭式公式刻画。 决定天花板, 决定地板, 存在有限最优。对一个在带宽墙上慢的大模型来说,这是少数”不改训练、不改架构、不改输出,只改调度”就能拿到两三倍加速的方法——代价是要维护一个跟得上目标的草稿来源,这正是 Medusa 与 EAGLE 一系变体持续在优化的地方。
一句话带走:当每一步的瓶颈是”把权重搬一遍”而不是”算一遍”时,让便宜的先猜、昂贵的只负责批量核对,是把串行账改成并行账最划算的一种方式——而且拒绝采样让你不用为这份便宜付任何质量代价。
13 📋 来源与核验记录
以下来源均于 2026-11-07 本轮实际打开核读(摘要页全文/文档页):
- Leviathan, Kalman, Matias. Fast Inference from Transformers via Speculative Decoding. arXiv:2211.17192. https://arxiv.org/abs/2211.17192 —— 投机解码原始论文之一;T5-XXL 2–3 倍加速、输出不变的口径取自其摘要。
- Chen et al. Accelerating Large Language Model Decoding with Speculative Sampling. arXiv:2302.01318. https://arxiv.org/abs/2302.01318 —— Chinchilla 70B、2–2.5 倍加速、修改后的拒绝采样方案取自其摘要;本文另通过 ar5iv 全文页 https://ar5iv.labs.arxiv.org/html/2302.01318 核读了其实验章节与草稿模型选择章节的表述,「接受率对采样参数稳健」与「草稿模型选择」两处口径出自该全文页。
- Li et al. EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty. arXiv:2401.15077. https://arxiv.org/abs/2401.15077 —— 特征层自回归观察、LLaMA2-Chat 70B 2.7–3.5 倍延迟加速取自其摘要。
- Cai et al. Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads. arXiv:2401.10774. https://arxiv.org/abs/2401.10774 —— 多解码头、树形注意力、Medusa-1/Medusa-2 两级微调取自其摘要。
- vLLM 官方文档《Speculative Decoding》. https://docs.vllm.ai/en/latest/features/speculative_decoding.html —— vLLM 已将投机解码列为正式特性的依据;本轮确认该特性页存在(latest 版),未实测其各后端,不断言其首次落地时间。
- NVIDIA H200 官方产品页. https://www.nvidia.com/en-us/data-center/h200/ —— 本文第 2 节 70B@H200 带宽账所引的 HBM3e 4.8 TB/s 规格来源;本轮打开核读。
- NVIDIA 性能文档《GPU Performance Background》. https://docs.nvidia.com/deeplearning/performance/dl-performance-gpu-background/index.html —— 第 2 节转折批量算例所引的 A100 312 TFLOPS(FP16)与 2039 GB/s(HBM2)两项规格来源;本轮打开核读。
本文自行推导/自算的部分(与官方数字分列):
- 第 2 节的 70B@H200 带宽账(29.2 ms、约 34 token/s 上界)与第 5 节的完整算例(T_d≈0.46 ms、每轮 32.4 ms、约 97 token/s、加速约 2.8 倍)为本文按公开规格自算的示意值,假设权重全量加载,未计激活、KV 缓存与系统开销,仅用于量级说明。
- 第 8 节高并发下的每 token 算力账(、、草稿 1/20 时每 token 约 1.88 单位、吞吐降至基线约 53%)亦为本文自算示意。
- 第 4 节的 数值表、单轮全拒概率( 时单轮约 30% 全拒、连续三轮不足 3%)、第 5 节的加速曲线与 整数扫描(最优 为 5–6 平台)、收支平衡线推导,均为本文按闭式公式自算;、 为本文选取的演示参数,非任何论文的实测配置。
- 逐点恒等式 与分布等价性证明为标准结果,本文按自己的顺序重写以便逐步核验。
版本与时效说明(截稿 2026-11-07):本文引用的 arXiv 版本为截稿当日摘要页所列的最新版——Leviathan et al. 引 v2(2023-05-18 修订)、Chen et al. 为 2023-02-02 提交版、Medusa 引 v3(2024-06-14)、EAGLE 引 v3(2025-03-04);各摘要页的提交/修订日期均于截稿当日重新打开核对。