概念科普 📅 2026-11-12 ✍️ MagicNetWorld 编辑部

位置编码为什么用「旋转」:从复数角度把 RoPE 推到长上下文外推

科普向概念澄清,讲清一件事:Transformer 的注意力本身看不见顺序,RoPE 用「按位置旋转」的方式把相对位置写进了注意力分数里。文章从二维旋转矩阵与复数出发,推导出「固定旋转前的 q、k 之后,显式位置依赖只经由 n−m 进入分数」这一恒等式,说明为什么每一维用不同频率、为什么它不增加任何参数,再把位置插值、NTK-aware、YaRN、LongRoPE 四种长上下文外推方法拆成「它们各自改动了什么」的对照表。文中的旋转恒等式与距离扫描是本文 2026-11-12 用 64 维、base=10000 的纯 Python 实现实测,不是论文数字转述;全文不含真实模型的训练或推理评测。

RoPE位置编码长上下文Transformer注意力机制概念科普

一、先给直觉:注意力天生「看不见」顺序

想象你把一张购物清单撕成纸条,扔进一个袋子里摇匀,然后一张张抽出来。你可以比较任意两张纸条像不像,但袋子里没有「第几张」这个概念。

Transformer 的自注意力(这里指没有位置编码、没有位置偏置、也没有因果掩码的情形)就是这个袋子。因果掩码本身会带来顺序结构,后文第七节会提到。它做的事是:对序列里任意两个位置,算一个相似度分数,再按分数加权求和。写成式子就是

amn=exp⁡(⟨qm,kn⟩/d)∑jexp⁡(⟨qm,kj⟩/d)a_{mn}=\frac{\exp(\langle q_m,k_n\rangle/\sqrt{d})}{\sum_{j}\exp(\langle q_m,k_j\rangle/\sqrt{d})}

这里 qmq_m 是位置 mm 的查询向量,knk_n 是位置 nn 的键向量,dd 是每个头的维度。请注意式子里没有任何一项包含 mm 或 nn 本身——如果打乱输入顺序、同时打乱 qq 与 kk 的下标,所有分数的集合完全不变。也就是说:不加位置信息时,注意力是一个「集合运算」,不是一个「序列运算」。

但语言是有序的。「狗咬人」和「人咬狗」用的是同一批词,意思完全相反。所以任何可用的 Transformer 都必须在某处注入顺序。

1.1 这个性质有个名字:置换等变

「打乱顺序不改变结果」在数学上叫置换等变(permutation equivariance)。用一句话说:如果对所有位置同时施加同一个置换,输出也只是跟着置换,数值一个不变。

输入有位置编码时无位置编码时
「猫 追 狗」三个不同的嵌入序列三个嵌入按集合处理
「狗 追 猫」另一组嵌入(顺序变了)与上一行完全相同的集合
「追 猫 狗」又一组仍然相同

第二行与第三行在语义上是不同句子,但无位置编码时它们对注意力而言完全等价。这就是必须注入位置的原因,也解释了为什么位置编码一旦出错,症状往往是「模型答得通顺但总对不上主语」——它知道有哪些词,不知道谁在前。

换句话说,位置编码解决的是「知道谁在前」,不解决「知道谁对谁做了什么」——后者要靠注意力权重与训练。把这两件事分清,后面所有关于外推与长上下文的讨论才不会跑偏。

这一节想让你记住的一件事:位置信息不是模型自带的,是额外塞进去的。

二、符号约定与术语表

后面公式会用到这些符号,先一次说清。凡是不熟悉的术语,第一次出现时给一句话定义。

记号 / 术语含义(一句话定义)
mm、nn两个 token 的绝对位置(从 0 或 1 开始的整数下标)
dd每个注意力头的维度;RoPE 在 d/2d/2 个二维平面上分别旋转
qmq_m、knk_n位置 mm 的查询向量、位置 nn 的键向量,都是 dd 维实数向量
R(θ)R(\theta)二维旋转矩阵,把向量逆时针转 θ\theta 弧度;RoPE 对高维 q,kq,k 用的是由这些二维块拼成的块对角矩阵
第 ii 个平面由第 2i2i 与第 2i+12i+1 个坐标组成的二维子空间;注意虚数单位 ii 与索引 ii 是两回事
θi\theta_i第 ii 个二维平面用的旋转角速度(每前进一个位置转多少弧度)
base频率基数;原始 RoPE 与本文实验都用 10000,它决定「最慢的那个平面转多慢」
相对位置n−mn-m,即两个 token 相隔多少个位置
绝对位置编码每个位置一个固定或可学的向量,加在输入嵌入上
外推(extrapolation)模型在超过训练长度上继续工作
插值(interpolation)把更长的位置范围压缩回训练过的范围里
KV 缓存推理时缓存历史 token 的键值向量,避免重复计算

2.1 为什么不能直接拿位置编号当输入

有人会想:既然要位置,直接把整数 mm 塞进模型不就行了?问题有三个。

  • 数值尺度过大。位置可以到几万,而词嵌入的分量通常在个位数;直接相加会让位置项淹没语义项,除非额外做归一化,而归一化又会抹掉绝对尺度的信息。
  • 没有结构。标量整数本身保留了相邻关系(4095 与 4096 只差 1),但如果把位置当成「可学习的类别 ID」(每个位置一个独立向量),相邻性就丢了:模型只能靠见过足够多相邻样本去归纳。
  • 长度不可扩展。训练到 8k 的模型,位置 9000 是一个从未出现过的数值,模型对它没有任何可泛化的表示。

把位置变成有界的角度(永远在 [0,2π)[0,2\pi) 内)正好绕开前两条;而多频率设计让「不同距离尺度」都有对应的分辨能力,绕开第三条的一部分。这也是为什么多数现代 Transformer(例如 LLaMA 系列)都用某种「连续函数式」的位置编码,而不是固定大小的位置表。

这一节想让你记住的一件事:RoPE 只关心 n−mn-m,这一个量决定了整篇文章。

三、为什么「绝对位置」不够用

最直接的做法是给每个位置一个向量,加到词嵌入上(正弦编码或可学习嵌入)。它能让模型知道「这是第 3 个词」,但会带来三个麻烦:

  1. 训练长度之外的行为分两种。正弦编码是可以解析计算任意位置的(公式在,任何位置都算得出),只是模型没在那里训练过、表现不保证;而固定大小的可学习位置表在训练长度之外确实没有定义——那些位置根本没有参数。把这两种情况混为一谈,会误判「模型能不能处理更长的输入」。
  2. 它表达的是绝对位置,相对位置要靠模型自己学。两个词相隔 5 个位置这件事,在绝对编码下是「位置 a 与位置 a+5 的两个向量」,模型必须从无数组合里归纳出「差值」这个概念。
  3. 平移不一致。同一句话整体往后挪 100 个位置,绝对编码下的输入完全变了,但语义没变。

语言里真正重要的通常正是相对关系:修饰语紧跟被修饰词、括号成对、引用相隔几段——这些都是「距离」而不是「绝对坐标」。

3.1 三种常见的位置编码做法

历史上主流的位置编码做法有三种(严格说第三种不是「绝对」编码,它是按相对距离加偏置),它们各自的问题不同:

做法形式优点主要问题
正弦编码每个位置用不同频率的正弦/余弦对拼成向量无需训练、可解析计算任意位置加到嵌入上与语义混在一起,相对信息要模型自己学
可学习位置嵌入每个位置一个可训练向量表达自由、实现最简单超过训练长度就没定义,参数随最大长度线性增长
相对位置偏置在注意力分数上加「距离 → 偏置」的表直接建模距离,长度外推较好需要额外的偏置表,且与内容交互弱

RoPE 的思路可以看作第四种:不往输入上加任何东西,而是让「位置」通过注意力计算本身进入模型。它因此同时具备正弦编码的「无参数」与相对位置偏置的「显式相对性」。

这一节想让你记住的一件事:我们想要的性质是「整体平移不改变结果」,绝对编码天生不满足它。

四、旋转:把位置变成一个角度

RoPE 的做法很巧:不动向量的长度,只改它的方向。对位置 mm 的向量,按位置乘以一个旋转角:

R(θ)=(cos⁡θ−sin⁡θsin⁡θcos⁡θ),R(mθ) xR(\theta)=\begin{pmatrix}\cos\theta & -\sin\theta\\ \sin\theta & \cos\theta\end{pmatrix},\qquad R(m\theta)\,x

用复数写更直观:把二维向量看成复数 z=x1+ix2z=x_1+ix_2,旋转就是乘一个单位复数

z′=z⋅eimθz'=z\cdot e^{im\theta}

这个操作有两个立刻可见的性质:

  • 保长:∥R(θ)x∥=∥x∥\lVert R(\theta)x\rVert=\lVert x\rVert,旋转不改变向量长度,只改变方向。
  • 可逆:R(θ)−1=R(−θ)R(\theta)^{-1}=R(-\theta),转过去还能转回来。

关键在下一步。设 qq 在位置 mm、kk 在位置 nn,各自旋转后求内积:

⟨R(mθ)q, R(nθ)k⟩=⟨q, R((n−m)θ)k⟩\langle R(m\theta)q,\ R(n\theta)k\rangle=\langle q,\ R\big((n-m)\theta\big)k\rangle

这条恒等式的证明只需一步:旋转矩阵是正交矩阵,且旋转角可加,于是

R(mθ)⊤R(nθ)=R(−mθ)R(nθ)=R((n−m)θ)R(m\theta)^{\top}R(n\theta)=R(-m\theta)R(n\theta)=R\big((n-m)\theta\big)

固定旋转前的 qq 与 kk 之后,内积里只剩 n−mn-m。 这就是 RoPE 的全部魔法:它编码的是绝对位置(每个位置有自己的角度),但落在注意力分数里的是相对位置(只有角度差有意义)。

4.1 手算一个二维例子

取最简单的设定:只有一个二维平面(d=2d=2)、每位置转 θ=1\theta=1 弧度、q=k=(1,0)q=k=(1,0)。

  • 不旋转时:q⊤k=1q^{\top}k=1,任何位置都得到同一个分数,顺序信息为零。
  • 位置 m=2m=2:R(2)q=(cos⁡2, sin⁡2)=(−0.416, 0.909)R(2)q=(\cos 2,\ \sin 2)=(-0.416,\ 0.909)。
  • 位置 n=4n=4:R(4)k=(cos⁡4, sin⁡4)=(−0.654, −0.757)R(4)k=(\cos 4,\ \sin 4)=(-0.654,\ -0.757)。
  • 两者的内积是 −0.416-0.416,恰好等于 cos⁡(4−2)=cos⁡2\cos(4-2)=\cos 2。

把同样两对位置整体平移,结果不变:

位置对 (m,n)(m,n)角度差内积
(0,0)(0,0)01.000
(0,2)(0,2)2-0.416
(2,4)(2,4)2-0.416
(10,12)(10,12)2-0.416
(0,3)(0,3)3-0.990

这张表就是第四节那条恒等式的最小例子:位置本身没进入结果,只有差值进入了结果。

这一节想让你记住的一件事:旋转把「绝对位置」写进角度,而内积自动把绝对位置差成相对位置。

五、为什么要拆成 d/2d/2 个平面、用不同频率

一个二维平面只能表示一个角度,用一个角度编码长距离会有「转圈」问题:位置差大到一定程度,角度差就绕回原点,两个相隔很远的 token 看起来又「近」了。

解法是多频率:把 dd 维切成 d/2d/2 个二维平面,第 ii 个平面用不同的角速度

θi=base−2i/d,i=0,1,…,d2−1\theta_i=\text{base}^{-2i/d},\qquad i=0,1,\dots,\tfrac{d}{2}-1

  • i=0i=0 时 θ0=1\theta_0=1:每前进一个位置就转 1 弧度,变化最快,适合区分相邻位置。
  • ii 越大,θi\theta_i 越小:转得越慢,一圈能覆盖的位置范围越大,适合区分远处。
  • base 决定快慢的跨度;base 越大,最慢那一维转得越慢,能区分的距离上限越高。

这就像钟表:秒针负责「刚才」,时针负责「上午还是下午」。单一指针无法同时表达这两种尺度。

5.1 把频率摊开看:每一维能「记住」多远

在本文的设定(d=64d=64、base=10000)下,各维的角速度与周期是这样的:

平面序号 ii角速度 θi\theta_i转一圈需要的位置数 2π/θi2\pi/\theta_i
01.0000006.3
10.7498948.4
20.56234111.2
40.31622819.9
80.10000062.8
160.010000628.3
240.0010006283.2
310.00013347117.2

读法:第 0 个平面每 6.3 个位置转一圈,它擅长区分「相邻几个位置」;第 31 个平面要 4.7 万个位置才转一圈(这里的「位置数」是连续位置变量下的量,通常不是整数),它擅长区分「相距很远」。但要注意一个隐患:任何一维一旦超过自己的周期,相位就会回绕——两个相距接近一个周期的位置,在这一维上的相位会很接近(相位近似碰撞)。这里要区分两个量:代码里算的是未取模的 mθim\theta_i(可以任意大),有界的是模 2π2\pi 之后的相位;周期是连续位置变量下的量,整数位置通常不会精确重合。多频率的价值就在于,即使某一维别名了,其他维仍然能区分开。

这也解释了为什么「只看一维」的位置编码在长上下文里必然失败,以及为什么外推方法要针对不同频率段做不同处理(第八节)。

需要说明这张表的边界:它给出的是「相位能区分多远」,不等于「模型能利用多远」。相位只是把位置变成可分辨的数值,模型能否在那么远的距离上建立语义关联,取决于训练数据里是否出现过这样的距离、以及注意力是否真的把权重分配过去。很多「训练 8k 的模型在 16k 上一塌糊涂」的案例,原因正是数值上还没别名、但分布上已经陌生。

5.2 base 是什么:一个全局的「慢放旋钮」

base 出现在 θi=base−2i/d\theta_i=\text{base}^{-2i/d} 的指数底上,但它不是一个对所有频率等比例生效的旋钮:当 i=0i=0 时 θ0=1\theta_0=1,与 base 无关;i>0i>0 的平面才随 base 变大而转慢,且转慢的程度随 ii 变化(指数是 2i/d2i/d)。所以严格说,base 改变的是频率分布的跨度,不是「整体慢放」。

以 i=31i=31、d=64d=64 为例,指数是 2i/d=0.9692i/d=0.969,所以周期近似按 base0.969\text{base}^{0.969} 放大——把 base 从 10000 提到 500000(一些长上下文模型配置里能见到的示例值),这一维的周期约放大 500.969≈4450^{0.969}\approx44 倍,从约 4.7 万位置拉到约 200 万位置。

代价是分辨率:base 调大之后,相邻位置的角差变小,模型区分「只差一个位置」会变难。所以基座模型选 base 时,实际是在「能记住多远」与「能分清多近」之间取一个点,这个点必须与训练长度匹配。这条边界有两篇论文专门讨论:Liu 等(首次提交 2023-10-08,v2 修订 2024-03-13)把 base 与可外推长度之间的关系写成经验规律,并发现调小或调大 base 都可能改善外推;Men 等(首次提交 2024-05-23)则给出一个更精确的条件——要在其理论与实验设定下获得某一上下文能力,base 存在一个绝对下界。两者都不支持「base 越大,能用的上下文就一定越长」这种单调读法。

这一节想让你记住的一件事:多频率不是美学选择,是让「近处可分、远处不混」的必要条件。

六、一个能自己跑的验证:相对性到底成不成立

讲到这里必须动手验证一次,否则「只依赖 n−mn-m」只是一句口号。本文用纯 Python 实现了一个 64 维、base=10000 的 RoPE(代码在文末附录),随机取一组 q,kq,k,量三件事。

第一件:同一个相对距离,换不同的绝对位置,分数是否完全相同。

  • ⟨R(0)q, R(5)k⟩=−6.7460\langle R(0)q,\ R(5)k\rangle=-6.7460
  • ⟨R(10)q, R(15)k⟩=−6.7460\langle R(10)q,\ R(15)k\rangle=-6.7460
  • ⟨R(100)q, R(105)k⟩=−6.7460\langle R(100)q,\ R(105)k\rangle=-6.7460
  • ⟨R(3)q, R(8)k⟩=−6.7460\langle R(3)q,\ R(8)k\rangle=-6.7460,与 m=103,n=108m=103,n=108 也完全一致

四位小数完全相同。这就是那条恒等式在数值上的样子。

顺手还验证了「保长」:同一个向量在旋转前后的欧氏范数相对差为 0(这是本文这组向量与位置在双精度下的实际结果;浮点旋转不保证任意输入都精确相等,一般应看是否小于某个误差容限)。位置只改方向,不改长度——它保持 qq、kk 各自的范数,因此保留了内积的上界(∥q∥∥k∥\lVert q\rVert\lVert k\rVert);但具体内积及其分布仍会随角度变化,所以不能据此说分数分布不变。

第二件:内积随距离怎么变。取 200 组随机高斯向量对,测不同距离下的平均绝对内积。口径先说清:下表是同一批 200 组随机高斯向量对在各距离下未经 √d 缩放、未经 softmax 的平均 |内积|,不是注意力权重,只能说明「角度差如何影响内积的大小」:

相对距离01248163264128256
平均绝对内积(未缩放、未 softmax)5.515.675.915.876.016.176.186.796.486.49

没有出现明显衰减。 这里要说清它和论文结论的关系,避免误读:

  • RoFormer 的摘要把「随相对距离增大而衰减的交互依赖」列为 RoPE 的性质之一;论文正文(第 3.3、3.4.3 节)给出的是一条上界性质——内积绝对值随距离增大存在衰减上界,且这个界里含与 q,kq,k 相关的系数项和一个随距离变化的求和项。
  • 上界不等于「每一对实际分数都会随距离单调下降」。本文测的是实际分数的平均值,既不是那个上界,也不是它的验证实验。所以本文的结果「没有观察到明显衰减」既不验证也不反驳论文的上界,二者不是同一个量。
  • 工程上的结论只有一句:不要拿「距离远所以分数低」当先验。远距离能不能被注意到,取决于训练分布与实际内容,而不是一条单调规律。

6.1 「整体平移不变」到底对什么成立

验证完相对性,自然要问:把整段文本往后挪一万个位置,分数会变吗?

在标准 RoPE、内容不变、掩码不变的前提下:不会。 因为查询与键的位置同时加了同一个常数 cc,差值还是 n−mn-m,旋转后的内积一模一样。这是第四节那条恒等式的直接推论,不应该被推翻。

真正会出问题的是下面三种「不是整体平移」的情形:

  • 只移动一侧:新算的查询用了新坐标,缓存里的键还是旧坐标,差值就被改了。这时需要的是坐标对齐(或者对已旋转的键施加一次补偿旋转),而不是重算全部原始键。
  • 位置起点与训练不一致:训练时从 0 开始、推理时从 1 开始,确实让所有差值整体不变(n+1−(m+1)=n−mn+1-(m+1)=n-m),所以单纯起点变化本身不改变分数;但如果提示模板的拼接方式随之改变(多了一个占位 token),上下文内容布局变了,结果才会变。
  • 跨会话复用缓存:位置可以对齐,但上下文依赖、掩码与注意力可见范围未必对得上,所以「能对齐坐标」不等于「可以随便复用」。

所以正确的说法是:RoPE 对「所有位置同步平移」不敏感;对「一侧平移、缓存错位、遮罩变化」敏感。 把这两件事混为一谈,会在排查时把方向带偏。

这一节想让你记住的一件事:相对性是恒等式,可以精确验证;衰减是上界性质,不能当成逐对的单调规律。

RoPE 把查询与键按各自位置旋转,点积只保留角度差
图 1 RoPE 只改方向不改长度,内积只保留角度差(本文自绘)

这张图想说明的一件事:位置进入模型的唯一通道是角度,而内积把两个绝对角度合成为一个相对角度。

七、代价与工程现实

RoPE 的工程属性比它的数学更值得关心,因为很多「为什么我的注意力实现更慢/更占显存」都来自这一层。

  1. 没有新增参数。旋转角由位置与 base 直接算出,不需要训练,也不进入优化器。相比之下,可学习位置嵌入要占 Lmax⁡×dL_{\max}\times d 个参数。
  2. 每层每个头都要转。旋转不只在输入层做一次,而是在每一层注意力之前对 qq、kk 分别施加——因为每一层的 q,kq,k 都是新算出来的。计算量是元素级的乘加,量级远小于矩阵乘法,但不能省。
  3. KV 缓存里存的是「已经旋转过」的键。这一点常被忽略:推理时上一轮的键已经按它当时的位置转好了,直接复用即可,不需要重新旋转。如果有人把「位置信息」和「键向量」分开缓存、或者在复用缓存时又旋转一次,就会得到错误的结果。
  4. 批处理不改变位置含义。同一批里的不同样本各自从 0 开始编号,位置是「样本内」的量,不是「批内」的量。
  5. 位置编号的起点要与训练一致。单纯把起点从 0 改成 1 只会让所有差值不变,分数不受影响;真正危险的是「新查询用新坐标、旧缓存用旧坐标」这种单侧错位,以及拼接模板变化导致的内容布局改变。
  6. prefill 与 decode 要用同一套角度。prefill 阶段一次算完整段提示的键,decode 阶段逐个追加;两者若用了不同的 base 或缩放(例如服务端按请求长度动态换缩放),同一个 token 在缓存里与新计算出的键就会不一致,表现为「答案前后矛盾」。
  7. 批内长度不齐时,位置必须逐样本给出。用一个全局递增位置喂整批,会让第二个样本的第一个 token 继承第一个样本的末尾位置,这是批处理实现里最常见的静默错误之一。

7.1 旋转到底花多少算力

把成本量化一下会更清楚为什么它「可以忽略但不能省」。对一层注意力,旋转要做的是:

  • 对 qq 与 kk 各做一次逐元素乘加,规模是 O(d)O(d) 每 token 每头;
  • 相比之下,qk⊤q k^{\top} 的规模是 O(d)O(d) 每 token 对,注意力输出是 O(d)O(d) 每 token 对——也就是说,旋转的成本比注意力主体低一个量级(它与「每 token」成正比,而不是「每 token 对」)。

在长上下文里这个比例更有利:序列越长,注意力主体按平方增长,而旋转仍按线性增长。所以 RoPE 的算力代价几乎可以忽略;真正需要小心的是它的正确性代价——旋转时机、缓存复用、位置起点这三处一旦错,结果会静默变差而不报错。

7.2 因果掩码与位置是两件事

常有人把「顺序」全部归功于位置编码,其实因果掩码也在提供顺序结构:它让位置 mm 看不到 n>mn>m,等于硬性规定「未来的不可见」。两者分工不同。

  • 掩码告诉模型「谁能看谁」。它是二值的、与内容无关的,并且在任何一个训练样本里都一样。
  • 位置编码告诉模型「谁离谁多远」。它是连续的、与内容无关的,但会随长度变化。

这解释了两件事。第一,为什么去掉位置编码的模型仍然能「不看到未来」——掩码在起作用,但它的输出对置换仍然等变(这也是第一节要限定「无因果掩码」才完全等价的原因)。第二,为什么长上下文问题往往不是掩码问题:掩码的规则不随长度改变,而位置的数值会随长度跑到训练没见过的区间。

工程上的推论:排查「长上下文效果差」时,先分清是看不到(掩码或注意力稀疏化配置)还是看不懂(位置分布陌生)。前者是配置问题,后者要靠缩放或微调解决。

这一节想让你记住的一件事:RoPE 不增加参数,但它把「位置」变成了一个必须与缓存、批处理、训练配置同时对齐的运行时约定。

八、长上下文外推:四种方法各自改了什么

训练长度 8k 的模型,直接喂 32k 会怎样?位置角会进入训练中从未出现过的区间,注意力分数随之失真——位置插值那篇论文的原话是「可能导致灾难性的高注意力分数,完全破坏自注意力」。于是有了四类做法,它们改的都是第四节那条式子里的某个量。

方法改动对象做法(一句话)额外代价
位置插值 PI位置编号 mm把超长区间线性压缩回训练区间:m′=m⋅Ltrain/Ltargetm'=m\cdot L_{\text{train}}/L_{\text{target}}需要少量微调(论文报告 1000 步内),近距离分辨率被压缩
NTK-aware(社区提案,YaRN 正文有整理)频率基数 base不改位置,改 base;θ0\theta_0 不变,其余频率按索引非均匀降低无训练也能用一部分,但最高频平面仍会失真
YaRN频率 + 注意力温度按维度分别处理(高频保留、低频拉伸)+ 调整注意力温度论文报告比此前方法省 10 倍 token、2.5 倍训练步数
LongRoPE每个维度的缩放因子用搜索找出非均匀的缩放因子,再渐进式扩展需要搜索与多阶段微调,工程复杂度最高

逐条展开一点,方便记住「它到底动了哪个旋钮」:

  • 位置插值动的是位置编号本身。它假设「模型见过的角度范围够用,只是位置编号超了」,于是把 32k 的位置线性压到 8k 的刻度上。代价是近距离分辨率一起被压:原来间隔 1 的两个位置,压缩后间隔变成 1/4。
  • NTK-aware 动的是 base。它不去压位置,而是把 base 调大:θ0\theta_0 不变、其余平面的频率按各自指数下降,效果是低频平面「每一圈」被拉长,而最高频平面几乎不动。这也是它与位置插值的核心区别。这样近距离的相邻位置仍然有明显角差,但低频维会在更远处才别名。代价是高频维的相对变化变小,模型对「极近位置」的敏感度下降。
  • YaRN 承认前两种都不够:高频维应该保留原有刻度(否则近距离失效),低频维才需要拉伸(否则远处别名)。它按维度分段处理,并额外调整注意力温度的尺度,以补偿分数分布的变化;论文报告比此前方法省 10 倍 token、2.5 倍训练步数。
  • LongRoPE 再往前一步:同一频段内部的不同维度也未必共享同一个最优缩放,于是用搜索为每一维找缩放因子,再用「先短后长」的渐进微调把模型推上去。它把上下文推到了 2048k 量级,代价是搜索与多阶段训练。

四者有一个共同的着力点:它们主要调整「位置—频率」的映射,让超出训练范围的位置在模型看来不要那么陌生。但它们并不是同一件事的不同版本——位置插值、YaRN、LongRoPE 都包含微调环节,NTK-aware 也不把每个频段都压回训练区间(YaRN 对它的讨论明确提到部分维度仍在范围外外推)。 位置插值把 32k 压成 8k;NTK-aware 把角度尺度拉慢;YaRN 承认不同维度该用不同处理;LongRoPE 进一步承认「每一维的最优缩放并不相同」,于是去搜。这条演进线其实是一条认识论线:从「均匀缩放」到「分维度缩放」。

四种长上下文外推方法各自改动的量与代价对照
图 2 四种外推方法改动的对象不同,代价也不同(本文自绘)

这张图想说明的一件事:外推方法的分歧不在数学,而在「承认哪一层的不均匀性」。

8.1 选哪种:按你的约束倒推

  • 只是想跑通一个更长的输入,且能接受效果变差:先试改 base(NTK-aware 思路),不改权重、不加训练。
  • 需要稳定可用,且愿意做少量微调:位置插值最直接。该论文的实验配置是原始 LLaMA(2048 上下文)扩到 32768,微调在 1000 步以内;本文第八节那个 4096→16384 的算例只是教学假设,不是论文设置。
  • 要在长上下文上保住原有短上下文能力:考虑 YaRN 这类分频段处理,并注意它同时改了注意力温度,推理时要用配套实现。
  • 目标是极长(十万到百万级):LongRoPE 一类的渐进扩展与逐维搜索更合适,但要接受搜索成本与多阶段训练。
  • 完全不想动权重:接受「不改也能跑但效果下降」的现实,不要期待零成本外推。

8.2 一个算例:位置插值到底压了多少

设模型训练长度 4096、目标长度 16384,因子是 4。位置插值把编号除以 4:

目标位置插值后编号相邻位置角差变化
00不变
41每个原位置单位现在跨 4 个目标位置
40961024仍在训练范围内
163844096恰好到训练边界

由此可以直接看出代价:相邻两个 token 的角差被压缩到原来的四分之一。对高频维(本来一圈只有 6 个多位置)来说,压缩后区分相邻位置变得更难,这就是为什么位置插值通常需要一点微调来「重新校准」这些维度。反过来,低频维因此得到更多「可用范围」,远处不再别名——收益与代价同时发生。

共同的判据只有一条:先确认模型训练时的位置分布,再问「我的目标长度让它超出了多少」——超出得越多,就越需要更强的干预。

这一节想让你记住的一件事:位置编码决定「模型能不能区分远近」,不决定「模型懂不懂远近的意义」。

九、把四种方法排成一条演进线

如果把四种方法按「假设了什么」排序,会看到一条很清楚的收紧过程:

  1. 位置插值假设:所有维度应该用同一个缩放比例。这个假设最强、实现最简单,代价是近距离分辨率损失。
  2. NTK-aware 假设:频率可以统一改,但改的是底数而不是位置。它比均匀缩放更贴近 RoPE 的几何结构,因为在频率域缩放不会让相近位置直接重合。
  3. YaRN 假设:不同频率段应该区别对待——高频维(管近处)不该被拉伸,低频维(管远处)才该。这个假设把「不均匀」从工程技巧提升为设计原则。
  4. LongRoPE 假设:连同一个频率段内部,不同维度也未必共享同一个最优缩放,于是用搜索去逐个确定。

每收紧一步,效果上限提高一点,工程成本也提高一截。这不是「谁取代谁」,而是「你的场景能承受多少工程复杂度」。对多数团队来说,选一个成熟实现、按官方推荐的缩放配置用,比自己去搜缩放因子更划算。

9.1 怎么读懂一个模型的位置配置

看到模型配置里的位置相关字段时,可以按这个顺序读:

  1. base(有时叫 rope_theta):原始 RoPE 用 10000;一些长上下文模型的配置里出现过 500000、1000000 这类更大的值。它决定「最慢的那个平面能记多远」。具体是哪个值,要看该模型的配置文件,不要凭印象。
  2. 缩放类型与因子:linear 对应位置插值,dynamic/ntk 一类对应改底数,yarn 对应分段加温度。因子通常是「目标长度 / 训练长度」。
  3. 训练长度:所有缩放都是相对它定义的。同一个因子配 4k 训练和配 32k 训练,效果完全不同。
  4. 是否全维旋转:部分实现只对前一部分维度做旋转(其余维度不带位置),这时有效维度变小,等价于减少了频率层级。
  5. 推理时的位置起点:与训练是否一致,直接影响所有相对位置。

这五项里,工程上最常出错的是第 2 项和第 5 项:缩放配置与训练不匹配、位置起点偏移一位。两者都不会报错,只会让效果「莫名其妙地差一点」。

这一节想让你记住的一件事:外推方法的差别不是算法优劣,而是它们对「均匀性」的假设有多强。

十、常见误解速查

常见说法为什么不对更准确的说法
「RoPE 是相对位置编码」它编码的是绝对位置,只是内积后表现为相对绝对位置写进角度,分数只依赖差值
「RoPE 增加了位置参数」角度由公式算出,无可训练参数零参数,但每层每头都要做旋转
「位置越远注意力越弱」论文给的是内积绝对值的衰减上界,不是逐对单调上界不等于每对分数都在下降
「换 base 就是插值」一个改频率,一个改位置编号两者的数值后果与失真方式不同
「外推就是直接喂更长的序列」超出训练区间会破坏注意力分布需要缩放、微调或两者结合
「KV 缓存要存原始键」缓存里存的是已旋转的键复用即可,不能再转一次
「起点挪一位就会毁掉结果」两侧同步平移时差值不变,分数不变危险的是单侧错位与缓存混用

表里最后两条值得展开一句:「距离越远注意力越弱」是最容易被当成常识的错误。它把论文里那条「上界随距离衰减」的结论读成了逐对保证,于是在排查长上下文问题时得出「远处本来就不该被注意到」的错误结论。实际情况是:能不能注意到远处,取决于模型在训练中是否见过那么远的位置,以及该位置上的内容是否与查询在语义上对齐。

这一节想让你记住的一件事:RoPE 的坑几乎都不在公式里,而在「谁在什么时候旋转了它」。

十一、边界与未解

三件事必须说清,避免过度承诺。

第一,本文没有训练或推理任何真实模型。全部结论分两类:一类是恒等式与数值验证(第四、六节),可以复现;另一类是论文口径的转述(第八、九节),标注了来源但不代表本文实测。长上下文的实际效果取决于模型、数据与微调策略,不能从本文的推导直接外推。

第二,「相对位置」不等于「语义上的距离」。token 距离与词距离、句距离不是一回事:一个汉字可能一个 token,一个英文长词可能三个 token。位置编号是 token 编号,不是字符编号——这一点与分词器强相关。

第三,外推能力的评测本身很难。长上下文基准(如「大海捞针」式的检索测试)能测「找得到吗」,但测不出「理解得对吗」。公开结果里同一方法在不同基准上的排序不一致,这类差异需要按任务分别核对,不能拿单一分数下结论。

11.1 三个常被追问的问题

问:既然只看相对位置,为什么不干脆不给绝对位置? 答:因为「只看相对」是指分数不受统一平移影响,而不是说实现里可以没有编号。编号决定了每个 token 的角度,进而决定键向量本身;同一段文本放在不同位置,键不同、与其他 token 的可见关系也不同。纯相对设计(例如只按距离衰减)在实践中难以表达「第几个」「还剩多少」这类与绝对位置绑定的信息。

问:RoPE 需要额外训练吗? 答:本身不需要,角度是算出来的。但改变 base 或加缩放之后通常需要微调,因为注意力分数的分布已经变了,模型内部的其他参数(尤其是输出层与归一化)没有适应新分布。

问:为什么有些实现要在注意力里再乘一个温度? 答:因为缩放位置会改变分数的量级与分布。YaRN 一类方法显式调整注意力温度来补偿;不做补偿时,softmax 会变得过尖或过平,表现为「只盯一个 token」或「注意力发散」。

还有一件常被忽略的事:位置编码与分词器是耦合的。位置编号按 token 计数,而同一个语义单位在不同分词器下 token 数不同。换分词器等于换了一套「距离刻度」,这在长上下文任务里会表现成「同样的文本,模型的行为变了」——但真正变的是距离的定义,而不是模型的理解力。

这一节想让你记住的一件事:位置编码决定「模型能不能区分远近」,不决定「模型懂不懂远近的意义」。

11.2 一个真实的排错顺序

假设你遇到「模型在 32k 输入上答案错乱」,可以照这个顺序排:

  1. 先确认训练长度。模型是 8k 训练的,直接喂 32k,问题多半在分布而不是在代码。
  2. 再确认缩放配置。用了 linear 因子 4 还是 ntk?推理框架支持吗?配置里写了但框架不认,是最常见的一类静默失效。
  3. 再确认缓存一致性。同一请求内 prefill 与 decode 的位置是否连续,批内样本是否各自编号。
  4. 最后才怀疑模型能力。前三条都排除了,才需要回到「训练数据里有没有这么长的样本」这个层面。

这个顺序的价值在于成本:前三条都是配置检查,几分钟能做完;第四条要重新训练或换模型,成本极高。

十二、小结:一条式子,四个推论

全文可以收成一条链:

位置 m → R(mθ)  角度 → ⟨⋅,⋅⟩  n−m → base 与维度  可分辨的距离尺度\text{位置}\ m\ \xrightarrow{\ R(m\theta)\ }\ \text{角度}\ \xrightarrow{\ \langle\cdot,\cdot\rangle\ }\ n-m\ \xrightarrow{\ \text{base 与维度}\ }\ \text{可分辨的距离尺度}

四个推论:

  1. 注意力本身无序,位置必须外部注入。
  2. 旋转保长、角度可加,于是内积天然只依赖位置差。
  3. 多频率让近处可分、远处不混,base 决定能分辨多远。
  4. 长上下文外推的方法,主要在调整「位置—频率」的映射,并常配合微调与注意力温度补偿,让超出训练范围的位置不至于失真。

12.1 一页自检清单

下次排查「长上下文效果不对」时,按这个顺序过一遍:

  1. 模型训练长度是多少?我喂的长度超出了几倍?
  2. 配置里的 base 与缩放因子是什么?推理时是否与训练一致?
  3. 位置编号从 0 还是 1 开始?与训练一致吗?
  4. 批内每个样本是否各自从起点编号?
  5. KV 缓存里存的是旋转后的键还是原始键?新查询与旧缓存用的是同一套坐标吗(有偏移就补偿,别直接混用)?
  6. 我用的推理框架是否支持该缩放类型(有些只支持 linear)?
  7. 测评用的长上下文基准,测的是「检索」还是「理解」?

这七条覆盖了工程实践中绝大多数位置相关故障。它们都属于「配置与实现」层面,不需要改动模型结构。

12.2 三个可以自己验证的推论

读完之后,你可以用文末脚本在三分钟内验证下面三条,全部成立说明你确实掌握了机制:

  1. 相对性:任意取三组 (m,n)(m,n),只要 n−mn-m 相同,内积连小数点后四位都一样。
  2. 保长性:旋转前后向量的范数相等;如果你把 base 改掉,这条依然成立(它只依赖旋转矩阵的正交性)。
  3. 相位回绕:把某一个平面单独取出来,位置差接近该平面周期时,那一维的相位会很接近(近似碰撞)——这正是「单频率位置编码不够用」的数值证据。注意周期是连续量,整数位置一般不会精确重合。

三条都不需要 GPU,也不需要下载模型。它们检验的是你对「位置在什么层面进入模型」的理解,而不是对某个框架 API 的记忆。

补充一句边界:这三条验证的是「机制」,不是「模型效果」。机制正确不代表模型在长上下文上表现好——效果还取决于训练数据的长文本比例、注意力实现的数值精度、以及是否有针对目标长度的微调。把机制与效果分开谈,是读这类文章时最省时间的习惯:机制层面可以自己验证,效果层面只能看评测与实测。

如果只记一件事:RoPE 不是给模型「加了一个位置表」,而是把位置变成了一种可以被内积消掉的几何量。

附录:复现本文的旋转验证

import math, random
random.seed(7)
d, base = 64, 10000.0
theta = [base ** (-2 * i / d) for i in range(d // 2)]

def rot(x, pos):
    out = [0.0] * d
    for i in range(d // 2):
        a = pos * theta[i]
        c, s = math.cos(a), math.sin(a)
        x1, x2 = x[2 * i], x[2 * i + 1]
        out[2 * i] = x1 * c - x2 * s
        out[2 * i + 1] = x1 * s + x2 * c
    return out

def dot(a, b):
    return sum(u * v for u, v in zip(a, b))

q = [random.gauss(0, 1) for _ in range(d)]
k = [random.gauss(0, 1) for _ in range(d)]
for (m, n) in [(0, 5), (10, 15), (100, 105), (3, 8)]:
    print((m, n), dot(rot(q, m), rot(k, n)))

nq = math.sqrt(sum(v * v for v in q))
nr = math.sqrt(sum(v * v for v in rot(q, 37)))
print("norm", nq, nr, abs(nr - nq) / nq)

qs = [[random.gauss(0, 1) for _ in range(d)] for _ in range(200)]
ks = [[random.gauss(0, 1) for _ in range(d)] for _ in range(200)]
for dist in [0, 1, 2, 4, 8, 16, 32, 64, 128, 256]:
    print(dist, sum(abs(dot(rot(qs[i], 0), rot(ks[i], dist))) for i in range(200)) / 200)

再顺手打印一组频率参数,方便对照第五节那张表:

import math
base, d = 10000.0, 64
for i in [0, 1, 2, 4, 8, 16, 24, 31]:
    th = base ** (-2 * i / d)
    print(i, th, 2 * math.pi / th)

说明:脚本只依赖标准库 math 与 random,不需要安装任何包;在普通笔记本上运行不到一秒。

口径限制:本文用的是随机高斯向量与 base=10000、d=64 的一组参数,不是任何具体模型的实际配置;换 base、换维度会改变数值,但「相对性成立」的结论不随之改变(它来自矩阵恒等式,与 base 无关)。距离扫描表里的绝对值也只对本文这组随机种子成立,换种子数值会变,趋势结论(没有明显衰减)在同一设定下可复现。

📋 来源与核验记录

本文引用的一手来源(2026-11-12 本轮逐一核读过 arXiv 摘要页):

  1. Su 等,《RoFormer: Enhanced Transformer with Rotary Position Embedding》,arXiv:2104.09864(首次提交 2021-04-20;本文引用 v5,修订 2023-11-08)。本文第四、五节的旋转形式与该文一致;该文摘要明确指出 RoPE 用旋转矩阵编码绝对位置、并在自注意力中引入显式相对位置依赖,同时列出「随相对距离增大而衰减」等性质。https://arxiv.org/abs/2104.09864
  2. Chen 等,《Extending Context Window of Large Language Models via Positional Interpolation》,arXiv:2306.15595(首次提交 2023-06-27;本文引用 v2,修订 2023-06-28)。第八节关于「线性下缩放位置编号、避免外推导致灾难性高注意力分数」的表述来自该文摘要。https://arxiv.org/abs/2306.15595
  3. Peng 等,《YaRN: Efficient Context Window Extension of Large Language Models》,arXiv:2309.00071(首次提交 2023-08-31;本文引用 v3,修订 2026-02-06)。第八节「省 10 倍 token、2.5 倍训练步数」为该文摘要口径。https://arxiv.org/abs/2309.00071
  4. Ding 等,《LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens》,arXiv:2402.13753(首次提交 2024-02-21;本文引用 v1)。第八节关于「通过搜索利用位置插值中的两种非均匀性、渐进式扩展」的表述来自该文摘要。https://arxiv.org/abs/2402.13753
  5. Liu 等,《Scaling Laws of RoPE-based Extrapolation》,arXiv:2310.05209(首次提交 2023-10-08;本文引用 v2,修订 2024-03-13)。第五节末尾「base 与可外推长度之间存在经验规律」的说法依据该文摘要。https://arxiv.org/abs/2310.05209
  6. Men 等,《Base of RoPE Bounds Context Length》,arXiv:2405.14591(首次提交 2024-05-23;本文引用 v1)。第五节末尾「base 决定上下文长度上界」的论证依据该文摘要。https://arxiv.org/abs/2405.14591

本文自行推导与实测(与上述论文口径分列):

  • 第四节的恒等式推导与第五节的频率设定:按 RoPE 的标准定义自行推导,并与第 1 条来源的表述核对。
  • 第六节的四个分数值与距离扫描表:2026-11-12 用文末脚本在本机实测(64 维、base=10000、随机种子 7),可复现。
  • 第七节的工程属性(缓存已旋转键、每层每头旋转、批内独立编号):属实现层常识性推理,未引用单一来源,故不作为文献结论。
  • 第九节「演进线」的分层是本文的组织方式,不是论文作者的表述。
  • 第五节频率表与「base 从 1e4 提到 5e5、周期约放大 44 倍」:由 θi=base−2i/d\theta_i=\text{base}^{-2i/d} 直接计算(i=31i=31、d=64d=64),属本文自算。
  • 第六节的范数相对差(0.0e+000.0e+00):同一脚本实测。