位置编码为什么用「旋转」:从复数角度把 RoPE 推到长上下文外推
科普向概念澄清,讲清一件事:Transformer 的注意力本身看不见顺序,RoPE 用「按位置旋转」的方式把相对位置写进了注意力分数里。文章从二维旋转矩阵与复数出发,推导出「固定旋转前的 q、k 之后,显式位置依赖只经由 n−m 进入分数」这一恒等式,说明为什么每一维用不同频率、为什么它不增加任何参数,再把位置插值、NTK-aware、YaRN、LongRoPE 四种长上下文外推方法拆成「它们各自改动了什么」的对照表。文中的旋转恒等式与距离扫描是本文 2026-11-12 用 64 维、base=10000 的纯 Python 实现实测,不是论文数字转述;全文不含真实模型的训练或推理评测。
一、先给直觉:注意力天生「看不见」顺序
想象你把一张购物清单撕成纸条,扔进一个袋子里摇匀,然后一张张抽出来。你可以比较任意两张纸条像不像,但袋子里没有「第几张」这个概念。
Transformer 的自注意力(这里指没有位置编码、没有位置偏置、也没有因果掩码的情形)就是这个袋子。因果掩码本身会带来顺序结构,后文第七节会提到。它做的事是:对序列里任意两个位置,算一个相似度分数,再按分数加权求和。写成式子就是
这里 是位置 的查询向量, 是位置 的键向量, 是每个头的维度。请注意式子里没有任何一项包含 或 本身——如果打乱输入顺序、同时打乱 与 的下标,所有分数的集合完全不变。也就是说:不加位置信息时,注意力是一个「集合运算」,不是一个「序列运算」。
但语言是有序的。「狗咬人」和「人咬狗」用的是同一批词,意思完全相反。所以任何可用的 Transformer 都必须在某处注入顺序。
1.1 这个性质有个名字:置换等变
「打乱顺序不改变结果」在数学上叫置换等变(permutation equivariance)。用一句话说:如果对所有位置同时施加同一个置换,输出也只是跟着置换,数值一个不变。
| 输入 | 有位置编码时 | 无位置编码时 |
|---|---|---|
| 「猫 追 狗」 | 三个不同的嵌入序列 | 三个嵌入按集合处理 |
| 「狗 追 猫」 | 另一组嵌入(顺序变了) | 与上一行完全相同的集合 |
| 「追 猫 狗」 | 又一组 | 仍然相同 |
第二行与第三行在语义上是不同句子,但无位置编码时它们对注意力而言完全等价。这就是必须注入位置的原因,也解释了为什么位置编码一旦出错,症状往往是「模型答得通顺但总对不上主语」——它知道有哪些词,不知道谁在前。
换句话说,位置编码解决的是「知道谁在前」,不解决「知道谁对谁做了什么」——后者要靠注意力权重与训练。把这两件事分清,后面所有关于外推与长上下文的讨论才不会跑偏。
这一节想让你记住的一件事:位置信息不是模型自带的,是额外塞进去的。
二、符号约定与术语表
后面公式会用到这些符号,先一次说清。凡是不熟悉的术语,第一次出现时给一句话定义。
| 记号 / 术语 | 含义(一句话定义) |
|---|---|
| 、 | 两个 token 的绝对位置(从 0 或 1 开始的整数下标) |
| 每个注意力头的维度;RoPE 在 个二维平面上分别旋转 | |
| 、 | 位置 的查询向量、位置 的键向量,都是 维实数向量 |
| 二维旋转矩阵,把向量逆时针转 弧度;RoPE 对高维 用的是由这些二维块拼成的块对角矩阵 | |
| 第 个平面 | 由第 与第 个坐标组成的二维子空间;注意虚数单位 与索引 是两回事 |
| 第 个二维平面用的旋转角速度(每前进一个位置转多少弧度) | |
| base | 频率基数;原始 RoPE 与本文实验都用 10000,它决定「最慢的那个平面转多慢」 |
| 相对位置 | ,即两个 token 相隔多少个位置 |
| 绝对位置编码 | 每个位置一个固定或可学的向量,加在输入嵌入上 |
| 外推(extrapolation) | 模型在超过训练长度上继续工作 |
| 插值(interpolation) | 把更长的位置范围压缩回训练过的范围里 |
| KV 缓存 | 推理时缓存历史 token 的键值向量,避免重复计算 |
2.1 为什么不能直接拿位置编号当输入
有人会想:既然要位置,直接把整数 塞进模型不就行了?问题有三个。
- 数值尺度过大。位置可以到几万,而词嵌入的分量通常在个位数;直接相加会让位置项淹没语义项,除非额外做归一化,而归一化又会抹掉绝对尺度的信息。
- 没有结构。标量整数本身保留了相邻关系(4095 与 4096 只差 1),但如果把位置当成「可学习的类别 ID」(每个位置一个独立向量),相邻性就丢了:模型只能靠见过足够多相邻样本去归纳。
- 长度不可扩展。训练到 8k 的模型,位置 9000 是一个从未出现过的数值,模型对它没有任何可泛化的表示。
把位置变成有界的角度(永远在 内)正好绕开前两条;而多频率设计让「不同距离尺度」都有对应的分辨能力,绕开第三条的一部分。这也是为什么多数现代 Transformer(例如 LLaMA 系列)都用某种「连续函数式」的位置编码,而不是固定大小的位置表。
这一节想让你记住的一件事:RoPE 只关心 ,这一个量决定了整篇文章。
三、为什么「绝对位置」不够用
最直接的做法是给每个位置一个向量,加到词嵌入上(正弦编码或可学习嵌入)。它能让模型知道「这是第 3 个词」,但会带来三个麻烦:
- 训练长度之外的行为分两种。正弦编码是可以解析计算任意位置的(公式在,任何位置都算得出),只是模型没在那里训练过、表现不保证;而固定大小的可学习位置表在训练长度之外确实没有定义——那些位置根本没有参数。把这两种情况混为一谈,会误判「模型能不能处理更长的输入」。
- 它表达的是绝对位置,相对位置要靠模型自己学。两个词相隔 5 个位置这件事,在绝对编码下是「位置 a 与位置 a+5 的两个向量」,模型必须从无数组合里归纳出「差值」这个概念。
- 平移不一致。同一句话整体往后挪 100 个位置,绝对编码下的输入完全变了,但语义没变。
语言里真正重要的通常正是相对关系:修饰语紧跟被修饰词、括号成对、引用相隔几段——这些都是「距离」而不是「绝对坐标」。
3.1 三种常见的位置编码做法
历史上主流的位置编码做法有三种(严格说第三种不是「绝对」编码,它是按相对距离加偏置),它们各自的问题不同:
| 做法 | 形式 | 优点 | 主要问题 |
|---|---|---|---|
| 正弦编码 | 每个位置用不同频率的正弦/余弦对拼成向量 | 无需训练、可解析计算任意位置 | 加到嵌入上与语义混在一起,相对信息要模型自己学 |
| 可学习位置嵌入 | 每个位置一个可训练向量 | 表达自由、实现最简单 | 超过训练长度就没定义,参数随最大长度线性增长 |
| 相对位置偏置 | 在注意力分数上加「距离 → 偏置」的表 | 直接建模距离,长度外推较好 | 需要额外的偏置表,且与内容交互弱 |
RoPE 的思路可以看作第四种:不往输入上加任何东西,而是让「位置」通过注意力计算本身进入模型。它因此同时具备正弦编码的「无参数」与相对位置偏置的「显式相对性」。
这一节想让你记住的一件事:我们想要的性质是「整体平移不改变结果」,绝对编码天生不满足它。
四、旋转:把位置变成一个角度
RoPE 的做法很巧:不动向量的长度,只改它的方向。对位置 的向量,按位置乘以一个旋转角:
用复数写更直观:把二维向量看成复数 ,旋转就是乘一个单位复数
这个操作有两个立刻可见的性质:
- 保长:,旋转不改变向量长度,只改变方向。
- 可逆:,转过去还能转回来。
关键在下一步。设 在位置 、 在位置 ,各自旋转后求内积:
这条恒等式的证明只需一步:旋转矩阵是正交矩阵,且旋转角可加,于是
固定旋转前的 与 之后,内积里只剩 。 这就是 RoPE 的全部魔法:它编码的是绝对位置(每个位置有自己的角度),但落在注意力分数里的是相对位置(只有角度差有意义)。
4.1 手算一个二维例子
取最简单的设定:只有一个二维平面()、每位置转 弧度、。
- 不旋转时:,任何位置都得到同一个分数,顺序信息为零。
- 位置 :。
- 位置 :。
- 两者的内积是 ,恰好等于 。
把同样两对位置整体平移,结果不变:
| 位置对 | 角度差 | 内积 |
|---|---|---|
| 0 | 1.000 | |
| 2 | -0.416 | |
| 2 | -0.416 | |
| 2 | -0.416 | |
| 3 | -0.990 |
这张表就是第四节那条恒等式的最小例子:位置本身没进入结果,只有差值进入了结果。
这一节想让你记住的一件事:旋转把「绝对位置」写进角度,而内积自动把绝对位置差成相对位置。
五、为什么要拆成 个平面、用不同频率
一个二维平面只能表示一个角度,用一个角度编码长距离会有「转圈」问题:位置差大到一定程度,角度差就绕回原点,两个相隔很远的 token 看起来又「近」了。
解法是多频率:把 维切成 个二维平面,第 个平面用不同的角速度
- 时 :每前进一个位置就转 1 弧度,变化最快,适合区分相邻位置。
- 越大, 越小:转得越慢,一圈能覆盖的位置范围越大,适合区分远处。
- base 决定快慢的跨度;base 越大,最慢那一维转得越慢,能区分的距离上限越高。
这就像钟表:秒针负责「刚才」,时针负责「上午还是下午」。单一指针无法同时表达这两种尺度。
5.1 把频率摊开看:每一维能「记住」多远
在本文的设定(、base=10000)下,各维的角速度与周期是这样的:
| 平面序号 | 角速度 | 转一圈需要的位置数 |
|---|---|---|
| 0 | 1.000000 | 6.3 |
| 1 | 0.749894 | 8.4 |
| 2 | 0.562341 | 11.2 |
| 4 | 0.316228 | 19.9 |
| 8 | 0.100000 | 62.8 |
| 16 | 0.010000 | 628.3 |
| 24 | 0.001000 | 6283.2 |
| 31 | 0.000133 | 47117.2 |
读法:第 0 个平面每 6.3 个位置转一圈,它擅长区分「相邻几个位置」;第 31 个平面要 4.7 万个位置才转一圈(这里的「位置数」是连续位置变量下的量,通常不是整数),它擅长区分「相距很远」。但要注意一个隐患:任何一维一旦超过自己的周期,相位就会回绕——两个相距接近一个周期的位置,在这一维上的相位会很接近(相位近似碰撞)。这里要区分两个量:代码里算的是未取模的 (可以任意大),有界的是模 之后的相位;周期是连续位置变量下的量,整数位置通常不会精确重合。多频率的价值就在于,即使某一维别名了,其他维仍然能区分开。
这也解释了为什么「只看一维」的位置编码在长上下文里必然失败,以及为什么外推方法要针对不同频率段做不同处理(第八节)。
需要说明这张表的边界:它给出的是「相位能区分多远」,不等于「模型能利用多远」。相位只是把位置变成可分辨的数值,模型能否在那么远的距离上建立语义关联,取决于训练数据里是否出现过这样的距离、以及注意力是否真的把权重分配过去。很多「训练 8k 的模型在 16k 上一塌糊涂」的案例,原因正是数值上还没别名、但分布上已经陌生。
5.2 base 是什么:一个全局的「慢放旋钮」
base 出现在 的指数底上,但它不是一个对所有频率等比例生效的旋钮:当 时 ,与 base 无关; 的平面才随 base 变大而转慢,且转慢的程度随 变化(指数是 )。所以严格说,base 改变的是频率分布的跨度,不是「整体慢放」。
以 、 为例,指数是 ,所以周期近似按 放大——把 base 从 10000 提到 500000(一些长上下文模型配置里能见到的示例值),这一维的周期约放大 倍,从约 4.7 万位置拉到约 200 万位置。
代价是分辨率:base 调大之后,相邻位置的角差变小,模型区分「只差一个位置」会变难。所以基座模型选 base 时,实际是在「能记住多远」与「能分清多近」之间取一个点,这个点必须与训练长度匹配。这条边界有两篇论文专门讨论:Liu 等(首次提交 2023-10-08,v2 修订 2024-03-13)把 base 与可外推长度之间的关系写成经验规律,并发现调小或调大 base 都可能改善外推;Men 等(首次提交 2024-05-23)则给出一个更精确的条件——要在其理论与实验设定下获得某一上下文能力,base 存在一个绝对下界。两者都不支持「base 越大,能用的上下文就一定越长」这种单调读法。
这一节想让你记住的一件事:多频率不是美学选择,是让「近处可分、远处不混」的必要条件。
六、一个能自己跑的验证:相对性到底成不成立
讲到这里必须动手验证一次,否则「只依赖 」只是一句口号。本文用纯 Python 实现了一个 64 维、base=10000 的 RoPE(代码在文末附录),随机取一组 ,量三件事。
第一件:同一个相对距离,换不同的绝对位置,分数是否完全相同。
- ,与 也完全一致
四位小数完全相同。这就是那条恒等式在数值上的样子。
顺手还验证了「保长」:同一个向量在旋转前后的欧氏范数相对差为 0(这是本文这组向量与位置在双精度下的实际结果;浮点旋转不保证任意输入都精确相等,一般应看是否小于某个误差容限)。位置只改方向,不改长度——它保持 、 各自的范数,因此保留了内积的上界();但具体内积及其分布仍会随角度变化,所以不能据此说分数分布不变。
第二件:内积随距离怎么变。取 200 组随机高斯向量对,测不同距离下的平均绝对内积。口径先说清:下表是同一批 200 组随机高斯向量对在各距离下未经 √d 缩放、未经 softmax 的平均 |内积|,不是注意力权重,只能说明「角度差如何影响内积的大小」:
| 相对距离 | 0 | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | 256 |
|---|---|---|---|---|---|---|---|---|---|---|
| 平均绝对内积(未缩放、未 softmax) | 5.51 | 5.67 | 5.91 | 5.87 | 6.01 | 6.17 | 6.18 | 6.79 | 6.48 | 6.49 |
没有出现明显衰减。 这里要说清它和论文结论的关系,避免误读:
- RoFormer 的摘要把「随相对距离增大而衰减的交互依赖」列为 RoPE 的性质之一;论文正文(第 3.3、3.4.3 节)给出的是一条上界性质——内积绝对值随距离增大存在衰减上界,且这个界里含与 相关的系数项和一个随距离变化的求和项。
- 上界不等于「每一对实际分数都会随距离单调下降」。本文测的是实际分数的平均值,既不是那个上界,也不是它的验证实验。所以本文的结果「没有观察到明显衰减」既不验证也不反驳论文的上界,二者不是同一个量。
- 工程上的结论只有一句:不要拿「距离远所以分数低」当先验。远距离能不能被注意到,取决于训练分布与实际内容,而不是一条单调规律。
6.1 「整体平移不变」到底对什么成立
验证完相对性,自然要问:把整段文本往后挪一万个位置,分数会变吗?
在标准 RoPE、内容不变、掩码不变的前提下:不会。 因为查询与键的位置同时加了同一个常数 ,差值还是 ,旋转后的内积一模一样。这是第四节那条恒等式的直接推论,不应该被推翻。
真正会出问题的是下面三种「不是整体平移」的情形:
- 只移动一侧:新算的查询用了新坐标,缓存里的键还是旧坐标,差值就被改了。这时需要的是坐标对齐(或者对已旋转的键施加一次补偿旋转),而不是重算全部原始键。
- 位置起点与训练不一致:训练时从 0 开始、推理时从 1 开始,确实让所有差值整体不变(),所以单纯起点变化本身不改变分数;但如果提示模板的拼接方式随之改变(多了一个占位 token),上下文内容布局变了,结果才会变。
- 跨会话复用缓存:位置可以对齐,但上下文依赖、掩码与注意力可见范围未必对得上,所以「能对齐坐标」不等于「可以随便复用」。
所以正确的说法是:RoPE 对「所有位置同步平移」不敏感;对「一侧平移、缓存错位、遮罩变化」敏感。 把这两件事混为一谈,会在排查时把方向带偏。
这一节想让你记住的一件事:相对性是恒等式,可以精确验证;衰减是上界性质,不能当成逐对的单调规律。
这张图想说明的一件事:位置进入模型的唯一通道是角度,而内积把两个绝对角度合成为一个相对角度。
七、代价与工程现实
RoPE 的工程属性比它的数学更值得关心,因为很多「为什么我的注意力实现更慢/更占显存」都来自这一层。
- 没有新增参数。旋转角由位置与 base 直接算出,不需要训练,也不进入优化器。相比之下,可学习位置嵌入要占 个参数。
- 每层每个头都要转。旋转不只在输入层做一次,而是在每一层注意力之前对 、 分别施加——因为每一层的 都是新算出来的。计算量是元素级的乘加,量级远小于矩阵乘法,但不能省。
- KV 缓存里存的是「已经旋转过」的键。这一点常被忽略:推理时上一轮的键已经按它当时的位置转好了,直接复用即可,不需要重新旋转。如果有人把「位置信息」和「键向量」分开缓存、或者在复用缓存时又旋转一次,就会得到错误的结果。
- 批处理不改变位置含义。同一批里的不同样本各自从 0 开始编号,位置是「样本内」的量,不是「批内」的量。
- 位置编号的起点要与训练一致。单纯把起点从 0 改成 1 只会让所有差值不变,分数不受影响;真正危险的是「新查询用新坐标、旧缓存用旧坐标」这种单侧错位,以及拼接模板变化导致的内容布局改变。
- prefill 与 decode 要用同一套角度。prefill 阶段一次算完整段提示的键,decode 阶段逐个追加;两者若用了不同的 base 或缩放(例如服务端按请求长度动态换缩放),同一个 token 在缓存里与新计算出的键就会不一致,表现为「答案前后矛盾」。
- 批内长度不齐时,位置必须逐样本给出。用一个全局递增位置喂整批,会让第二个样本的第一个 token 继承第一个样本的末尾位置,这是批处理实现里最常见的静默错误之一。
7.1 旋转到底花多少算力
把成本量化一下会更清楚为什么它「可以忽略但不能省」。对一层注意力,旋转要做的是:
- 对 与 各做一次逐元素乘加,规模是 每 token 每头;
- 相比之下, 的规模是 每 token 对,注意力输出是 每 token 对——也就是说,旋转的成本比注意力主体低一个量级(它与「每 token」成正比,而不是「每 token 对」)。
在长上下文里这个比例更有利:序列越长,注意力主体按平方增长,而旋转仍按线性增长。所以 RoPE 的算力代价几乎可以忽略;真正需要小心的是它的正确性代价——旋转时机、缓存复用、位置起点这三处一旦错,结果会静默变差而不报错。
7.2 因果掩码与位置是两件事
常有人把「顺序」全部归功于位置编码,其实因果掩码也在提供顺序结构:它让位置 看不到 ,等于硬性规定「未来的不可见」。两者分工不同。
- 掩码告诉模型「谁能看谁」。它是二值的、与内容无关的,并且在任何一个训练样本里都一样。
- 位置编码告诉模型「谁离谁多远」。它是连续的、与内容无关的,但会随长度变化。
这解释了两件事。第一,为什么去掉位置编码的模型仍然能「不看到未来」——掩码在起作用,但它的输出对置换仍然等变(这也是第一节要限定「无因果掩码」才完全等价的原因)。第二,为什么长上下文问题往往不是掩码问题:掩码的规则不随长度改变,而位置的数值会随长度跑到训练没见过的区间。
工程上的推论:排查「长上下文效果差」时,先分清是看不到(掩码或注意力稀疏化配置)还是看不懂(位置分布陌生)。前者是配置问题,后者要靠缩放或微调解决。
这一节想让你记住的一件事:RoPE 不增加参数,但它把「位置」变成了一个必须与缓存、批处理、训练配置同时对齐的运行时约定。
八、长上下文外推:四种方法各自改了什么
训练长度 8k 的模型,直接喂 32k 会怎样?位置角会进入训练中从未出现过的区间,注意力分数随之失真——位置插值那篇论文的原话是「可能导致灾难性的高注意力分数,完全破坏自注意力」。于是有了四类做法,它们改的都是第四节那条式子里的某个量。
| 方法 | 改动对象 | 做法(一句话) | 额外代价 |
|---|---|---|---|
| 位置插值 PI | 位置编号 | 把超长区间线性压缩回训练区间: | 需要少量微调(论文报告 1000 步内),近距离分辨率被压缩 |
| NTK-aware(社区提案,YaRN 正文有整理) | 频率基数 base | 不改位置,改 base; 不变,其余频率按索引非均匀降低 | 无训练也能用一部分,但最高频平面仍会失真 |
| YaRN | 频率 + 注意力温度 | 按维度分别处理(高频保留、低频拉伸)+ 调整注意力温度 | 论文报告比此前方法省 10 倍 token、2.5 倍训练步数 |
| LongRoPE | 每个维度的缩放因子 | 用搜索找出非均匀的缩放因子,再渐进式扩展 | 需要搜索与多阶段微调,工程复杂度最高 |
逐条展开一点,方便记住「它到底动了哪个旋钮」:
- 位置插值动的是位置编号本身。它假设「模型见过的角度范围够用,只是位置编号超了」,于是把 32k 的位置线性压到 8k 的刻度上。代价是近距离分辨率一起被压:原来间隔 1 的两个位置,压缩后间隔变成 1/4。
- NTK-aware 动的是 base。它不去压位置,而是把 base 调大: 不变、其余平面的频率按各自指数下降,效果是低频平面「每一圈」被拉长,而最高频平面几乎不动。这也是它与位置插值的核心区别。这样近距离的相邻位置仍然有明显角差,但低频维会在更远处才别名。代价是高频维的相对变化变小,模型对「极近位置」的敏感度下降。
- YaRN 承认前两种都不够:高频维应该保留原有刻度(否则近距离失效),低频维才需要拉伸(否则远处别名)。它按维度分段处理,并额外调整注意力温度的尺度,以补偿分数分布的变化;论文报告比此前方法省 10 倍 token、2.5 倍训练步数。
- LongRoPE 再往前一步:同一频段内部的不同维度也未必共享同一个最优缩放,于是用搜索为每一维找缩放因子,再用「先短后长」的渐进微调把模型推上去。它把上下文推到了 2048k 量级,代价是搜索与多阶段训练。
四者有一个共同的着力点:它们主要调整「位置—频率」的映射,让超出训练范围的位置在模型看来不要那么陌生。但它们并不是同一件事的不同版本——位置插值、YaRN、LongRoPE 都包含微调环节,NTK-aware 也不把每个频段都压回训练区间(YaRN 对它的讨论明确提到部分维度仍在范围外外推)。 位置插值把 32k 压成 8k;NTK-aware 把角度尺度拉慢;YaRN 承认不同维度该用不同处理;LongRoPE 进一步承认「每一维的最优缩放并不相同」,于是去搜。这条演进线其实是一条认识论线:从「均匀缩放」到「分维度缩放」。
这张图想说明的一件事:外推方法的分歧不在数学,而在「承认哪一层的不均匀性」。
8.1 选哪种:按你的约束倒推
- 只是想跑通一个更长的输入,且能接受效果变差:先试改 base(NTK-aware 思路),不改权重、不加训练。
- 需要稳定可用,且愿意做少量微调:位置插值最直接。该论文的实验配置是原始 LLaMA(2048 上下文)扩到 32768,微调在 1000 步以内;本文第八节那个 4096→16384 的算例只是教学假设,不是论文设置。
- 要在长上下文上保住原有短上下文能力:考虑 YaRN 这类分频段处理,并注意它同时改了注意力温度,推理时要用配套实现。
- 目标是极长(十万到百万级):LongRoPE 一类的渐进扩展与逐维搜索更合适,但要接受搜索成本与多阶段训练。
- 完全不想动权重:接受「不改也能跑但效果下降」的现实,不要期待零成本外推。
8.2 一个算例:位置插值到底压了多少
设模型训练长度 4096、目标长度 16384,因子是 4。位置插值把编号除以 4:
| 目标位置 | 插值后编号 | 相邻位置角差变化 |
|---|---|---|
| 0 | 0 | 不变 |
| 4 | 1 | 每个原位置单位现在跨 4 个目标位置 |
| 4096 | 1024 | 仍在训练范围内 |
| 16384 | 4096 | 恰好到训练边界 |
由此可以直接看出代价:相邻两个 token 的角差被压缩到原来的四分之一。对高频维(本来一圈只有 6 个多位置)来说,压缩后区分相邻位置变得更难,这就是为什么位置插值通常需要一点微调来「重新校准」这些维度。反过来,低频维因此得到更多「可用范围」,远处不再别名——收益与代价同时发生。
共同的判据只有一条:先确认模型训练时的位置分布,再问「我的目标长度让它超出了多少」——超出得越多,就越需要更强的干预。
这一节想让你记住的一件事:位置编码决定「模型能不能区分远近」,不决定「模型懂不懂远近的意义」。
九、把四种方法排成一条演进线
如果把四种方法按「假设了什么」排序,会看到一条很清楚的收紧过程:
- 位置插值假设:所有维度应该用同一个缩放比例。这个假设最强、实现最简单,代价是近距离分辨率损失。
- NTK-aware 假设:频率可以统一改,但改的是底数而不是位置。它比均匀缩放更贴近 RoPE 的几何结构,因为在频率域缩放不会让相近位置直接重合。
- YaRN 假设:不同频率段应该区别对待——高频维(管近处)不该被拉伸,低频维(管远处)才该。这个假设把「不均匀」从工程技巧提升为设计原则。
- LongRoPE 假设:连同一个频率段内部,不同维度也未必共享同一个最优缩放,于是用搜索去逐个确定。
每收紧一步,效果上限提高一点,工程成本也提高一截。这不是「谁取代谁」,而是「你的场景能承受多少工程复杂度」。对多数团队来说,选一个成熟实现、按官方推荐的缩放配置用,比自己去搜缩放因子更划算。
9.1 怎么读懂一个模型的位置配置
看到模型配置里的位置相关字段时,可以按这个顺序读:
- base(有时叫 rope_theta):原始 RoPE 用 10000;一些长上下文模型的配置里出现过 500000、1000000 这类更大的值。它决定「最慢的那个平面能记多远」。具体是哪个值,要看该模型的配置文件,不要凭印象。
- 缩放类型与因子:
linear对应位置插值,dynamic/ntk一类对应改底数,yarn对应分段加温度。因子通常是「目标长度 / 训练长度」。 - 训练长度:所有缩放都是相对它定义的。同一个因子配 4k 训练和配 32k 训练,效果完全不同。
- 是否全维旋转:部分实现只对前一部分维度做旋转(其余维度不带位置),这时有效维度变小,等价于减少了频率层级。
- 推理时的位置起点:与训练是否一致,直接影响所有相对位置。
这五项里,工程上最常出错的是第 2 项和第 5 项:缩放配置与训练不匹配、位置起点偏移一位。两者都不会报错,只会让效果「莫名其妙地差一点」。
这一节想让你记住的一件事:外推方法的差别不是算法优劣,而是它们对「均匀性」的假设有多强。
十、常见误解速查
| 常见说法 | 为什么不对 | 更准确的说法 |
|---|---|---|
| 「RoPE 是相对位置编码」 | 它编码的是绝对位置,只是内积后表现为相对 | 绝对位置写进角度,分数只依赖差值 |
| 「RoPE 增加了位置参数」 | 角度由公式算出,无可训练参数 | 零参数,但每层每头都要做旋转 |
| 「位置越远注意力越弱」 | 论文给的是内积绝对值的衰减上界,不是逐对单调 | 上界不等于每对分数都在下降 |
| 「换 base 就是插值」 | 一个改频率,一个改位置编号 | 两者的数值后果与失真方式不同 |
| 「外推就是直接喂更长的序列」 | 超出训练区间会破坏注意力分布 | 需要缩放、微调或两者结合 |
| 「KV 缓存要存原始键」 | 缓存里存的是已旋转的键 | 复用即可,不能再转一次 |
| 「起点挪一位就会毁掉结果」 | 两侧同步平移时差值不变,分数不变 | 危险的是单侧错位与缓存混用 |
表里最后两条值得展开一句:「距离越远注意力越弱」是最容易被当成常识的错误。它把论文里那条「上界随距离衰减」的结论读成了逐对保证,于是在排查长上下文问题时得出「远处本来就不该被注意到」的错误结论。实际情况是:能不能注意到远处,取决于模型在训练中是否见过那么远的位置,以及该位置上的内容是否与查询在语义上对齐。
这一节想让你记住的一件事:RoPE 的坑几乎都不在公式里,而在「谁在什么时候旋转了它」。
十一、边界与未解
三件事必须说清,避免过度承诺。
第一,本文没有训练或推理任何真实模型。全部结论分两类:一类是恒等式与数值验证(第四、六节),可以复现;另一类是论文口径的转述(第八、九节),标注了来源但不代表本文实测。长上下文的实际效果取决于模型、数据与微调策略,不能从本文的推导直接外推。
第二,「相对位置」不等于「语义上的距离」。token 距离与词距离、句距离不是一回事:一个汉字可能一个 token,一个英文长词可能三个 token。位置编号是 token 编号,不是字符编号——这一点与分词器强相关。
第三,外推能力的评测本身很难。长上下文基准(如「大海捞针」式的检索测试)能测「找得到吗」,但测不出「理解得对吗」。公开结果里同一方法在不同基准上的排序不一致,这类差异需要按任务分别核对,不能拿单一分数下结论。
11.1 三个常被追问的问题
问:既然只看相对位置,为什么不干脆不给绝对位置? 答:因为「只看相对」是指分数不受统一平移影响,而不是说实现里可以没有编号。编号决定了每个 token 的角度,进而决定键向量本身;同一段文本放在不同位置,键不同、与其他 token 的可见关系也不同。纯相对设计(例如只按距离衰减)在实践中难以表达「第几个」「还剩多少」这类与绝对位置绑定的信息。
问:RoPE 需要额外训练吗? 答:本身不需要,角度是算出来的。但改变 base 或加缩放之后通常需要微调,因为注意力分数的分布已经变了,模型内部的其他参数(尤其是输出层与归一化)没有适应新分布。
问:为什么有些实现要在注意力里再乘一个温度? 答:因为缩放位置会改变分数的量级与分布。YaRN 一类方法显式调整注意力温度来补偿;不做补偿时,softmax 会变得过尖或过平,表现为「只盯一个 token」或「注意力发散」。
还有一件常被忽略的事:位置编码与分词器是耦合的。位置编号按 token 计数,而同一个语义单位在不同分词器下 token 数不同。换分词器等于换了一套「距离刻度」,这在长上下文任务里会表现成「同样的文本,模型的行为变了」——但真正变的是距离的定义,而不是模型的理解力。
这一节想让你记住的一件事:位置编码决定「模型能不能区分远近」,不决定「模型懂不懂远近的意义」。
11.2 一个真实的排错顺序
假设你遇到「模型在 32k 输入上答案错乱」,可以照这个顺序排:
- 先确认训练长度。模型是 8k 训练的,直接喂 32k,问题多半在分布而不是在代码。
- 再确认缩放配置。用了
linear因子 4 还是ntk?推理框架支持吗?配置里写了但框架不认,是最常见的一类静默失效。 - 再确认缓存一致性。同一请求内 prefill 与 decode 的位置是否连续,批内样本是否各自编号。
- 最后才怀疑模型能力。前三条都排除了,才需要回到「训练数据里有没有这么长的样本」这个层面。
这个顺序的价值在于成本:前三条都是配置检查,几分钟能做完;第四条要重新训练或换模型,成本极高。
十二、小结:一条式子,四个推论
全文可以收成一条链:
四个推论:
- 注意力本身无序,位置必须外部注入。
- 旋转保长、角度可加,于是内积天然只依赖位置差。
- 多频率让近处可分、远处不混,base 决定能分辨多远。
- 长上下文外推的方法,主要在调整「位置—频率」的映射,并常配合微调与注意力温度补偿,让超出训练范围的位置不至于失真。
12.1 一页自检清单
下次排查「长上下文效果不对」时,按这个顺序过一遍:
- 模型训练长度是多少?我喂的长度超出了几倍?
- 配置里的 base 与缩放因子是什么?推理时是否与训练一致?
- 位置编号从 0 还是 1 开始?与训练一致吗?
- 批内每个样本是否各自从起点编号?
- KV 缓存里存的是旋转后的键还是原始键?新查询与旧缓存用的是同一套坐标吗(有偏移就补偿,别直接混用)?
- 我用的推理框架是否支持该缩放类型(有些只支持 linear)?
- 测评用的长上下文基准,测的是「检索」还是「理解」?
这七条覆盖了工程实践中绝大多数位置相关故障。它们都属于「配置与实现」层面,不需要改动模型结构。
12.2 三个可以自己验证的推论
读完之后,你可以用文末脚本在三分钟内验证下面三条,全部成立说明你确实掌握了机制:
- 相对性:任意取三组 ,只要 相同,内积连小数点后四位都一样。
- 保长性:旋转前后向量的范数相等;如果你把 base 改掉,这条依然成立(它只依赖旋转矩阵的正交性)。
- 相位回绕:把某一个平面单独取出来,位置差接近该平面周期时,那一维的相位会很接近(近似碰撞)——这正是「单频率位置编码不够用」的数值证据。注意周期是连续量,整数位置一般不会精确重合。
三条都不需要 GPU,也不需要下载模型。它们检验的是你对「位置在什么层面进入模型」的理解,而不是对某个框架 API 的记忆。
补充一句边界:这三条验证的是「机制」,不是「模型效果」。机制正确不代表模型在长上下文上表现好——效果还取决于训练数据的长文本比例、注意力实现的数值精度、以及是否有针对目标长度的微调。把机制与效果分开谈,是读这类文章时最省时间的习惯:机制层面可以自己验证,效果层面只能看评测与实测。
如果只记一件事:RoPE 不是给模型「加了一个位置表」,而是把位置变成了一种可以被内积消掉的几何量。
附录:复现本文的旋转验证
import math, random
random.seed(7)
d, base = 64, 10000.0
theta = [base ** (-2 * i / d) for i in range(d // 2)]
def rot(x, pos):
out = [0.0] * d
for i in range(d // 2):
a = pos * theta[i]
c, s = math.cos(a), math.sin(a)
x1, x2 = x[2 * i], x[2 * i + 1]
out[2 * i] = x1 * c - x2 * s
out[2 * i + 1] = x1 * s + x2 * c
return out
def dot(a, b):
return sum(u * v for u, v in zip(a, b))
q = [random.gauss(0, 1) for _ in range(d)]
k = [random.gauss(0, 1) for _ in range(d)]
for (m, n) in [(0, 5), (10, 15), (100, 105), (3, 8)]:
print((m, n), dot(rot(q, m), rot(k, n)))
nq = math.sqrt(sum(v * v for v in q))
nr = math.sqrt(sum(v * v for v in rot(q, 37)))
print("norm", nq, nr, abs(nr - nq) / nq)
qs = [[random.gauss(0, 1) for _ in range(d)] for _ in range(200)]
ks = [[random.gauss(0, 1) for _ in range(d)] for _ in range(200)]
for dist in [0, 1, 2, 4, 8, 16, 32, 64, 128, 256]:
print(dist, sum(abs(dot(rot(qs[i], 0), rot(ks[i], dist))) for i in range(200)) / 200)
再顺手打印一组频率参数,方便对照第五节那张表:
import math
base, d = 10000.0, 64
for i in [0, 1, 2, 4, 8, 16, 24, 31]:
th = base ** (-2 * i / d)
print(i, th, 2 * math.pi / th)
说明:脚本只依赖标准库 math 与 random,不需要安装任何包;在普通笔记本上运行不到一秒。
口径限制:本文用的是随机高斯向量与 base=10000、d=64 的一组参数,不是任何具体模型的实际配置;换 base、换维度会改变数值,但「相对性成立」的结论不随之改变(它来自矩阵恒等式,与 base 无关)。距离扫描表里的绝对值也只对本文这组随机种子成立,换种子数值会变,趋势结论(没有明显衰减)在同一设定下可复现。
📋 来源与核验记录
本文引用的一手来源(2026-11-12 本轮逐一核读过 arXiv 摘要页):
- Su 等,《RoFormer: Enhanced Transformer with Rotary Position Embedding》,arXiv:2104.09864(首次提交 2021-04-20;本文引用 v5,修订 2023-11-08)。本文第四、五节的旋转形式与该文一致;该文摘要明确指出 RoPE 用旋转矩阵编码绝对位置、并在自注意力中引入显式相对位置依赖,同时列出「随相对距离增大而衰减」等性质。https://arxiv.org/abs/2104.09864
- Chen 等,《Extending Context Window of Large Language Models via Positional Interpolation》,arXiv:2306.15595(首次提交 2023-06-27;本文引用 v2,修订 2023-06-28)。第八节关于「线性下缩放位置编号、避免外推导致灾难性高注意力分数」的表述来自该文摘要。https://arxiv.org/abs/2306.15595
- Peng 等,《YaRN: Efficient Context Window Extension of Large Language Models》,arXiv:2309.00071(首次提交 2023-08-31;本文引用 v3,修订 2026-02-06)。第八节「省 10 倍 token、2.5 倍训练步数」为该文摘要口径。https://arxiv.org/abs/2309.00071
- Ding 等,《LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens》,arXiv:2402.13753(首次提交 2024-02-21;本文引用 v1)。第八节关于「通过搜索利用位置插值中的两种非均匀性、渐进式扩展」的表述来自该文摘要。https://arxiv.org/abs/2402.13753
- Liu 等,《Scaling Laws of RoPE-based Extrapolation》,arXiv:2310.05209(首次提交 2023-10-08;本文引用 v2,修订 2024-03-13)。第五节末尾「base 与可外推长度之间存在经验规律」的说法依据该文摘要。https://arxiv.org/abs/2310.05209
- Men 等,《Base of RoPE Bounds Context Length》,arXiv:2405.14591(首次提交 2024-05-23;本文引用 v1)。第五节末尾「base 决定上下文长度上界」的论证依据该文摘要。https://arxiv.org/abs/2405.14591
本文自行推导与实测(与上述论文口径分列):
- 第四节的恒等式推导与第五节的频率设定:按 RoPE 的标准定义自行推导,并与第 1 条来源的表述核对。
- 第六节的四个分数值与距离扫描表:2026-11-12 用文末脚本在本机实测(64 维、base=10000、随机种子 7),可复现。
- 第七节的工程属性(缓存已旋转键、每层每头旋转、批内独立编号):属实现层常识性推理,未引用单一来源,故不作为文献结论。
- 第九节「演进线」的分层是本文的组织方式,不是论文作者的表述。
- 第五节频率表与「base 从 1e4 提到 5e5、周期约放大 44 倍」:由 直接计算(、),属本文自算。
- 第六节的范数相对差():同一脚本实测。