技术文章
深度内容 · 共 33 篇
AI 技术在这里慢慢讲：值得推导的题，就从一篇论文或一手材料推到工程含义；当下最热的题，就拆开讲清它是什么、为什么现在火、对开发者意味着什么；容易混淆的概念，就回到原点讲明白。文章均为本站原创撰稿，力争每个数字与结论都可回溯核验。
把 25 万 token 的序列切到 8 张卡上，为什么注意力不会白拿 8 倍速：环形注意力的通信账、因果三角与负载不均
主题：长上下文训练里的序列并行（Ring Attention / Striped Attention / DeepSpeed-Ulysses / USP）。口径声明：本文的通信与强度推导针对 bf16、非因果注意力前向、完整 KV 环传的 Ring 算例；算例固定 S=262,144 token（=256×1024，标题「约 25 万」是近似称呼，不等于字数），并行度 N=8、查询头 32、KV 头 8（GQA 4:1）、批 1、单层，带宽按 A100 单向 NVLink 300 GB/s 计。核心机制：固定并行度下，每台设备的计算量按 S² 增长、接收量按 S 线性增长，两者之比（算术强度）约等于「查询头与 KV 头之比 × S ÷（N−1）」；逐块重叠要用的则是单步强度，约为它的 N/(N−1) 分之一。关键陷阱：因果掩码在「连续等长分片、对角块按整块计」的示意模型下给出 1:2:3:4 的工作量分布，最慢一台决定整步耗时，示意利用率 (N+1)/2N（N=8 时 56.3%；若对角块只算下三角则 53.3%）——这是按块对计数的示意值，不是实测 MFU。Striped Attention 论文在因果训练中相对原始 Ring Attention 报告 256k token 下最高 1.45 倍端到端吞吐，不是本文八卡算例的实测结果。证据边界：只读公开论文摘要，所有显存、通信、时间数字均为本文按公开公式代入公开规格的推导值，未在真实集群实测。
377 个结论、721 篇稿件、其中 300 篇附 Lean 形式化（占当时 719 篇的 41.7%）：一次「AI 数学」发布里，验证究竟验证了什么
主题：OpenAI 2026-10-06 一次性公开的机器撰写数学稿件。核心区分：宣称的结论数（377）、结果族数（372→373）、稿件数（722→719→721）、被 Lean 形式化的稿件数（300，占 719 篇的 41.7%）是四个不同分母的量，混用会直接算错「验证覆盖」。关键机制：形式化只保证「代码里的那个命题」被内核接受，不保证它与英文原文说的是同一件事；依赖图会把一个符号错放大成三篇撤稿。证据边界：本文只读了公开仓库、官方博客、独立第三方审计预印本与媒体报道，未编译 Lean、未逐篇阅读稿件、未复核任何具体定理。
同样是 16 位，fp16 与 bf16 的溢出风险为什么不同：从表示范围、舍入间距到 fp8 的分块缩放
主题：同样是 16 位，fp16 与 bf16 把比特切给了不同的用途——一个优先细刻度，一个优先大范围。核心区分：fp16 的主要风险是表示范围不足，梯度很小的场景通常要配 fp32 主权重与 loss scaling；bf16 的主要限制是尾数位数少、刻度较粗。证据边界：文中含一个 CPU 上的 numpy 顺序点积演示，未做 GPU 训练、量化或端到端精度实测；引用的一手论文与厂商文档按其自身口径转述。
厂商在合成负载上把 124B MoE 的解码从 36 提到 103 tok/s：DGX Spark 三招拆解，以及那个会静默让服务变慢的回退（NVIDIA 官方报告解读）
NVIDIA 官方技术博客（2026-10-27）报告：在单台 DGX Spark（128 GB 统一内存、标称内存带宽 273 GB/s）上以单请求小批方式跑 Inclusion AI 的 Ling-3.0-flash（124B 总参、每 token 激活 5.1B），用 Humming MXFP4 MoE 内核、在线 FP8 输出层量化、模型内置 NEXTN 多 token 预测三招，把厂商合成负载（32K 输入 / 2K 输出、贪心解码、厂商口径）的解码吞吐从 36.09 提到 102.88 tok/s（+185.1%）； GSM8K 数学应用题测试集（Cobbe 等，2021）全部 1319 题上为 37.81→53.89 tok/s（+42.5%），准确率 96.89%→96.82%（厂商称未见到统计上可检出的差异）。 本文给出一个简化的每 token 权重读取估计（激活参数全按 4 bit、不含 KV、不含量化元数据、不含未被量化的混合精度部分、输出层单列，约 3.36 GB），并按「估算读量 ÷ 厂商报告的 TPOT」反推等效带宽 121 GB/s、为标称的 44%——这是等效指标，不是总线计数器实测； 无法归因的差额在文中保留为未解项。本文没有任何独立实测。
GPU 做 prefill、NPU 做 decode：HAWK 如何让跨架构 KV 搬运接近 GPU 直连，在线服务输出吞吐差最高 7.88%（arXiv 2610.29873v2 精读）
把 prefill 交给 GPU、把 decode 交给 NPU，这套异构拆分卡在一个具体动作上：KV 缓存要从 GPU 显存搬到 NPU 内存。韩国电子通信研究院（ETRI）与佐治亚理工的 HAWK（arXiv:2610.29873；v1 2026-10-21、v2 2026-10-23，下文「论文」均指 v2 正文）用共享的 Linux RDMA 栈，加上「按目标布局分配 NPU 侧缓冲区」与「把布局变换拆两段、让传输顺手完成对齐」，在 4 张 A100 PCIe 40 GB 与 4 张 Tenstorrent p150a 加速卡组成的商用系统上，让这一路搬运的延迟接近 GPU 到 GPU 直连（本文按论文 Figure 9 归一化读数反算，1280 MB 处约 0.6%）。本文区分三个不可直接混用的能效口径：kernel 算力能效（TFLOPS 每 ASIC kW）、decode 相位能效（输出 token/s 每 decode 设备 ASIC kW）、全服务设备能效（输出 token/s 每 prefill 与 decode 全部设备 ASIC kW）。按论文 v2 正文口径、以 GG-Direct（GPU 到 GPU、RDMA 直连）为基线，在相同 90% SLO 达成条件下，Llama 3.1 70B 的输出吞吐分别比基线低 0.48%（Chatbot）与 7.88%（Summarization）；全服务设备能效为基线的 1.26 倍与 1.15 倍；按论文所列设备价格计算的成本效率为基线的 2.03 倍与 1.88 倍（不等于服务器整机墙电功耗口径）。截至本文 2026-10-29 核验，arXiv 摘要页仍显示 v1 的 1.72 倍成本效率，与 v2 正文的 2.03 倍冲突。所有数字均为论文口径转述，本文没有实测。
8 卡 TP 下的 KV 缓存里只有 12.5% 是唯一数据：UlaCache 用一张逻辑地址表，把稀疏读取、TP 复制与 GPU/CPU 分层收进同一个地址空间（arXiv 2610.29820 精读）
稀疏注意力把每步要读的 KV 从「全长」降到「几千条」，但没有降低必须留下的历史量；容量又直接决定能同时解码多少请求。Scitix.AI 的 UlaCache（arXiv 2610.29820v1，2026-10-21 提交，cs.DC）给出的办法是给每个 KV 条目发一个稳定的逻辑地址，让数据在 GPU 池、同组其它卡与 CPU 池之间随便搬而引用不变。论文自己给的三个动机数字是：8 卡 TP 下历史分配只有 12.5% 是唯一数据（论文 Figure 2a，MLA 复制）、HiSparse 方案 53.3M 个物理槽只装 30.0M 个唯一历史位置（论文 Figure 2b）、固定每请求配额的影响是：8×B300、DP、开投机解码、BS1 时，HiSparse 的 TPOT 比 GPU 常驻的 SGLang 高 23.5%（论文 §2.2.2）。开启投机解码、GPU 与 CPU 预算对齐时，论文报告峰值解码吞吐相对 HiSparse 为 1.16 倍（DP）与 1.70 倍（TP）于 8×H200，1.73 倍（DP）与 2.51 倍（TP）于 8×B300。本文没有复现实验，所有性能数字都是论文口径的转述，机制推导与容量换算为本文自行推导。
只换后训练、不动权重结构，3T 级模型为什么能把分数整体抬高一档：Kimi K3.1 Pro 的 65.7%、1.40 TB 与那笔几乎没变的推理账单
官方博客（2026-10-23）把 Kimi K3.1 Pro 定义为 Kimi K3 的后训练版本，并给出 Terminal-Bench 4.0 65.7% 的分数（对比表里 GPT-6 Astra 58.2%、Claude Opus 5.5 66.4%；对照分取自各家博客或官方榜单最大值，不是同一场评测）。本文把两件事分开算：能力侧，后训练算力与联合 RL 如何在分数、幻觉率、金融表格上同时抬升；成本侧按官方已公开的 K3 权重口径算（2.8T 总参数、104B 激活、93 层里 69 层线性注意力——K3 口径，K3.1 Pro 参数表官方未公布）：理想 4 bit 下权重体积下界约 1.40 TB（含微缩放开销约 1.49 TB，本文推导），1M 上下文只有 24 层在长 KV（BF16 约 29 GB/序列，本文推导）。Highspeed 的 2–3 倍速是厂商口径，本文未独立复测。
19.5 GB 的模型装进 24 GB 的机器，为什么论文实测反而快了五倍：Edge0 把 MoE 专家权重放回 SSD，用「预测即路由」抢出一个 token 的时间
论文实测（arXiv:2609.18063，Mac mini M4 Pro 24 GB，单流解码、短上下文）报告了一组反直觉的数字：一个 35B 级 MoE（基座 Qwen3.6-35B-A3B，发布档路由宽度 K=4）的 4-bit 权重文件是 19.5 GB——这是磁盘上的 int4 checkpoint，不是内存占用；把这 19.5 GB 全驻留内存时解码 3.9 tok/s、全驻留权重内存 18.2 GiB；而 Edge0 让专家权重留在 SSD 上按需流入，解码 20.4 tok/s，峰值活跃内存（MLX 分配器峰值，不等于进程 RSS）2.9 GiB。它用的不是纯搬运：预测路由与恢复适配器把模型的计算路径也换掉了。代价是每步都要等磁盘，它靠「预测即路由」抢出一个 token——部分层设置预测头，用第 N 层在 token t 的隐藏态预测第 N+1 层在 token t+1 的专家集合。本文把参数账、时间账、量化账和它没解决的三件事逐项算清：论文实测值可追溯，本文推导值列出假设与中间值。
同一段长 prompt，为什么第二次调用「理论上」可以快约二十倍：前缀缓存到底存了什么、又省掉了哪一段算力
把「前缀缓存（prefix caching）」讲成一本可以手算的账。一次 4,200 token 的输入里，前 4,000 token 是每次都一样的系统提示与文档，后 200 token 才是这次真正的问题。按 Llama-3 系列公开 config 现算，BF16 口径下每 token 的 KV 体积约 128 KiB（8B）与 320 KiB（70B），4,000 token 的前缀分别驻留约 500 MiB 与 1.22 GiB。在「prefill 是算力瓶颈、且只计线性层」的简化模型里，命中后 prefill 的线性层浮点运算只剩 4.76%，对应约 21 倍；若再计入约 30 毫秒的非 prefill 开销（示意值），这场收益会摊薄成 5.2 倍（8B）与 15 倍（70B）。全文毫秒数都是估算、不是实测，口径与假设都在文内写明。
一次 decode 步的逐周期账：单颗 LPU 跑一层 FFN 时，算力、SRAM 带宽与静态排程到底谁卡住谁
以 Groq 第一代 TSP 论文的每周期参数估算：一层 Llama-3-8B FFN（1.762 亿个 int8 权重）、批 1 时，算力下界约 430 个周期；按双向流寄存器的理论峰值，权重搬运下界约 8,602 个周期，后者为前者的 20 倍。文中推出这台机器的算术强度平衡点 40 ops/字节与平衡批大小 20 条，并说明三点：芯片里最窄的一段是 SRAM 到 MXM 的流寄存器通路（每周期 20,480 字节），MXM 只能装 409,600 个权重所以必须分块重搬，静态排程把「每一个错位」都变成编译器必须满足的逐周期对齐约束。以上均为理想下界（批内权重只搬一次、搬运与计算理想重叠、不计其他流量与启动收尾），不是实测延迟。
为什么 GPU 利用率显示 100%、推理还是慢：用算术强度与 Roofline 看清 prefill 和 decode 是两台不同的机器
把「大模型推理为什么慢」讲成一条可手算的账：算术强度（每搬 1 字节能算多少次浮点）决定你是撞「带宽墙」还是撞「算力墙」。本文按官方规格现算脊点——A100 80GB SXM 约 153 FLOP/字节、H100 SXM 稠密约 295 FLOP/字节（带稀疏 1,979 TFLOPS 口径下约 591），并推出两个结论：prefill 阶段的算术强度约等于输入长度，几百 token 以上就轻易越过脊点；decode 阶段的算术强度约等于并发批大小，7B 模型在 A100 80GB SXM 上要批到约 153 条（H100 稠密口径约 295）才可能变成算力瓶颈，而且这个数与模型规模无关。这也解释了为什么 70B 模型在 H100 上单条请求的理论天花板只有约 24 token/s，以及为什么 Databricks 在单张 A100 上的实测里，批大小从 1 加到 64 会让延迟涨 4 倍而吞吐涨 14 倍。
把专家并行从启动参数变成运行期资源：FastEEP 如何在不重建实例的前提下把 EP 从 4 改到 16
MoE 推理扩容的常规单位是「整个实例」，而一次冷启动的时间大头并不在搬模型权重：论文对 DeepSeek-V2-Lite 单 rank 的启动剖析显示，126 秒里有 36 秒花在 CUDA Graph 捕获、32 秒在算子编译、13 秒在通信域构造，权重加载只占 10 秒（本文据此算得时间占比 7.9%）。上海交大 IPADS 的 FastEEP（arXiv:2610.18451，2026-10-13 提交 v1）把一次 EP 变更拆成「可异步的准备」与「极短的提交」，用父通信域派生子组、CUDA 虚拟内存保留地址并释放物理页、影子 worker 协调休眠三条机制，在评测覆盖的多个变更方向与模型上把 EP 变更压到 4.2–13.4 秒；相对 vLLM Elastic EP 的 36.4–92.0 秒，几何平均快 7.0 倍（异步变体 9.3 倍），相对整实例重启的 126–293 秒，几何平均快 22.0 倍；在线零输出窗口从 31 秒 / 44 秒降到 4.2 秒 / 7.3 秒，稳态吞吐基本不变。约束是变更只能在启动时定下的最大拓扑内进行，且影子 worker 仍占进程与少量显存。
不跑 GPU 也能做容量规划：BLIS 把排队、批处理与 KV 缓存一起搬进 CPU 模拟器
给一个 LLM 服务选 GPU 数量、并行度和调度策略，传统做法是每种候选都在真机上压测一遍——论文中一组 H100 + Qwen3-14B、1 万请求的评估，单次就要 17 到 42 分钟的 GPU 集群时间。IBM Research 的 BLIS（arXiv:2610.14255，2026-10-09 提交，已被 ACM SIGMETRICS 2027 接收）换了条路：用一个只在 CPU 上跑的确定性离散事件模拟器（仿真运行阶段不用 GPU；延迟系数事先用 15 组真机实验全局拟合一次，此后复用），把准入、路由、调度、prefill/decode 执行、KV 缓存管理和抢占整条流水线都建模进去。结果是：在涵盖 6 个模型、3 种 GPU 的 36 组实验上，BLIS 的端到端延迟预测误差（先逐实验算百分比误差、再取中位数）为 6.7%，仿真运行比真实执行快约 200 倍；在 Llama-2-70B 的四工具对比搜索（420 个候选配置、以平均 TTFT ≤ 300 ms 为 SLO）中，它找到的 4 卡 H100 方案在真机上实测达标，而对比工具里 Vidur 的达标推荐要用 8 卡、AIConfigurator 需 6 卡才达标、LLM-Optimizer 的推荐在负载下严重过载不达标。更实在的是，两条完全在仿真里进化出来的服务策略已经合并进了开源平台 llm-d（截至 2026-10-20 仓库可见）。
为什么大模型会数不清「strawberry 里有几个 r」：把 BPE 分词从一次贪心合并讲到一张多语言账单
「strawberry 里有几个 r」这类问题曾让许多大模型翻车，原因很大程度在输入端：模型接收的不是逐字母的文本，而是分词器切好的 token（词块）编号——就像你隔着一板切好的豆腐去数整块豆腐里有几粒芝麻：芝麻并没有丢（token 可无损还原原文），但还原不在模型的计算路径里，你拿到的不是整块。本文用零基础的讲法把这件事讲透：BPE（字节对编码）如何从字符出发、每次贪心合并语料里出现次数最多的相邻对，一步步长出词表；字节级 BPE 如何用 256 个起始符号装下全世界所有文字；以及我们用 OpenAI 官方分词器 tiktoken 的 o200k_base 编码方案实测到的切分现场（strawberry 切成 st/raw/berry 三块、1234567 切成 123/456/7 三段，均为该方案下的实测；本文一组单句译文实测里，日语 token 数是英语的 2.18 倍，而 2023 年一项跨语言研究在其测试条件下报告的差异极值达 15 倍）。顺着机制你能自己推出三个后果：数不对字母、算不利索多位数、以及多语言文本的 token 账单差异。
1.05 万亿总参数、每个 token 只叫醒 52B 激活参数：Mistral Large 4「Le Chonk」把 MoE 的成本算术摆上了桌面
2026 年 10 月 6 日，Mistral 发布 Mistral Large 4（昵称 Le Chonk）公开预览：官方文档口径为 1.05T 总参数、52B 激活参数的 granular MoE，另有 1.6B 视觉编码器（与总参/激活参的包含关系官方未说明）与 1M token 上下文；据 The New Stack 报道权重将于 10 月 27 日以定制许可证放出（截至 2026-10-17 权重未放出）。先把两个最容易被混读的数字分清：1.05T 是「仓库里存多少参数」，52B 是「每个 token 实际叫醒多少参数」（约为总参数的 4.95%，本文据官方两个数字自行计算）——前者决定显存账单，后者决定每个 token 的参数相关计算量。本文把这场发布拆成可复算的算术：MoE 路由公式与负载均衡、FP8 精度下约 1.05TB 的权重显存（仅权重、不含 KV cache 等运行时开销，本文按参数量乘字节数估算）、定价页输入/输出原价每百万 token $1.36/$4.18 与促销价 $0.68/$2.09 两套口径（另有缓存输入档 $0.14/$0.07；促销价恰为原价五折，本文自行折算；价格均为 2026-10-17 读取）、官方 10 月 6 日稿披露的 3,000 块 GPU 每天约 330 亿 token 的 RL 后训练流水线（总产出按 GPU 数摊算约 127 token/s/GPU，非单卡推理实测，本文自行折算），并把官方成绩单与 Artificial Analysis 的独立复测（经 Tom's Hardware 报道）并排对照。文中官方数字、第三方数字与本文自算数字分别标注。
把 GPT-2 的训练租金估算从 4.3 万美元压到 40 美元：nanochat「time-to-GPT-2」排行榜背后的成本算术与工程堆栈
2019 年初 OpenAI 训练 GPT-2 最大 checkpoint 的账单，按当年 TPU v3 租价还原、且仅计加速器租金的口径估算约为 43,000 美元（32 块 × 168 小时 × 每小时 8 美元；Karpathy 讨论帖口径，非完整研发成本）；2026 年 1 月，Karpathy 的 nanochat 在一台 8×H100 节点（按 README 约每小时 24 美元的同一时价口径折算）用 3.04 小时、约 73 美元达到同一 CORE 能力线（官方记录：4.33×10^19 FLOPs、10,949 秒纯训练时间、总参数约 13.8 亿），2026 年 3 月排行榜纪录压到 1.65 小时、约 40 美元。本文以 nanochat 仓库 README、dev/LEADERBOARD.md、speedrun.sh 与 Karpathy 的仓库讨论帖为一手材料，把这笔约 600 到 1000 倍（本文据上述租金估算自行计算的量级）下降拆成可复算的算术：官方公布的 d24 配置（ratio 12、约 87.6 亿 token）、基线约 50% 的 MFU（官方记录值 ÷ BF16 稠密峰值，本文估算）、以及排行榜每一行对应的优化（fp8、批量加大、换用 NVIDIA ClimbMix 数据、autoresearch 代理两轮迭代）。关键结论：从基线到纪录，越过 CORE 线所需 FLOPs 从 4.33×10^19 降到约 2.9×10^19（降约三分之一，本文按官方配置折算），MFU 同时从约 50% 升到约 61%（下限估算）——「算得更少」的贡献大于「算得更快」。文中官方数字、作者口径与本文自算数字分别标注。
温度、top-k、top-p、min-p 到底在改什么：把 LLM 采样从 softmax 到截断重归一化一步步讲清楚
很多人把「调温度」当成「调随机性」的旋钮，把 top-k / top-p / min-p 当成同类的「多还是少」旋钮，结果在 T=1.2 上配 top_p=0.95，又奇怪为什么输出忽而呆板忽而胡说。本文把这几个参数拆成两件事：温度只改分布的形状（把 logit 差值除以 T，等价于换一把量尺），而 top-k / top-p / min-p 只决定从形状里砍掉哪些候选，砍完还必须重新归一化。关键结论是三者与温度的关系完全不同：top-k 看名次、单独施加时对温度免疫（保留集合不随正温度变化，集合内的质量分布仍会变）；top-p 看累积质量、与温度强耦合（本文构造的六候选例子、单独施加 top-p：同一个 top_p=0.9 在 T=0.3 时只留 2 个候选、在 T=3.0 时要留 5 个；这组 logits 是本文编的，非任何模型实测）；min-p 看每个候选与最高分的相对差距（阈值 $$\alpha \cdot p_{\max}$$ 是它的等价写法，$$p_{\max}$$ 只是缩放代理）。文中参数默认值分别取自 vLLM 的 `SamplingParams` 与 Hugging Face 的 `GenerationConfig` 源码（两边默认值并不相同，正文有对照表），实现细节取自两个框架的源码，六候选数值例子为本文自行推导（logits 系本文构造，非任何模型实测），三类数字分别标注。
长上下文推理卡的往往不是算力，而是 KV Cache：把 Key 每通道压到 1.26 bit 为什么这么难
长上下文推理的服务成本，越来越由 KV Cache 的容量与带宽决定，而不是由算力决定。最近一轮热度集中在「把 KV Cache 压到每通道 1 bit 附近」这件事上：2026-10-02 提交的 TaSQ 论文（arXiv:2610.03027，首尔大学与斯坦福）报告了一组单一 RTX 6000 Ada 显卡上的 SGLang 实测——在 Qwen3-4B-Thinking-2507、输入 2048 / 输出 32768 的负载下，同一张卡的 KV 池从 BF16 基线的 235,257 个 token 扩到 2,935,184 个 token（12.48 倍），最大批量从 6 提到 84，峰值吞吐从 220.8 提到 412.6 token/秒（1.87 倍）。代价是 QK 点积的误差，本文把它的三段推导讲清楚：为什么量化误差要按 query 敏感度加权、为什么 scale 可以全 head 共享、为什么通道分组必须看协方差。文内所有数字均标口径：论文实测、公开配置换算、或本文自行推导，三者分列。
LoRA 为什么只训练万分之一量级的参数就够用：把「内在维度」与低秩更新一步步讲清楚
很多人把 LoRA 理解成「省显存的穷办法」，以为它便宜、所以必然更弱。事实更像另一回事：预训练模型的「可改自由度」本来就远小于它的参数个数——Aghajanyan 等在 2020 年 12 月提交的实验里，只优化 200 个可训练参数（随机投影回全参数空间）就能在 MRPC 上拿到 RoBERTa 全参数微调 90% 的性能（这是 RoBERTa 上的另一套实验口径，与下面 GPT-3 175B 不是同一个模型、不是同一个量）。LoRA 把这个观察变成一条可实现的工程路径：冻结基座权重（这里指预训练好的那份原权重，不是「可训练参数」），只训练一对低秩矩阵 A、B，用「ΔW 等于（α 除以 r）乘 B 乘 A」表达改动。LoRA 论文的口径是：拿 GPT-3 175B（175B 是模型基数参数，不是可训练参数）对比 Adam 全量微调，可训练参数少 10,000 倍、显存需求降到约三分之一。本文用三段推导把「为什么够用、在哪儿不够用」讲清楚，并说明缩放因子为什么该是 1 除以根号 r、而不是 1 除以 r。
递归自我改进（RSI）到底是什么：从 OpenAI 10 月 6 日公布的 722 篇数学手稿到 Novix 的协同进化闭环——为什么头部实验室都在押「AI 改进 AI」
RSI（递归自我改进）最近成了 AI 圈最热的缩写。OpenAI 在 2026-10-06 公布 722 篇由内部模型写出的数学手稿（这是发布说明口径；仓库现读为 719 篇），此前还让约 1 万个 agent 跑 88 小时攻下 Navier-Stokes 奇异性证明，随后再由另一个模型花 17 小时把它形式化成 Lean 并通过检查；Novix 则宣称把「协同进化式 RSI」做成了规模化闭环。但 OpenAI 自己写得很清楚：完全自主的 RSI「今天还没有发生」。本文把 RSI 从口号拆成四个可检验的工程条件——一个可自动执行的验证信号、一个可被程序编辑的自体、一条不会过拟合的选择规则、一个允许回退的停止判据——并用 AIDE²（8 天自主跑出 7 次自我改写、OOD 迁移成立、奖励作弊率 55% 降到 32%）、RRSI（正则化后 OOD 增益 +4.3 分、策略 token 少 30%）与 HCI（2026 年工具类 agent 只到 39.9 分）三份一手材料，把「AI 改进 AI」的复利项与天花板项分别算清楚。
上下文工程：为什么把上下文窗口做大，不等于让模型变聪明——注意力预算、Context Rot 与四类上下文手段
把模型的上下文窗口从 128K 扩到 1M、10M，很多人默认它会「更聪明」。近两年的实测给出了相反信号——严格说，是 2023 年以来的实测：Chroma 在 18 个模型上测出输入越长性能越不可靠；Lost in the Middle 发现关键信息落在中段时性能显著下滑；一份厂商技术报告记录的 Gemini 2.5 Pro 虽支持 1M 以上窗口，却在约 100K token 之后（该宝可梦 Agent 场景）更倾向于复读历史动作而非规划。根因在于 Transformer 的注意力要对 n 个 token 建立 n 平方级别的两两关系，窗口越长，每条关系分到的注意力预算越薄。本文用「工作台不是仓库」的类比讲清注意力预算，再把「窗口变大不等于变聪明」从直觉、形式化推到实测，最后给出上下文工程的四类手段：写入、选取、压缩、隔离。
注意力为什么受限于显存带宽：用算术强度与分块把 FlashAttention 推导清楚
自注意力在长序列上慢，很多人第一反应是「FLOPs 太多」，于是去做稀疏化或低秩近似——但真正卡住墙钟时间的常常不是算力，而是显存带宽。以 A100 为例：片上 SRAM 的全芯片聚合带宽约 19 TB/s，而片外显存 HBM 只有约 1.5–2 TB/s（两者都是全芯片量级）；标准注意力又必须把那个 N 乘 N 的注意力矩阵写回显存再读回来（S 与 P 各一写一读）。这里 N 是序列长度、d 是头维度、M 是 SRAM 容量——N、d 是张量形状，M 是硬件容量参数，三者都不是模型规模。本文用一条主线把 FlashAttention 讲透：先给出算术强度与 Roofline 判据（A100 的交叉点约在 150–200 FLOPs/byte 区间，这是本文自行推导、非官方值），再把标准注意力的显存访问量 Ω(Nd+N²) 与 FlashAttention 的 O(N²d²/M) 两处逐项推出来，中间补上「在线 softmax」如何不看整行也把归一化算对。
Kimi K2 的 MuonClip：把 Muon 的正交化更新与 QK-Clip 一步步推导清楚
Kimi K2 用一套叫 MuonClip 的优化器，在总量约 1.04 万亿参数（激活约 320 亿）的 MoE 上预训练了 15.5 万亿 token 且没有一次 loss 尖峰。本文把它的两半拆开推导：一半是 Muon —— 把 SGD-动量的更新矩阵正交化（取极分解的酉因子 U Vᵀ），让它在「谱范数下的最速下降」这个意义下成立，再用五次 Newton-Schulz 迭代在 bfloat16 里逼近它，最后乘上 0.2·sqrt(max(m,n)) 把条目更新 RMS 对齐到 AdamW 的约 0.2；另一半是 QK-Clip —— 因为纯 Muon 在一个 90 亿激活、530 亿总参数的 MoE 上会把最大注意力 logit 顶到 1000 以上，K2 改为每一步后按头把 Wq、Wk 缩放 γ_h=min(1, τ/S_max^h)，阈值 τ=100。注意「万亿级参数」与「15.5 万亿 token」是两个不同量纲的口径，正文会逐处区分。
DPO 为什么能绕开强化学习：从 Bradley-Terry 偏好模型把直接偏好优化的损失一步步推出来
RLHF 的经典三段式（SFT → 训练奖励模型 → PPO 在线强化学习）效果扎实但工程繁琐，DPO 声称只用一个二分类损失就能直接对齐模型。本文不复述结论，而是把中间那步关键代换补全出来：在 KL 正则化的奖励最大化目标下，最优策略有闭式解 π_r(y|x) ∝ π_ref(y|x)·exp(r(x,y)/β)，把这个奖励反解出来代回 Bradley-Terry 偏好似然，只依赖提示 x 的配分函数 β·log Z(x) 会整项约掉，最后剩下的恰好是一个只含策略与参考模型对数比的 sigmoid 损失。文中用 β=0.1 的数值例子说明：模型已经把 margin 拉开的样本会被隐式权重自动降权——这既是 DPO 的便利之处，也是它公认的软肋。
投机解码到底能加速多少：把接受率、草稿成本与墙钟收益算清楚
投机解码用一个又快又便宜的草稿模型先猜几个 token，再让大模型一次并行验证，据称能把手感延迟压掉一半以上。但它到底快多少，并不是「猜得准就快」这么简单：本文从单条解码的带宽瓶颈出发，把接受率 α、草稿长度 γ 与草稿成本系数 c 三者如何共同决定墙钟加速比一步步推出来，并用原论文的实测数字逐项校验；结论是同一份加速比公式里，草稿模型「猜得准」（α 高）与「跑得贵」（c 大）会互相抵消——在该论文的 TPU 实验条件下（EnDe 翻译、温度 0），11B 目标模型配 800M 草稿的实测加速（约 1.7 倍）反而低于配 77M 草稿（约 3.4 倍），主因就是成本系数从 0.02 抬到了 0.11（加速比公式据此可解释 3.2→2.5），其余落差来自实现细节与 i.i.d. 假设失效。
麒麟 9050 Pro 的「逻辑折叠」拆解：Die Shot 实锤了什么、怎么做到、代价是什么
麒麟 9050 Pro 是第一款量产的「逻辑折叠」芯片：两颗各约 120.65 平方毫米的有源层面对面键合，约 5000 万个垂直互连（其中大部分走供电与地，承载高速信号的约为十分之一）把它们缝成一片。Die Shot 实锤的是这个结构，不是性能。本文从关键路径的 RC 延迟和电压平方律出发，把「为什么缩短导线能同时提升密度、频率并降低功耗」算清楚，逐条核对论文给出的齿比、TSV 与工艺窗口；再看不那么光鲜的一面——热密度、封装良率、8% 的禁布区地租、EDA 缺口，以及 55% 与 28% 两个密度数字到底在比什么。
FP8 训练为什么能稳：把缩放因子的粒度与累加精度算清楚
把 671B 参数的模型用 8 位浮点训完而不炸，靠的不是「换个低精度类型」，而是两件可以被算清楚的事：把缩放因子的粒度切到 1×128 与 128×128，让离群值只污染自己所在的那一块；以及在 Tensor Core 只保留约 14 位有效位的前提下，每 128 个元素把部分和提升到 CUDA Core 做一次 FP32 全精度累加。本文从 E4M3 的位布局出发，推导共享缩放因子的下溢代价、分块的误差局部化收益、以及归约维度与累加区间共同决定误差上界的线性关系，逐条对照 DeepSeek-V3 技术报告的五个设计选择，并给出一份「在自己的训练栈里最小验证 FP8」的清单。
分块预填充与 Stall-free 调度：把 LLM 推理的吞吐-延迟权衡算清楚
为什么把整段 prompt 一次性喂给 GPU 反而会把线上服务拖垮？本文从 prefill 与 decode 的算术强度差异出发，用 roofline 推导出「分块大小」的可用闭式估计，解释 SARATHI 的 decode-maximal batching、Sarathi-Serve 的 stall-free 调度与 DeepSpeed-FastGen 的 Dynamic SplitFuse 各自在解哪一个约束，并给出 vLLM V1 里 max_num_batched_tokens 的调参依据与失效边界。文末附本文自行推导的数值算例与一手来源核验记录。
动量的新理解：把优化器看成特征层面的梯度下降
Muon 为什么有效、Newton-Muon 与 DeltaMomentum 又各改变了什么？本文以苏剑林《动量的新理解：逼近特征层面的梯度下降》的视角为主线：优化器真正该逼近的不是参数层面的梯度下降，而是特征层面的梯度下降——由此把动量重新诠释为一个在线回归问题的解，推导出 Newton-Muon 的闭式形式与 DeltaMomentum 的增量形式，并用 δ 规则的稳定性分析解释「各方向遗忘速度不同」为什么会自然涌现。文末给出一组数值实验：同一个翻转目标下，δ 规则动量对高频方向的响应比 EMA 快 6 倍、对低频方向慢 20 倍，这正是它优于与劣于 EMA 的同一枚硬币的两面。
解构 Scaling Law：一个不等式如何把优化、架构、数据统一成一场三重奏
Scaling Law 是深度学习最可靠的经验规律，但各家结论经常互相打架：Kaplan 说该多堆参数，Chinchilla 说参数数据等比，Step Law 与 Microsoft Law 对最优学习率给出方向相反的指数。本文以苏剑林《解构 Scaling Law：优化、架构、数据的三重奏》的框架为主线，从一条加权 AM-GM 推广出的异幂不等式出发，分步推导最优学习率、最优批大小、最优深宽比、算力最优分配与 Multi-Epoch 最优轮数，并把各家 Scaling Law 的指数逐一对到这套框架的对应格子上，最后给出它解释不了什么。
MoE 的稀疏艺术：1.6 万亿参数的模型，为什么每个 token 只唤醒 49B
从路由公式出发把 MoE 拆开讲透：门控与归一化的分步推导、专家容量与丢 token 的关系、辅助损失的梯度含义及其副作用、DeepSeek 无辅助损失偏置调整的机理与超参、细粒度与共享专家的参数账、节点受限路由与 all-to-all 通信量估算，以及 V4 为什么又把节点限制取消掉。所有具体数字都标注官方一手来源，可逐条核对。
大模型推理部署解剖：PD 分离、AF 分离，和 micro-batch 流水线到底在优化什么
从算术强度与 KV 缓存账出发，把 Prefill/Decode 的负载差异写成公式，再逐层推导 PD 分离、AF 分离、micro-batch 流水线与 DualPipe 各自优化什么、代价是什么、什么规模才值得上。论文与官方文档口径逐条标注，本文自行推导的算式单独列出，站内厂商口径与推算值另行标明。
注意力的显存战争：从 MHA 到 MLA，KV Cache 是怎么被一步步压缩的
长上下文时代，推理显存的大头不是权重而是 KV Cache。本文从符号约定和维度出发，分步把四种注意力变体的缓存账算实：每 token 每层元素数、给定层数与头数下的字节数、压缩比与并发上限，并说明 DeepSeek MLA 的低秩压缩、矩阵吸收与解耦 RoPE 各自解决了什么问题、又留下了什么代价。