InferaSim 拆解:一次锚点实测,怎样外推 ROCm 推理配置
深读 AMD 2026 年 11 月公开的 InferaSim 论文与 ROCm 官方文档:它如何用一次真实锚点测量、解析迁移规律和离散事件仿真筛选推理配置,而不是把一次实测当成任意场景的通行证。论文在 172 个固定长度配置、11 个锚点的自有实验子集上报告 TPOT 中位误差 8.1%,并在同一语料的 42 个 choice set 中,将 68 个决定性吞吐对的 93.4% 排对(TPOT 为 89 对中 85.4%);误差与排序是两组口径,不能合并成一个准确率。本文逐式拆解 TP 扩宽、prefill 曲线、图捕获阶梯、跨节点恢复、KV 分层与 P/D 拆分,并标出仿真不能替代真实验收的边界。
部署一个大模型服务之前,工程团队往往要先回答一串彼此牵连的问题。 Tensor Parallel 应该开多宽,batch 和并发给多大,prefill 与 decode 要不要拆开,长上下文会不会先把 HBM 吃满。 每个问题都很容易写成一次实验,难的是这些实验相乘以后,组合数会迅速超过团队愿意支付的 GPU 时间。 InferaSim 是 AMD-AGI/Infera 仓库及其 ROCm 文档中的推理仿真组件,不是一个与 Infera 无关的独立产品。 InferaSim 要解决的正是这个「配置搜索的测量成本」,而不是再提出一种更快的注意力核。
它在 2026 年 11 月 2 日提交的论文和 11 月 6 日的 ROCm 官方博客里,把方法概括成一句话:少量真实测量,其余配置用解析规律搬运。 这句话很容易被误读成「跑一次单卡,就能准确预测任何集群」。 本文要拆解的恰恰是相反的意思:一次测量只在明确的执行机制内有效,跨出去就必须重新测量,或者把新增机制单独建模。 所以,理解 InferaSim 的关键不是记住一个平均误差,而是弄清楚什么是锚点、什么可以迁移、什么只能由离散事件仿真回答,以及最终哪些候选仍必须上真机。
先把问题说准:昂贵的不是一次 benchmark,而是配置乘积
一个典型的服务配置至少包含模型、精度、推理引擎、并行方式、batch、并发、输入长度、输出长度和副本数。 如果每项只取五个候选,朴素全量实验就有 种组合。 这个算式只是说明组合爆炸,不是 InferaSim 论文中的真实搜索空间,也不代表每种组合都合法。 真实搜索会先用显存和并行约束删掉大量非法点,但剩下的合法点仍可能远超实测预算。
AMD 官方博客给出的成本背景是:把其搜索中的所有候选都测一遍,约需 25,000 GPU-hours。 另一个更具体的自有实验子集里,11 个锚点花了 9.1 GPU-hours,覆盖的 226 个配置(共 671 次 run)如果逐一实测则花了 204 GPU-hours;其中 172 个配置进入第 5.4 节的固定长度误差与排序评分,226 是成本覆盖口径,671 是运行次数,三者不能互换。 这两个数字指称不同对象:前者是更广搜索的估算总成本,后者是固定长度自有实验的可比子集。 不能把 25,000 和 204 放在同一个节省率分子里,也不能把子集结果外推成所有业务都节省同一个百分比。
只对后一个可比子集做算术,锚点测量替代逐点测量所对应的比例是:
这是本文自行推导的「该已测子集中,锚点成本相对 204 GPU-hour 全量复测成本」的比例。 它没有计入短名单最终确认的成本,也不代表完整 25,000 GPU-hour 搜索的实测节省率。 InferaSim 的经济性更准确的说法是:把 GPU 时间从「给每个候选一个数」移到「建立锚点并确认少数入围者」。
这张图想说明的一件事:仿真不是闭环的终点,真机确认和锚点回收才让下一轮搜索更可靠。
符号表与系统分层:一个成本核,两个求解器
为了避免把平均值、尾延迟和集群成本混在一起,先固定本文符号。
| 符号或术语 | 含义 | 本文使用口径 |
|---|---|---|
| 序列或上下文长度 | prefill 曲线中的 token 数 | |
| batch 或并发下的批量 | 图捕获时必须映射到实际捕获档位 | |
| prefill 曲线中不随并行宽度分片的固定项 | 由不同 prompt 长度的实测点求解 | |
| decode 迁移律保留的 batch-1 步时间底座 | 论文 Eq.1 将其整体保留,仅缩放超出部分 | |
| prefill 的每 token 项系数 | 前者对应线性计算,后者对应注意力二次项 | |
| 一步或一个阶段的时间 | 必须注明 prefill、decode 或流水线 hop | |
| TP / EP / PP | 张量 / 专家 / 流水线并行 | 改变并行布局,不自动等于改变模型 |
| TTFT | 首 token 时间 | 解析器是 prefill 服务时间,DES 才可含排队 |
| TPOT / ITL | 每输出 token 时间 / token 间隔 | TPOT 偏请求平均,ITL 可描述逐间隔尾部 |
| DES | 离散事件仿真 | 事件调度推进队列、服务与路由 |
| 锚点 | 一次真实测量的结构化产物 | 含 batch 阶梯与执行机制签名 |
InferaSim 内部先构造一个共享的成本核。 成本核回答「某个配置的一步服务要花多久、显存是否装得下」。 解析投影器在这个成本核上求稳态均值,例如 TTFT、TPOT、每 GPU 吞吐和成本。 在共置布局下,DES 在同一成本核外加上到达流、准入、队列、调度与副本路由,输出 p50、p90、p99 等分布。 因此两者不是两套互相独立的模型,而是「同一服务时间模型的两种提问方式」。
解析器适合快速扫大量配置,但它没有到达过程,也没有真正的排队事件。 它给出的 TTFT 是 prefill 服务时间,不等于客户端从发出请求到收到首 token 的完整响应时间。 如果业务关心的是「高峰到达时 p99 会不会越过 SLO」,就必须使用 DES 或真实基准。 反过来,如果只想先删掉显存不足或平均吞吐明显不合格的配置,解析器更便宜,也更直接。
锚点不是一次随便的实测,而是一份执行机制契约
InferaSim 把配置项分成两类。 第一类会改变实际运行的 kernel 或执行机制,因此是锚点定义项。 第二类主要改变同一组 kernel 的输入规模、分片宽度或到达方式,可以尝试用解析规律迁移。
| 配置变化 | 默认处置 | 原因 |
|---|---|---|
| 模型或 dtype 改变 | 新锚点 | 权重、kernel 与数值路径都可能改变 |
| attention / collective backend 改变 | 新锚点 | 实际 kernel 或通信实现改变 |
| CUDA/HIP graph 模式改变 | 新锚点 | 固定开销与 batch 阶梯改变 |
| 是否启用推测解码改变 | 新锚点 | draft 与 verify 的计算路径改变 |
| batch、并发、上下文长度改变 | 同机制内迁移 | 用测得的曲线与阶梯外推 |
| TP / EP / PP 宽度改变 | 分片、通信与流水线模型 | 不能简单整步除以宽度 |
| 副本数、到达率改变 | DES 或集群模型 | 单引擎时间不变,排队与路由改变 |
| 真实输出长度分布改变 | 需要覆盖该分布的证据 | 直接决定迭代次数和尾部 |
这里的「可以迁移」不是无条件的数学保证。 论文第 5.1 节与官方博客的评估口径还规定,锚点只在相同引擎构建和布局、目标并发处于锚点约四倍范围内等覆盖条件下参与评分。 一旦超出覆盖范围,结果不应与「有锚点支撑的预测」混为一谈。 工程上可以把锚点理解成一份带适用域的校准证书,而不是一个全局常数。
这也解释了为什么默认模式是 anchored benchmark,而不是完全无实测的 simulate。 官方文档明确说,纯解析 kernel 路径可用于快速筛选,但没有获得与锚定路径相同的相关性证据。 无 GPU 的 simulate 模式当然有价值,尤其适合大范围初筛。 只是报告结果时必须标清它来自哪种模式,不能让读者把未校准投影当成实测预测。
迁移规律一:decode 扩宽,不能整步除以 TP
从物理机制看,decode 一步里的权重读取和 GEMM 含有可随 TP 分片的部分,kernel 启动、同步与调度则不会线性缩小。 把整步时间都除以 TP,等于假设所有成本都被切成 。 论文 Eq.1 做了一个更具体的工程近似:把锚点的 batch-1 整步时间 整体作为保留下限,只对更高 batch 相对 的超出部分乘以缩放系数:
所以,即使 内含有 batch-1 的权重读取,Eq.1 仍有意识地不再分片这个底座;这不是声称权重读取在硬件上不可分片,而是论文选择的保守迁移律。 论文在一个 DeepSeek-V4-Pro TP4 到 TP8 的案例上报告:整步直接相除的误差为 44.1%,而其固定底座方法的中位预测误差为 0.9%。 这两个数是该案例、该方法的论文结果,不是所有模型扩宽时的通用误差。
用一个完全虚构但便于检查的数值例说明同一近似。 论文里的 是锚点 decode sweep 中最便宜的 batch-1 步时间,包含单请求的权重读取,不是纯粹的 launch 或同步开销;下面的 60 ms 按 Eq.1 整体保留,不能外推成任意大 batch 都占 60%。 假设 TP4 某一步为 100 ms,其中按上述规则保留的底座 ms,超出底座、参与缩放的部分为 40 ms。 那么从 TP4 搬到 TP8,朴素算法与分解算法分别是:
在这个人为例子中,80 ms 是按假设得到的精确分解结果,50 ms 则低估了 37.5%。 这个 37.5% 只属于本文构造的数字,不能拿去替代论文的 44.1%。 它要展示的是误差来源:即使真实 kernel 完全理想地减半,固定底座也会给整步设置下限。 TP 越宽,固定底座占比通常越值得实测,而不是越可以放心忽略。
迁移规律二:prefill 是曲线,trace 里还要扣掉已命中前缀
prefill 同时包含固定开销、随 token 数近线性增长的 GEMM,以及随上下文呈二次增长的注意力部分。 论文将其写成一个带固定项的二次形式。 沿用本文符号,可以表达为:
这里的 是二次项系数,不是 batch。 迁移到另一并行宽度时,固定项 保留,每 token 项按实际分片与 kernel 行为变换。 论文报告,在 TP4 与 TP8 两个宽度分别测量后,对 4k 和 8k prompt 反推出的固定项 在 1% 内一致。 这个一致性检查很重要,因为它说明曲线参数不是只在单个点上碰巧拟合。
当请求带前缀缓存时,不能再拿完整 prompt 长度直接进入上式。 设原 prompt 为 ,已命中比例为 ,需要重新计算的 token 数近似为:
实际引擎还受 block 粒度、可复用前缀边界和缓存状态影响,所以上式是模型入口,不是缓存实现细节的全部。 在 trace replay 中,InferaSim 按每个请求未命中的 token 收费,而不是假设所有请求共享同一个抽象命中率。 这点对 agentic 多轮流量尤其关键,因为原始上下文很长,但真正需要重新 prefill 的部分可能很短。
迁移规律三:图捕获让 batch 时间变成阶梯,而不是光滑直线
开启 graph capture 后,引擎通常只捕获若干预定义 batch 档位。 真实 batch 若落在两个档位之间,就会被 padding 到下一个已捕获档位。 因此成本函数不是连续插值,而是阶梯函数:
例如捕获档位包含 32 和 40,真实 batch 为 33 时,就要支付档位 40 的一步时间。 如果用光滑曲线在 32 与 40 之间插值,就会凭空创造出引擎并未运行的中间执行路径。 这也是「batch 增加一点,平均延迟却没变」与「跨过一个档位,延迟突然跳升」可以同时成立的原因。 工程报告里若只写 batch 平均值而不写捕获档位,读者很难复现这种现象。
流水线并行也不能只看各阶段理论 FLOPS。 设流水线有 段,一批微批次的完成时间还受最慢 stage、微批次填充与跨 stage 跳数影响。 一个用于直觉检查的批次级近似拆解是:
这里的量是批次完成时间,不是单 token 跨段延迟;后者应按各段耗时与 hop 逐项相加,不能套用同一个最大值下界。 它不是 InferaSim 的完整实现公式,而是提醒读者:把 PP 当成纯并行除法会漏掉填充、排空和边界成本。 论文在 PP1–8 和跨节点流水线实验中单独验证了这类机制,而不是从单节点 TP 结果直接外推。
Reduce–Measure–Restore:把多节点目标折回单节点测量
当目标超出单节点,InferaSim 使用三步法。 Reduce 是把目标系统折成可以实测的最小子结构。 Measure 是只对这个子结构做真实测量。 Restore 是把被折掉的通信、流水线 hop、专家路由与阶段差异解析地加回来。
以跨节点流水线为例,可以只测一个 stage 在一个节点上的真实计算,再用通信与 hop 模型恢复 stage 之间的时间。 以最宽 EP 为例,不必先搭出完整专家集群,但要保留 checkpoint 路由统计,避免把专家负载假设成完全均匀。 以 P/D 拆分为例,可以分别使用 prefill 与 decode 的共置锚点,再估计两个池和 KV 传输。 测量因此仍然根植于真实硬件,但不要求每个目标拓扑都先被真实搭建出来。
这张图想说明的一件事:减少的是测量规模,不是对目标系统机制的建模责任。 如果 Reduce 阶段把真正决定性能的差异折掉了,Restore 又没有补回来,那么再漂亮的投影也只是漏模型。 所以每个目标配置都应能回答「哪部分来自实测、哪部分来自解析恢复、哪部分没有建模」。
同一个成本核,为什么还需要离散事件仿真
解析投影器可以给出稳态平均吞吐。 若一个服务每秒处理 个输出 token,使用 张 GPU,则每 GPU 吞吐为:
这个指标适合比较资源效率,却不包含请求何时到达、队列如何积累、哪个副本被选中。 在真实服务里,即使平均服务时间不变,集中到达和前缀路由不均也会改变尾延迟。 DES 的价值就在于把这些事件按时间顺序真正推演一遍。
官方博客给了一个很有警示性的实测观察:DeepSeek-V4-Pro TP8 在 64 并发下,ITL 中位数为 21.7 ms,而 p99.9 为 1392 ms。 两者相除为:
这个 64.15 倍是本文对两个不同分位数的比值计算,不是「同一个请求被拖慢 64 倍」。 它说明的是分布尾部与中位体验可以相差多远。 博客将长尾归因于新 prompt 被准入后,prefill 对 decode 的干扰;均值模型不会自动生成这些离散干扰事件。
DES 也不等于无限接近真实。 当前官方边界文档明确列出:只有一种 unified-batch 调度策略,没有 autoscaler,没有 worker 启动延迟,也没有独立的多类调度核心。 对解耦布局还有一条更严格的边界:disaggregation 仅为解析建模,没有独立的 prefill/decode 事件队列、传输争用事件或角色专属调度器,因此当前 DES 不给出 P/D 解耦(PDD)的尾分布。 因此,DES 的结果是对已建模到达、准入、缓存与路由机制的推演,不是任何引擎、任何流量下的通用 p99 保证;共置 p99 与解耦 p99 必须分开表述。 [SATURATED] 也不是一个可接受的延迟结果,而是提示 offered load 已超过可持续容量,分位数正在描述不断增长的积压。
一个 agentic 例子:144:1 为什么不能直接决定 P/D 配比
官方博客构造的 agentic trace 例子中,每个请求约有 130,000 个 prompt token、900 个生成 token,92% prompt 已由早轮计算并命中。 如果完全忽略缓存,prompt 与输出 token 数之比为:
看上去应当把绝大多数 GPU 分给 prefill。 但先扣除 92% 已命中前缀,实际需要重新计算的 prompt token 为:
于是有效计算比变成:
从 144.44 到 11.56,差的是缓存命中,不是模型突然变快。 而且这仍不是最终 GPU 配比,因为 decode 池还要为整个约 131k token 的上下文保存 KV,并在 900 个生成步骤里持续占用。 所以 prefill 的计算量与 decode 的显存驻留会朝相反方向拉动资源配置。 直接按原始 token 比分池,会同时误读这两项。
正确的工程顺序是先看重用后的真实 prefill 工作量,再看 decode 的 KV 驻留和并发,最后检查 KV 传输本身是否值得。 InferaSim 在博客中对这类拆分给出的结果是:其 mix planner 选出的 DeepSeek-V4-Pro 配置为实测最优或距最优 1.5% 内,而只用共置配置的选择会损失超过 40%。 这是该 agentic trace 与候选集合的结果,不应被写成「P/D 拆分普遍提升 40%」。
KV 分层、推测解码与一处必须挑明的文档版本差异
KV offload 的目标是把部分 KV 从 HBM 转到 host DRAM,用传输成本换更大的逻辑缓存。 它何时有价值,取决于重用概率、传输带宽、层间调度和实际延迟目标,不能只看「host 内存更便宜」。 论文第 3.5 节对已覆盖的 offload 运行报告每引擎吞吐预测差异约 4–16%;这是该实验集的结果,不是所有 host-offload 配置的误差承诺。 推测解码则用 drafter 提供候选,再由目标模型验证。 设每步接受的 token 数为 ,验证路径成本为 ,草稿成本为 ,只有下式成立时才有加速空间:
左侧是一次 draft/verify 的总成本,右侧是不用推测时生成同等接受 token 的基线成本。 接受率、draft 深度、模型内建 MTP(multi-token prediction,多 token 预测)能力和 batch 都会改变两边,因此「开启投机就更快」不是可迁移规律。 论文在 43 个 MTP 实测配置上报告交互性误差 12.2% 内、每 GPU 吞吐误差 8.9% 内,这个结论只覆盖对应 MTP 运行。 这里的「交互性」沿用官方定义:每用户输出速度(tokens/s per user),即 TPOT 以 ms 计时时的 ,不是 p99 ITL。
这里还要主动指出一处官方材料之间的口径差异。 论文第 3.5 节和 11 月 6 日博客都把 host-DRAM KV tier 描述为 DES 的第二层缓存。 但本文在 11 月 9 日打开的最新官方「Boundaries and verification」文档明确写道:DES 只有一层 device-resident block cache,不模拟 tier promotion、异步 prefetch、host/SSD eviction 或 offload-link contention。 同一文档说,解析投影器可以计算有界 host-KV offload 与传输带宽。 因此,做工程决策时应保守地以边界文档为约束:不要把 host tier 的 DES 尾分布当成已承诺能力,相关配置仍需真机验证。 这不是否定论文方法,而是提醒我们论文、博客与快速演进文档可能描述不同版本。 第二处同类差异在 P/D 解耦:论文与博客描述了两个 DES 池和解析 KV 传输,最新边界文档却明确说解耦仅为解析建模、不产生 PDD 尾分布。 因此本文只用 DES 讨论共置布局的事件与尾延迟;P/D 的池配比可以比较解析均值,但解耦后的 p99 必须回到真机测量。
结果表怎么读:误差、排序与「前五名」是三件事
InferaSim 的评估数据很多,最重要的是先分清问题类型。 绝对误差回答「预测数值离实测多远」。 成对排序回答「两个候选谁更好」。 Top-5 命中回答「只确认五个候选时,有多大概率碰到接近最优者」。 三者不能合成一个「准确率」。
| 官方实验口径 | 结果 | 不应怎样解读 |
|---|---|---|
| 172 个固定长度配置、8 模型、11 锚点 | TPOT 中位误差 8.1%,TTFT 13.6% | 不是全部 226 个配置的统一误差 |
| 156 个 held-out 中被锚点覆盖的 95 个 agentic run、6 模型、28 锚点 | 吞吐约 8%,ITL 14%,TTFT 23% 内 | 不代表任意真实 trace 都同精度 |
| 159 个 InferenceX(SemiAnalysis 的公开 LLM serving 实测数据集)解耦部署、8–24 GPU | 每 GPU 吞吐中位误差 5.5%,交互性 5.3% | 不是用了真实解耦锚点 |
| 同一固定长度语料:172 个配置、42 个 choice set、68 个决定性吞吐对 | anchored 排序正确率 93.4%,simulate 为 89.0% | 排序强不等于绝对值可直接验收 |
| 同一语料的 89 个决定性 TPOT 对 | anchored 排序正确率 85.4%,simulate 为 84.3% | 不能与吞吐对分母混用 |
| 23 个可行的模型×延迟档组合 | 22 个 Top-5 含实测最优 12% 内候选 | 不是 Top-1 必中最优 |
本文再做一个简单换算:22/23 约为 95.65%。 这个比例只说明在该 23 个可行组合中,Top-5 短名单策略的失败案例有 1 个;它与成本节约一节的 95.54% 完全不同,后者只是 9.1/204 的补数。 它没有说明那 1 个失败案例的业务损失,也没有保证你的候选空间存在同样密度的锚点。 因此最稳妥的输出物不是一个自动当选的配置,而是一份带预期误差和验证优先级的短名单。
论文还报告,10 个 GLM-5.2 实测前沿配置全部保留在预测前沿,MiniMax-M3 的 12 个中保留 11 个。 另一处汇总写为 206 个实测前沿点中有 170 个(83%)同时落在预测前沿上。 这些数字分别描述不同图、不同模型和前沿重合口径,读者不要混算成一个统一召回率。 对平台工程而言,它们的实际意义是:仿真有望保留值得实测的候选,但最终资源承诺仍要由硬件结果签字。
工程落地:把 InferaSim 当作搜索内环,而不是验收替代品
一个可审计的使用流程可以分成六步。 第一步,写清 serving spec:模型、硬件、引擎版本、精度、并行方式、输入输出分布和 SLO。 第二步,列出锚点定义项,把会改变 kernel 或 graph 的变化分组,每组准备对应锚点。 第三步,在小规模真实环境采集 batch 阶梯,并保存签名、引擎构建与测量日期。 第四步,用解析器扫掉显存不合法、平均吞吐或成本明显不达标的点。 第五步,对剩余点按真实到达或 trace 跑 DES,检查饱和、前缀命中和尾部。 第六步,只把 Top-N 短名单送上目标硬件,测完把新结果回收到锚点库。
下面这张对照表可作为评审清单。
| 你想回答的问题 | 首选工具 | 上线前还缺什么 |
|---|---|---|
| 这个并行形状装不装得下 | 解析显存模型 | 目标引擎真实显存与碎片检查 |
| TP4 与 TP8 哪个资源效率更高 | 锚定解析投影 | 同版本真机短名单复测 |
| 共置布局高峰 p99 是否过 SLO | DES + 真实 trace | 真实到达与引擎调度验收 |
| 该要几个副本 | DES 队列与路由 | 故障、启动、扩容策略实测 |
| P/D 池怎样配比 | 两相投影与 KV 传输模型 | 真实 P/D 集群与传输争用 |
| 哪个 scheduler flag 更好 | 不能靠当前投影排名 | 直接做硬件 A/B |
| host KV offload 是否改善尾部 | 先解析筛选 | 当前文档边界下必须实测 |
最容易出现的失败不是公式写错,而是元数据失控。 锚点没有记录引擎 commit、ROCm 版本、graph 模式或精度,就可能被错误复用。 trace 只保留平均长度而丢掉前缀 block 与到达时间,就无法重放真实缓存和排队。 报告只写「误差约 8%」而省略指标、模型集合和锚点覆盖,也会把局部证据包装成普遍承诺。 所以锚点库本质上是实验资产管理系统,不只是若干 JSON 文件。
边界与未解:哪些话现在不能说
第一,不能说 InferaSim 已经证明跨所有引擎和硬件都同样准确。 论文主实验集中在 AMD Instinct MI355X、ROCm 7 及近期 vLLM、SGLang、ATOM 构建。 换到其他 GPU、旧引擎或不同 kernel backend,需要新的覆盖证据。 第二,不能说一个锚点覆盖所有 dtype、graph 和 speculation 组合。 官方恰恰把这些列为需要重新锚定的变化。
第三,不能把解析 TTFT 当成客户端 TTFT。 前者不含完整到达与排队语义,后者需要 DES 或真实测量。 第四,不能把 DES 当成全功能集群仿真。 autoscaler、启动延迟、多种调度核心、解耦 P/D 的独立事件队列与 PDD 尾分布,以及当前文档所列的 host-cache 事件都不在其承诺内。 第五,不能用仿真排名替代未进入 serving spec 的 kernel 或 scheduler flag 对比。 这些 flag 在模型里可能映射到同一个数,排名必然没有辨识度。
第六,不能把本文学术与官方数字当成 MagicNetWorld 的独立实测。 本文没有 MI355X 集群,没有重新运行论文的 172 个排序语料配置或 226 个锚点覆盖配置,也没有验证论文每个模型与引擎组合。 我们独立做了的是公式代入、口径对账和官方文档之间的边界核查。 对计划采购或扩容的团队,正确动作仍是先复制官方小例,再用自己的模型、流量和 SLO 做一次短名单验证。
小结:真正被复用的是机制,不是一个漂亮的延迟数字
InferaSim 最有价值的设计,不是宣称「一次测量预测一切」。 它把一次真实测量限制在明确的执行机制里,再把可迁移的部分拆成固定底座、分片计算、通信、流水线、缓存和到达事件。 decode 不能整步除以 TP,prefill 不能只按原始 prompt 长度计费,graph batch 不能光滑插值,P/D 配比也不能按 144:1 的原始 token 比拍脑袋。 这些看似不同的规则,背后都是同一条原则:先识别机制,再决定什么能够复用。
因此,评估这类工具时别只问「中位误差是不是低于 10%」。 更应该问三件事:锚点覆盖了哪些执行机制,仿真没有建模哪些事件,短名单上真机后能否回收成下一轮更可靠的锚点。 当这三件事都有记录,仿真才不是省下实验后的自信猜测,而是一套能把 GPU 时间集中到关键决策上的工程流程。
📋 来源与核验记录
- AMD,InferaSim 论文,arXiv:2611.04032v1,提交于 2026-11-02;本文于 2026-11-09 打开 HTML 全文,核对方法、表 2、10、11、16、排序实验与限制。https://arxiv.org/abs/2611.04032
- AMD,同一论文的可检索 HTML 版本;本文于 2026-11-09 读取第 3、5、7 节及公式、表格。https://arxiv.org/html/2611.04032v1
- AMD ROCm 官方博客,ROCm InferaSim: Cut LLM Serving Trial Costs and Deploy the Best Configuration,2026-11-06;本文于 2026-11-09 打开并核对锚点成本、agentic 例子、尾部观察与验证摘要。https://rocm.blogs.amd.com/software-tools-optimization/inferasim/README.html
- AMD ROCm 官方文档,Simulation overview;本文于 2026-11-09 打开并核对解析器、DES、锚点和 fidelity modes 的职责。https://rocm.docs.amd.com/projects/infera/en/latest/simulation/overview.html
- AMD ROCm 官方文档,Modeled features;本文于 2026-11-09 打开并核对模型支持、vLLM/SGLang/ATOM 与输入格式范围。https://rocm.docs.amd.com/projects/infera/en/latest/simulation/modeled_features.html
- AMD ROCm 官方文档,Boundaries and verification;本文于 2026-11-09 打开并核对 scheduler、autoscaler、disaggregation、KV tier 和校准边界。https://rocm.docs.amd.com/projects/infera/en/latest/simulation/boundaries.html
- AMD-AGI/Infera 官方 GitHub 仓库;本文于 2026-11-09 通过 GitHub API 核对仓库身份、描述、默认分支与公开状态,并打开仓库页面。https://github.com/AMD-AGI/Infera
- SemiAnalysis,InferenceX 官方 GitHub 仓库;本文于 2026-11-09 打开 README,核对其公开推理研究平台与持续实测基准身份。https://github.com/SemiAnalysisAI/InferenceX
数字核验索引(便于逐项回查,不是新增实验):
- 8.1%:来源 1 表 10,自有固定长度集合的 TPOT 中位绝对百分比误差。 同一行还给出 TTFT 13.6% 与输出吞吐 8.8%;表 13 另列每 GPU 吞吐口径。
- 0.9% 与 44.1%:来源 1 第 3.1 节,DeepSeek-V4-Pro TP4→TP8 的分解法与整步相除对照。 前者是固定底座方法的中位预测误差,后者是朴素整步相除的误差。
- 1%:来源 1 第 3.1 节,TP4 与 TP8 分别测锚点后,4k/8k prompt 的 prefill 固定项一致性。 它不是全模型、全上下文长度的统一拟合误差。
- 约 8%、14%、23%:来源 1 表 2,156 个 held-out 中被锚点覆盖的 95 个 agentic run 的吞吐、ITL、TTFT error-factor 口径。 这组使用 28 个锚点,与固定长度集合的 11 个锚点不是同一实验;error factor 也不是中位绝对百分比误差。
- 5.5% 与 5.3%:来源 1 第 5.10 节与表 16,159 个 InferenceX 解耦部署的每 GPU 吞吐与交互性中位误差。 实验没有使用解耦集群锚点,而是从共置锚点投影。
- 12.2% 与 8.9%:来源 1 第 5.9 节,43 个 MTP 运行的交互性与每 GPU 吞吐误差边界。 它们只覆盖 MTP 推测解码,不应推广到任意 draft 模型。
- 93.4% 与 89.0%:来源 1 第 5.7 节与表 11,172 个配置、42 个 choice set 中 68 个决定性吞吐对的 anchored 与 simulate 排序正确率。 决定性对已经排除吞吐接近、排序没有实际意义的候选;TPOT 是另一分母:89 对中分别 85.4% 与 84.3%。
- 22/23 与 1.5%:来源 3 的 tuning 与 worked example 段,分别指 Top-5 覆盖和特定 agentic 配置离实测最优的差距。 前者是短名单统计,后者是单一配置结果,两者不能互相替代。
- 10/10 与 11/12:来源 1 图 6 与来源 3,GLM-5.2 与 MiniMax-M3 的实测前沿点保留情况。 170/206(83%)则是另一处实测前沿与预测前沿的重合汇总,不是同一分母。
- 4–16%:来源 1 第 3.5 节与来源 3,对已覆盖 offload 运行的吞吐预测差异范围。 当前 DES 的 host-tier 事件边界仍以来源 6 的最新说明为准。
- 12%:来源 3 的 tuning 段,Top-5 中「距实测最优不超过 12%」的短名单判定阈值。 它不是 22/23 的命中率,也不是单条配置的统一误差。
- 40%:来源 3 的 worked example,特定 agentic trace 上 colocated-only 选择的相对损失。 该值不能改写成 P/D 拆分对任意负载的普遍收益。
- 10%:本文小结「中位误差是不是低于 10%」是一个评审提问阈值,不是官方结果。 37.5%:本文自算的 100 ms 假设例中,朴素 50 ms 相对分解值 80 ms 的低估比例。
这些索引把百分比重新绑回指标、样本和来源,避免只凭一个数字判断工具好坏。 它们也构成后续复跑时的回归清单:任何一项被引用,都应同时带上对应集合适用域。 如果官方论文或文档更新,应先更新这里的口径,再更新正文结论。 不建议把不同行的误差取平均,因为样本、指标与锚点覆盖均不同。 同样不建议把误差百分比直接转换成 SLO 违约概率,那需要请求级分布与业务阈值。
本文自行推导:95.54% 仅由 9.1/204 计算;TP4→TP8 的 100 ms 数值例为明确假设,其中 60% 是固定项假设,37.5% 是朴素 50 ms 相对分解值 80 ms 的低估比例;144.44、10400、11.56 来自官方 130000/900/92% 例子的代入;64.15 为 1392/21.7 的分位数比值;22/23≈95.65% 为短名单覆盖比例换算。 本文基于论文、AMD 官方文档与公开资料整理,AI 辅助生成,MagicNetWorld 尚未完成 InferaSim 独立实测;所有性能与成本数字在用于采购、扩容或 SLO 承诺前,应在目标硬件和真实流量上复核。