Reverify

这是什么？适合谁？

Reverify（2akouwu/reverify）是一个反幻觉验证工具，主打一句话：“Stop your AI from making things up”。它的机制是让确定性工具当裁判：模型提出一条结构性或行为性声明（比如某个 API 存在、某个 struct 字段偏移是多少、某函数做什么），工具拿真实工件去核对，返回 VERIFIED / REFUTED 加证据——模型永远不能自说自话地把推断当事实。

它今天做两件事：

1. reverify verify：对 AI 的每条声明做地面真值核验，只有活下来的才算事实（也可以通过 MCP server 让你的 agent 直接调用）
2. reverify rollover：把当前会话无损交接给文件并开启新会话，替代有损的自动摘要，让长任务不漂移、不需要 /clear——支持 Claude Code、Codex、Gemini CLI 和 OpenCode

适合谁：重度使用编码 Agent 且被幻觉 API/字段/偏移量坑过的开发者；想在 CI 里给 AI 产出加”事实门禁”的工程团队；做二进制逆向、需要 AI 辅助但不敢信 AI 结论的安全研究员。

不适合：只用 AI 写散文、对事实精度不敏感的用户；需要生成内容而非核验内容的场景。

使用前提：Python 3 环境；MCP 宿主（Claude Code/Codex 等）可选——CLI 也能独立用。

准备工作

1. 安装：pip install reverify（PyPI 包 reverify）
2. 环境：Python 3.x；要接 agent 则准备一个受支持的 CLI（Claude Code / Codex / Gemini CLI / OpenCode）
3. 准备：被核验的目标工件（源码 / 二进制 / 文档）
4. 成本：MIT 开源免费
5. 时间：装好后 10 分钟内可跑通第一条核验

快速上手（3 步）

第一步：安装

pip install reverify

得到 reverify CLI（含 verify 与 rollover 两个子命令）。

第二步：跑第一条核验

reverify verify

按提示让 AI 先对目标工件提出声明（例如某个字段的偏移量），reverify 对照真实工件裁决并输出 VERIFIED / REFUTED 与证据。

第三步：接进你的编码 Agent（MCP）

reverify mcp

把 MCP server 挂到 Claude Code / Codex / Gemini CLI / OpenCode，此后 agent 的结构性声明会自动走核验通道，不再裸奔。

成功判定：一条错误声明被 REFUTED 且附带反证证据；一条正确声明 VERIFIED 通过。

初级用法

• API 存在性核验：AI 声称”某库有 foo(x) 函数”——verify 直接对源码/文档裁决，不存在即 REFUTED
• 字段偏移核验：逆向场景下 AI 报 struct 偏移，工具对二进制实测
• 上下文轮换：长会话执行到 token 高位时 reverify rollover，开新会话但保留完整文件化上下文
• CI 门禁：把核验命令加入流水线，AI 相关产出不通过事实门禁就红

高级玩法

• 反幻觉基准复现：python benchmarks/prologue_prior.py——官方在 71 个真实 Windows 系统文件上测得 AI 教科书式回答 97% 错误、reverify 0 条放行；同一门禁在 CI 的 Linux/macOS 每次推送运行，并有独立 aarch64 复核
• 长任务防漂移流水线：verify（事实锁定）+ rollover（无损续命）组合，跑数小时级 agent 任务不因上下文腐化而累积幻觉
• 二进制逆向辅助：把 reverify 当作逆向 agent 的”可信度过滤器”，AI 只负责提议，PE/ELF 解析器负责裁决

常见踩坑

1. 症状：核验结果全是 REFUTED。 原因：AI 声明本身多为幻觉（官方基准里错误率高达 97%），这不是工具坏了。解决：把 REFUTED 当作工作清单——让 agent 根据反证证据修正后重提。
2. 症状：rollover 后新会话”失忆”。 原因：误以为 rollover 是自动摘要。解决：上下文完整保存在交接文件里，让新会话按需读取该文件，而不是依赖压缩摘要。
3. 症状：MCP 客户端连不上。 原因：宿主版本或启动命令不匹配。解决：按仓库文档确认 reverify mcp 的 stdio 配置；四 CLI（Claude Code/Codex/Gemini CLI/OpenCode）为官方验证路径。
4. 症状：非 Python 技术栈想用。 原因：CLI 是 Python 的。解决：走 MCP 协议接入（语言无关），或把 verify 挂成外部命令。
5. 症状：担心工具太慢。 原因：每条声明都做实测核验。解决：只对关键结构性声明启用，叙事性内容不必全量核验。

小技巧

• 先核验”事实密度最高”的声明（API 签名、偏移量、配置项），性价比远高于核验描述性文字。
• CI 中把 reverify 与你现有的测试并排跑，红色即阻断——它就是给 AI 产出加的单元测试。
• rollover 交接文件本身可 grep、可 diff，长任务结束后是很好的复盘材料。
• 逆向场景搭配 EXAMPLE.md 的 kernel32.dll 案例（幻觉 prologue 被当场抓获）能快速理解裁决格式。

常见问题 FAQ

Q1: 它和让另一个 LLM 复查有什么区别？

A: 复查仍是概率判断；reverify 用确定性工具对照真实工件实测，输出带证据的 VERIFIED/REFUTED。官方基准里 71 条错误声明全部被捕获、0 条被放行（同门禁在 CI 三平台运行）。

Q2: 免费吗？什么协议？

A: MIT 开源免费，PyPI 可装。

Q3: 支持哪些 agent 宿主？

A: MCP server 模式支持 Claude Code、Codex、Gemini CLI、OpenCode；CLI 本身宿主无关。

Q4: rollover 会丢上下文吗？

A: 设计目标恰恰是替代有损 auto-summary：会话交给文件、新会话读取文件，事实与上下文在重置间存活（“grounded facts and context survive resets”）。

Q5: 项目很新，可靠吗？

A: 仓库 2026-08-31 创建、9 天 1038★，MIT、CI 在跑、9 月 7 日仍在推送；但确实极新，生产采用建议先小范围试点（本站未实测全部功能）。

Q6: 只能用于逆向吗？

A: 不是。逆向只是幻觉最严重的”证明场”；任何”AI 声明可被确定性工具核对”的场景（源码 API、文档、配置）都适用。

参考链接

• 官方仓库
• PyPI 包 reverify
• 基准 BENCHMARK.md
• 示例 EXAMPLE.md

本文基于公开资料（GitHub 官方 README 与基准文档）整理，AI 辅助生成，未做本地安装实测；采集日期 2026-09-09。功能与数据以官方仓库最新说明为准。