Reef

这是什么？适合谁？

Reef（Human-Agent-Society/reef）自称是首个开源的”持续自我改进 Agent 基础设施”（continual learning infra for self-imving agents）。它把 Agent 的推理、反馈、学习、版本化交付连成一条闭环：Agent 对外服务的同时记录交互，把反馈匹配到交互记录，从合格记录里产出更新（训练权重或改 harness），经评估与选择策略后发布进版本历史——全程服务不中断。

两条学习路径（官方表）：

与现有栈的分工：推理引擎（vLLM/SGLang）管服务不管训练；RL 框架（Slime/veRL/AReaL）管训练不管服务与版本；Reef 补上”边服务边学、版本管理、更新期间不宕机、超越权重的演化（skills/harness）”。

适合谁：想让自己 Agent 从真实用户交互中持续变强的团队；有 SGLang/Slime 经验的推理训练工程师；研究 Agent 自我改进方向的实验室。

不适合：只想调 API 用现成 Agent 的普通用户；没有 GPU 栈或评估器的个人（权重训练路径门槛高）；需要商业 SLA 的企业（项目新）。

使用前提：Python 3.10+、uv、git-lfs（artifact/checkpoint 功能需要）；权重训练路径需可训练模型 + GPU 栈。

准备工作

1. 安装：uv venv && source .venv/bin/activate && uv pip install reef-infra（PyPI 包 reef-infra）
2. 环境依赖：系统装 git-lfs（Reef 会为 artifact 仓库本地初始化 LFS）
3. 训练路径：可训练模型 + Slime/SGLang 栈；harness 路径：模型端点 + 评估器
4. 成本：Apache-2.0 开源免费；基础设施（GPU）自备
5. 时间：跑通第一个学习循环约半天（含环境）

快速上手（3 步）

第一步：安装 reef-infra

uv venv && source .venv/bin/activate
uv pip install reef-infra
python3 -c "import reef; print(reef.__version__)"

第二步：把 Agent 接入 Reef 服务并记录交互

按官方 Quickstart（reefinfra.ai/docs）把现有 Agent 请求走 Reef 的 service/（服务与交互记录），确认交互记录落库。

第三步：配置反馈与更新策略，跑通第一个学习循环

反馈匹配（records.py + train/processors/）→ 产出更新（train/）→ 评估与版本发布（train/evaluation/ + artifact/）。每轮循环四步：Serve → Observe → Grow → Commit。

成功判定：artifact/ 版本历史里出现第一个被接受并发布的更新（权重或 harness），且服务全程在线。

初级用法

• harness 自我改进：无本地 GPU，用模型端点 + 评估器让 prompt/规则/skills 迭代
• 交互记录审计：查询 records.py 存储的交互与反馈匹配结果
• 版本历史回滚：artifact 仓库（git-lfs）里检出任一历史版本对比

高级玩法

• 权重训练闭环：Slime + SGLang 训练可服务模型，Reef 负责在线服务、版本管理与更新不宕机
• test-time 训练做科学发现：配执行环境 + 正确性检查器 + 可度量目标（官方路径三）
• 多轮选择策略：自定义 train/evaluation/ 的候选评估与选择策略，控制”什么更新值得上线”

常见踩坑

1. 症状：checkpoint/artifact 异常或仓库膨胀。 原因：没装 git-lfs，Reef 依赖它管理 artifact。解决：系统级安装 git-lfs 后重建环境（官方安装注意事项）。
2. 症状：反馈匹配率为 0。 原因：反馈与交互记录对不上（时间窗/键不匹配）。解决：检查 train/processors/ 的 eligibility 规则与记录字段。
3. 症状：权重训练路径起不来。 原因：该路径需要可训练模型 + GPU 栈 + Slime/SGLang，门槛高。解决：先走 harness 优化路径（无需本地训练 GPU）验证闭环。
4. 症状：更新导致服务劣化。 原因：选择策略过松。解决：收紧 train/evaluation/ 评估门禁，先在影子流量上评估再 commit。
5. 症状：48 个 open issues 该看什么。 原因：项目活跃但新。解决：先读 Roadmap issue #25 与社区渠道（Discord/微信社区）再动手。

小技巧

• 用 uv 管理 Python 依赖（官方推荐），避免手滑装错版本。
• 先跑 harness 路径再上权重训练，能在没有 GPU 的情况下验证整条 Serve→Observe→Grow→Commit 循环。
• 版本历史 + 评估记录是最好的复盘素材：每次更新为何被接受/拒绝都有据可查。
• 中文用户可直接看仓库 README.zh.md 与微信社区入口。

常见问题 FAQ

Q1: Reef 是训练框架还是推理引擎？

A: 都不是。它是把推理引擎（vLLM/SGLang）与 RL 训练框架（Slime/veRL/AReaL）连起来的持续学习基础设施：补上服务在线、版本管理、更新不宕机、超越权重的演化。

Q2: 不会训练模型也能用吗？

A: 能。harness 优化路径只需要模型端点 + 代表性任务 + 评估器，不需要本地训练 GPU。

Q3: 免费吗？什么协议？

A: Apache-2.0 开源免费；PyPI 包 reef-infra；GPU 与模型自备。

Q4: 和 SGLang 什么关系？

A: SGLang 是 Reef 支持的推理/训练栈之一（权重训练路径用 Slime + SGLang）。

Q5: 生产可用吗？

A: 774★、CI 在跑、9 月 8 日仍在推送，但仓库 8 月底才创建、48 个 open issue，属于活跃早期项目，生产采用建议先影子流量试点（本站未实测）。

参考链接

• 官方仓库
• 官方文档 Quickstart
• PyPI 包 reef-infra
• Roadmap issue #25

本文基于公开资料（GitHub 官方 README 中英双版）整理，AI 辅助生成，未做本地安装实测；采集日期 2026-09-09。功能描述以官方仓库最新说明为准。