loongsage

这是什么？适合谁？

LoongSage（baidu-baige/LoongSage）是百度白鸽团队出品、面向前沿 LLM 的生产级 Agentic RL 框架：面向强化学习驱动的 Agent 训练，内置经过验证的训练 recipe。

核心价值：把「Agentic RL（强化学习驱动的 Agent 训练）」做成生产级框架——中文团队开源、方向稀缺，内置已验证的训练配方，降低从零搭建 RL 训练管线的门槛。

适合人群：

• 做 Agent RL / 强化学习训练的算法工程师
• 研究 RL 驱动 Agent 能力的研究者
• 需要生产级训练框架的团队

使用前提：Python 与深度学习环境；理解强化学习（PPO 等）与 LLM 训练基础。

准备工作

1. 算力：RL 训练需要 GPU 资源（具体规模按模型与任务）。
2. Python 环境：装 PyTorch 与相关训练依赖。
3. 基座模型：准备要训练的 LLM 基座。
4. 成本：Apache-2.0 开源免费；算力与训练成本自担。
5. 时间预算：环境搭建 + 跑通示例 recipe 约半天。

快速上手（3 步）

第一步：安装框架

git clone https://github.com/baidu-baige/LoongSage
cd LoongSage
pip install -e .   # 具体依赖与安装以 README 为准

第二步：准备环境与数据

配置算力、基座模型与训练数据。

第三步：启动训练 recipe

用内置 recipe 启动一轮 Agentic RL 训练并观察指标。

成功判定：用内置 recipe 成功启动一轮 Agent RL 训练，并在日志中看到 reward 与 loss 指标。

初级用法

Agentic RL

面向 Agent 任务的强化学习训练范式。

内置 recipe

提供经过验证的训练配方，省去调参试错。

生产级设计

面向生产环境的训练流程与稳定性设计。

高级玩法

自定义 reward

针对自有任务设计奖励函数，扩展训练场景。

多环境训练

把 Agent 放进多环境交互，提升泛化能力。

训练监控

接入指标面板，持续跟踪训练曲线。

小技巧

1. 先跑内置 recipe：验证环境后再改。
2. 奖励函数先简单后复杂：RL 对 reward 极敏感。
3. 算力预算先估算：RL 训练成本不低。
4. 多存 checkpoint：便于回滚与对比。
5. 对齐团队目标：RL 收益需要明确的任务定义。

常见踩坑

踩坑 1：算力不足

• 现象：训练 OOM 或速度极慢。
• 原因：RL 训练资源需求大。
• 解决：先小模型小规模验证，再扩展。

踩坑 2：reward 设计不当

• 现象：模型学偏、行为异常。
• 原因：奖励函数与目标不一致。
• 解决：简化 reward，逐步迭代并加人工校验。

踩坑 3：依赖版本冲突

• 现象：安装失败。
• 原因：深度学习依赖复杂。
• 解决：按 README 锁定版本或用容器。

踩坑 4：期望过高

• 现象：训练几轮没看到明显提升。
• 原因：RL 收益需要充分调参与数据。
• 解决：设合理目标，先复现 recipe 基线。

踩坑 5：项目极新

• 现象：文档与社区有限。
• 原因：项目 2026-08 创建。
• 解决：以 README 与源码为准。

常见问题 FAQ

Q1: 什么是 Agentic RL？

A: 用强化学习训练 Agent 在环境中做出更好决策，而非仅做监督微调。

Q2: 需要多少算力？

A: 取决于模型与任务规模，建议先小规模验证，具体见 README。

Q3: 免费吗？

A: Apache-2.0 开源免费；算力成本自担。

Q4: 适合新手吗？

A: 需要 RL 与 LLM 训练基础，门槛较高。

Q5: 和 DRL 框架有什么区别？

A: 它聚焦 Agent 场景的 RL 训练，内置针对 Agent 的 recipe。

进阶学习建议

掌握基础后，建议深入：

1. 复现内置 recipe 的基线指标，建立自己的训练起点。
2. 为自有 Agent 任务设计奖励函数，跑通第一轮定制训练。
3. 研究多环境交互与课程学习，提升 Agent 泛化能力。

参考链接

• 官方仓库

最后更新：2026-08-29 · 作者：MagicNetWorld · 基于公开资料整理，关键数据经 GitHub API 独立实测核验，AI 辅助生成