Open-AgentRL
面向推理、工具调用与交互环境的强化学习训练框架。
- Star 数
- ★ 661
- 最近更新
- 4 个月前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 43/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 研究人员想以 3K SFT 数据和 30K RL 数据复现实验性智能体推理训练，并在 AIME、GPQA-Diamond 或 LiveCodeBench-v6 上评测时。
- 不适合
- 需要开箱即用推理服务的团队
- 无法提供GPU集群或云VM资源的个人开发者
- 希望避免依赖火山引擎等特定云厂商的团队
这个 Agent 能做什么，适合哪些场景？
Open-AgentRL 汇集了 DemyAgent、RLAnything 和 AutoTool 三条面向 Agentic RL 的研究实现。DemyAgent 提供冷启动 SFT 与基于 GRPO-TCR 的智能体强化学习流程，并覆盖数学、科学和代码推理评测。RLAnything 训练策略、奖励模型与环境的闭环优化，支持 OSWorld 计算机控制、AlfWorld 文本游戏和代码任务。AutoTool 提供动态工具选择的双阶段训练代码：先稳定工具整合轨迹，再以 KL 正则化的 Plackett–Luce 排序目标优化多步选择。它是需要自行准备模型、数据、配置及部分外部执行环境的研究训练仓库，而不是可直接部署的聊天机器人或统一推理服务。
DemyAgent 流程读取 .parquet 格式的 SFT、RL 和评测数据，使用 recipe/demystify/qwen3_4b_sft.sh 或 qwen2_7b_sft.sh 微调 Qwen 模型，再用 grpo_tcr_qwen2_7b.sh 或 grpo_tcr_qwen3_4b.sh 进行 GRPO-TCR 训练。代码执行任务通过 SandboxFusion 的 /run_code 端点完成，并需要在 sandbox_fusion_tool_config.yaml 与 verl/utils/reward_score/livecodebench/code_math.py 中配置该端点。RLAnything 分别以 osworld_rl.py、alfworld_rl.py 和 coding_rl.py 读取对应 YAML 配置开展训练，并以相应的 *_eval.py 脚本输出评测结果。AutoTool 的训练框架覆盖 Phase I 的 SFT 加 RL 轨迹稳定和 Phase II 的工具选择排序优化；仓库说明其完整训练数据和工具集仍将发布。
- 研究人员想以 3K SFT 数据和 30K RL 数据复现实验性智能体推理训练，并在 AIME、GPQA-Diamond 或 LiveCodeBench-v6 上评测时。
- 拥有 SandboxFusion 本地部署或云端代码沙箱端点的团队，想训练会在推理过程中执行代码的 Qwen 系列模型时。
- 已配置 Volcengine 云端虚拟机、安全组和 OSWorld 镜像的团队，想对 GUI 计算机控制策略进行强化学习或评测时。
- 需要下载 AlfWorld 环境数据，并在文本交互游戏中训练或评测强化学习策略的研究者。
- 希望研究大规模、持续变化工具库上的动态工具选择，并接受 AutoTool 完整数据和工具集尚未公开的团队。
如何安装或部署这个 Agent？
DemyAgent：
git clone https://github.com/Gen-Verse/Open-AgentRL.git
conda create -n OpenAgentRL python=3.11
conda activate OpenAgentRL
cd Open-AgentRL
bash scripts/install_vllm_sglang_mcore.sh
pip install -e .[vllm]RLAnything：
conda create --name rlanything python=3.10
source activate rlanything
pip install -r requirements_rlanything.txt仓库未说明 API 密钥要求。代码执行 RL 需额外部署 SandboxFusion 或取得 Volcano Engine Cloud FaaS 的 /run_code 端点；OSWorld 的文档化配置使用 Volcengine 云端虚拟机。
如何使用这个 Agent？
DemyAgent 冷启动 SFT 前，在 recipe/demystify/qwen3_4b_sft.sh 或 qwen2_7b_sft.sh 中设置 TRAIN_DATA、EVAL_DATA、MODEL_PATH 和 SAVE_PATH 的绝对路径，然后运行：
bash recipe/demystify/qwen3_4b_sft.sh配置 SandboxFusion 端点、RL 数据路径、模型路径、评测集路径和 default_local_dir 后，可运行：
bash recipe/demystify/grpo_tcr_qwen3_4b.shRLAnything 的首次训练调用取决于场景，例如：
python osworld_rl.py config=configs/osworld_rl.yaml单节点运行时需在对应 YAML 中将 num_node 设为 1。
这个 Agent 有哪些优点和局限？
- 同一仓库覆盖智能体推理、GUI 计算机控制、文本游戏、代码任务和动态工具选择，而非只提供单一基准配方。
- DemyAgent 给出了从冷启动 SFT 到 GRPO-TCR 的完整训练与评测路径，并明确列出数据、模型、检查点和脚本配置项。
- RLAnything 将策略、奖励模型和环境适应纳入闭环优化，并提供 OSWorld、AlfWorld 与代码场景的独立训练和评测入口。
- AutoTool 的双阶段方法明确包含 KL 正则化 Plackett–Luce 排序，用于多步动态工具选择。
- 这不是即装即用的推理产品；用户必须准备模型、
.parquet数据、绝对路径和场景配置。 - 代码执行训练依赖 SandboxFusion 或 Volcano Engine Cloud FaaS 端点，并要求修改工具配置和奖励评分代码中的端点设置。
- 文档中的 OSWorld 实验依赖 Volcengine 的安全组、虚拟机镜像和并行云端虚拟机池，基础设施成本未给出。
- AutoTool 仅提供 200K 工具调用数据的示例格式；完整训练数据和工具集标注为即将发布。
这个 Agent 与同类方案有什么区别？
仓库说明其实现建立在 VeRL 与 ReTool 的代码基础上；所给材料未提供与二者的逐项功能对比。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Open-AgentRL 当前 | 43 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 661 | 4 个月前 | Python | — |
| Relax 全模态强化学习引擎 | 59 · 缺口较多 | 命令行工具免费 | ★ 673 | 1 天前 | Python | — |
| AReaL 异步强化学习平台 | 56 · 缺口较多 | 命令行工具免费 | ★ 5.9k | 2 天前 | Python | — |
| ART 智能体强化训练器 | 53 · 缺口较多 | 代码库 / SDK免费版 + 付费版 | ★ 11k | 今天 | Python | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
代码展示了Ray worker、模型与奖励模型初始化、外部沙箱端点、云VM及wandb等权限和数据流触点；README要求用户配置路径和端点，但没有显示逐次操作确认、敏感数据保护或完整的数据流说明，因此这些方面仅得1分。未见回滚机制，得0分。README提供论文、数据集和模型的归属引用，源代码也含Apache版权标记，来源归属得2分；但发布者身份未验证，不能额外加分或扣分。
README覆盖多个训练和评估流程，代码有配置校验及未知后端异常，但README同时涵盖多个项目、版本与发布日期信息有限，且未提供足够的错误处理或恢复说明，因此自洽性、依赖可用性和故障提示均为部分支持，得1分。未将未执行测试作为扣分依据。
文档明确说明数学、科学、搜索、代码、多模态、GUI和文本游戏等场景，并给出GPU规模、模型路径、数据和云环境配置，场景与环境适配得2分。能力边界仅由项目说明和若干前置条件部分界定；面向对象与何时适用的选择标准较概括，故其余两项得1分。
README有导航、分项目入门、训练、评估及结果章节，也给出具体命令和示例，信息架构与示例得2分。Apache-2.0许可证文本和项目元数据一致，得3分。仓库包含多个项目名称和有限版本/更新记录；局限说明、维护责任与后续更新路径不充分，因此相关标准得1分。
框架提供可复用的训练、评估及模型合并流程，论文和基准表声称有能力收益，因此边际价值有部分文档支持，得2分。主要输出是训练得到的模型和评估结果，缺少作为通用终端Agent产品的清晰调用接口、输出约定及资源成本权衡说明，故可用性和成本收益各得1分。
README将方法、模型、数据集、脚本和基准结果关联起来，但主要结果是项目自述，样本代码与README未形成对性能或安全行为的独立佐证；事实与推断也未始终分开。因此三项均仅得1分。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 该仓库主要面向模型训练和研究流程；文档要求配置代码执行沙箱、云VM或外部服务端点，并使用分布式GPU资源。部署前应审查这些外部执行与数据处理边界。
- README中的基准和性能优势属于项目自述；本静态审查未执行代码，也未独立复现结果。
- AutoTool完整训练数据和工具集在README中标为后续发布，当前材料不足以确认其可用性。
你是这个项目的维护者？把 FARS 徽章加到 README
[](https://followagents.com/zh/agents/open-agentrl)<a href="https://followagents.com/zh/agents/open-agentrl"><img src="https://followagents.com/badge/open-agentrl.svg?lang=zh" alt="FARS 评测"></a>常见问题
是否可以直接把它作为在线智能体服务部署？
训练代码任务需要什么外部权限或服务？
/run_code API 端点；该端点要写入指定配置和奖励评分逻辑。OSWorld 可以在单机运行吗？
configs/osworld_rl.yaml 中将 num_node 设为 1；其报告的实验则使用云端并行虚拟机。完整 AutoTool 数据集现在可用吗？
谢谢反馈，我们会据此改进页面。