ART 智能体强化训练器
用 GRPO 从实际任务经验中持续训练多步智能体。
- 源仓库
- OpenPipe/ART
- Star 数
- ★ 11k
- 最近更新
- 1 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 53/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI API(部分支持)
- 费用
- 有免费版,另有付费云服务
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 已有 Python 智能体应用的团队,希望加入基于任务 reward 的 GRPO 训练,而不自行实现完整训练循环。
- 不适合
- 没有 GPU 硬件、希望零基础设施投入的团队
- 需要推理在训练期间持续可用、不能中断的服务
- 不愿使用 W&B 托管服务或提供其 API 密钥的团队
- 官网
- art.openpipe.ai ↗ 来自 GitHub 仓库设置
- 维护状态
- 近 30 天有提交最近提交 2026-11-10最新版本 v0.5.24(2026-11-04)近 7 天每天 +1.9 ★
- 源码审查
- 53/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
ART 是一个开源强化学习框架,用于通过实际任务轨迹提高多步智能体的可靠性。它由 Python 客户端和独立训练服务器组成:客户端接入现有应用并提供 OpenAI 兼容接口,服务器负责模型推理、GRPO 训练、检查点管理和 LoRA 加载。应用执行智能体工作流时,ART 将 system、user 和 assistant 消息保存为 Trajectory,并由应用为每条轨迹分配 reward。服务器使用这些轨迹训练模型,把新的 LoRA 保存到本地目录,再加载至 vLLM 供下一轮推理使用。团队既可在自有 GPU 上运行服务器,也可使用需要 W&B API 密钥的 W&B Training 托管基础设施。
应用通过 ART 客户端向当前模型发送补全请求,并可并行执行多次 rollout。服务器在 vLLM 中运行最新 LoRA;客户端将每次执行产生的 system、user 和 assistant 消息记录到 Trajectory,任务代码随后为该 Trajectory 设置 reward。所有 rollout 完成后,轨迹被分组发送给服务器,服务器暂停推理并使用 GRPO 从最新检查点训练模型;首次迭代则从空 LoRA 开始。训练完成后,服务器将 LoRA 写入本地目录、加载到 vLLM,并恢复下一轮推理。除强化学习外,提供的示例还涵盖数据集 SFT、先 SFT 后 RL、LangGraph 智能体、MCP 工具使用、邮件检索以及游戏任务。
- 已有 Python 智能体应用的团队,希望加入基于任务 reward 的 GRPO 训练,而不自行实现完整训练循环。
- 研究人员需要并行采集多步 rollout,并用完整对话轨迹训练 Qwen 等因果语言模型。
- 基础设施团队希望在本地 GPU 上控制训练服务器、检查点和 vLLM 推理。
- 不想维护 GPU 集群的团队,可使用 W&B Training 管理训练和推理基础设施,并让检查点通过 W&B Inference 使用。
- LangGraph 开发者希望使用强化学习改善多步推理和工具调用。
- 模型团队希望实验文本到 SQL 蒸馏、文档摘要的 SFT 加 RL,或从文件数据集微调 Qwen 模型。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pip install openpipe-art
如何安装或部署这个 Agent?
在能够运行 Python 的客户端机器上,将 ART 安装到现有项目:
pip install openpipe-art来源没有注明最低 Python 版本、操作系统要求或完整的本地服务器安装命令。自托管训练服务器需要带 GPU 的机器;使用 W&B Training 时还需要有效的 W&B API 密钥和网络连接。
如何使用这个 Agent?
下面是来源给出的 W&B Training 注册示例。它配置 Qwen/Qwen3.6-27B,创建 ServerlessBackend,然后把后端注册到 art.TrainableModel:
from art.serverless.backend import ServerlessBackend
model = art.TrainableModel(
project="voice-agent",
name="agent-001",
run_name="agent-001",
base_model="Qwen/Qwen3.6-27B"
)
backend = ServerlessBackend(
api_key="your_wandb_api_key"
)
model.register(backend)将占位符替换为 W&B API 密钥。该片段假定 art 已在周边代码中导入;来源没有展示这一导入语句,也没有给出完整的首个 rollout、Trajectory reward 设置或训练启动代码。可运行的入门材料以 Colab notebooks 形式提供,包括 2048、ART·E、LangGraph、MCP·RL、井字棋、Codenames 和 SFT 示例。
这个 Agent 有哪些优点和局限?
- 客户端与服务器分离,可从普通 Python 客户端驱动远端 GPU 训练,也可在本地 GPU 上运行服务器。
- 将轨迹记录、reward、GRPO、LoRA 检查点和 vLLM 推理组织为明确的迭代训练循环。
- 可嵌入已有 Python 应用,并提供 OpenAI 兼容的客户端接口。
- 同时提供托管的 W&B Training 路径和自托管路径;托管模式会自动管理训练与推理基础设施。
- 示例覆盖邮件检索、LangGraph、MCP、游戏、文本到 SQL、摘要以及 SFT 与 RL 组合流程。
- 每轮训练期间推理会被阻塞,对持续在线服务可能造成可用性或吞吐影响。
- 自托管服务器需要 GPU,并要求团队自行处理相应运行环境;来源没有提供完整的部署命令。
- W&B Training 路径依赖 W&B API 密钥和托管服务,来源没有给出价格或权限配置细节。
- Gemma 3 被明确标注为目前似乎不受支持;其他模型也只表述为应当兼容,而非逐一验证。
- 模型可移植性受 vLLM、HuggingFace Transformers 或 Unsloth 兼容范围约束。
这个 Agent 与同类方案有什么区别?
与本地 GPU 部署相比,W&B Training 会自动管理训练和推理基础设施,并让每个检查点立即可供 W&B Inference 使用;本地部署则保留自有服务器边界,但需要 GPU 和运维投入。来源宣称托管方案借助共享生产级推理集群可降低 40% 成本、将训练加快 28%,并扩展到 2,000 个以上并发请求,但未提供定价表或独立验证。ART 还建立在 Unsloth、vLLM、TRL 和 torchtune 等项目的工作之上;来源没有提供与这些项目逐项对比的功能表。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| ART 智能体强化训练器 当前 | 53 · 缺口较多 | 代码库 / SDK免费版 + 付费版 | ★ 11k | 1 天前 | Python | — |
| AReaL 异步强化学习平台 | 56 · 缺口较多 | 命令行工具免费 | ★ 5.9k | 1 天前 | Python | — |
| Agent Lightning | 61 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 19k | 6 天前 | Python | OpenAI API |
| Relax 全模态强化学习引擎 | 59 · 缺口较多 | 命令行工具免费 | ★ 676 | 1 天前 | Python | — |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
CLI 明确展示了训练循环、GPU 运行环境及运行时准备命令,错误信息也能指出部分缺失依赖;但监听服务默认绑定 0.0.0.0,且片段未展示认证配置,最小权限和外部效果控制因此较弱。训练会收集并发送轨迹,README 未说明轨迹的数据保留或脱敏,敏感数据处理仅部分覆盖。SKILL 指示在修复流程中提交并推送分支、创建 PR,缺少用户确认节点;迁移命令有 dry-run 和保留原 JSONL 选项,但该片段不足以证明普遍回滚能力。README 列出项目及其致谢依赖,来源可追溯;依赖版本混有范围和固定版本,且未见安全审计证据,因此依赖安全仅得部分分。
README 描述了客户端、独立服务器、轨迹收集和 GRPO 训练的整体流程,CLI 与依赖配置也支持该框架定位;但 README 的模型和性能表述存在版本/措辞不一致,例如 Qwen 3.8 与 Qwen3.6 描述,且多个示例链接标注即将补齐,自洽性只能部分成立。pyproject.toml 明确列出 Python 3.12、核心依赖及 CUDA/后端可选依赖,但大量依赖使用开放版本范围,尚不足以证明长期可用性。CLI 捕获异常并输出运行时检查或准备失败信息,错误提示对常见缺失 torch 情况较具体,故失败信息相对充分。
README 覆盖从本地 GPU 到托管训练、LangGraph、MCP、多步任务及 SFT 的多种场景,并给出任务示例,受众和用途说明较充分。文档声明兼容大多数 vLLM/HuggingFace 因果语言模型,同时指出 Gemma 3 暂不支持,能力边界有说明但不完整。两个训练技能说明了触发条件,且要求复用真实 rollout/tool 路径;不过 SFT 技能限制推荐模型,RL 技能流程要求大量逐项确认,触发后的适配范围有限。Python 3.12、CUDA 变体、GPU 后端与特定包管理器形成明确环境要求,但 README 的 pip 安装建议与开发文档 uv 工作流并存,环境选择说明不完整。
README 按概览、安装、训练循环、模型、贡献、引用和许可组织,另有 CLI 帮助及运行时命令说明,信息架构清楚但缺少更完整的操作细节。安装仅给出 pip 命令,未解释按后端选择 extras、CUDA 变体或 Python 要求。产品名与包名总体可辨认,但 README 中模型写法及示例称呼不完全稳定。Notebook 和训练技能提供实用示例,但若干基准链接尚待补齐。README 明确列出 Gemma 3 限制;Apache-2.0 LICENSE 文件与元数据一致,许可证据充分。pyproject.toml 有版本号,发布工作流生成草稿和 PR,但本片段未提供面向用户的变更日志。README 称项目积极开发并引导贡献,CLAUDE.md 给出维护流程,但没有清楚标明长期维护责任主体或支持承诺。
框架把轨迹、奖励、训练循环和推理服务整合进 Python 应用,CLI 还能安装训练技能及准备运行时,用户可据此开始使用;但主要流程仍依赖外部文档或 Notebook,产出易用性部分充分。多步智能体的 GRPO 训练、可插拔后端及 LangGraph/MCP 示例构成明确的增量价值。服务器/GPU 管理、外部托管服务和模型训练意味着明显的计算与服务成本;README 宣称成本和速度收益,却未在所给材料中呈现可核对的测量方法,成本收益只得部分分。
README 描述的核心训练循环能在 CLI、pyproject.toml 和服务端代码片段中找到部分对应,许可证和版本也有文件佐证;但 40% 成本降低、28% 加速及性能比较缺少本材料内可检查的测量依据,因此主张可追溯性有限。README 的训练流程与 CLI/服务实现、训练测试片段互相印证了一些框架功能;不过测试片段只有样例代码,不能据此声称运行通过,且外部文档/Notebook 未包含在材料中。事实(如依赖、命令、许可证)和宣传性效果主张并列出现,但缺少清楚的证据标注和方法说明,事实与推断区分较弱。
- 默认服务监听 0.0.0.0;部署前应核实网络可达范围与认证设置。
- 训练轨迹会包含对话消息;材料未说明数据保留、脱敏或托管服务的数据处理方式,避免把敏感生产数据直接用于训练。
- README 的成本和速度提升数字未附可在本材料中核对的方法;应先以自己的模型、GPU 和任务验证预算与收益。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
发布说明摘录
Release Highlights - Weave 0.54.0 or later is now required. Weave 0.53.9 and earlier fail in weave.init() with AttributeError: 'OTLPSpanExporter' object has no attribute '_session' once opentelemetry-exporter-otlp-proto-http 1.45 is installed. Installing ART now upgrades an older Weave instead of keeping it. …在 GitHub 查看 ↗ -
发布说明摘录
Release Highlights - Model.delete_checkpoints works with polars 2.x. It averaged every history.jsonl column per step, and polars 2 raises on the string recorded_at column (InvalidOperationError: mean operation not supported for dtype str). It now averages only the checkpoint metric ([#1150](https://github.com/OpenPipe/ART/pull/1150)). What's Changed - fix: average only the metric in delete_checkpoints ([#1150](https://github.com/OpenPipe/ART/pull/1150)) Full Changelog: https://github.com/OpenPipe/ART/compare/v0.5.22...v0.5.23在 GitHub 查看 ↗ -
发布说明摘录
Release Highlights - Model metrics now log to the model's W&B entity. In 0.5.21, a model created with an explicit entity that differed from the API key's default entity logged model.log() metrics to a run under the default entity instead ([#1134](https://github.com/OpenPipe/ART/pull/1134)). What's Changed - feat: support opt-in multi-adapter MoE LoRA waves ([#1139](https://github.com/OpenPipe/ART/pull/1139)) - fix: bound context-parallel admission and memory accounting ([#1138](https://github.com/OpenPipe/ART/pull/1138)) …在 GitHub 查看 ↗
常见问题
必须使用 W&B 才能训练吗?
训练时仍能处理推理请求吗?
可以训练哪些模型?
ART 会自动生成 reward 吗?
许可是否允许商业采用?
ART 智能体强化训练器 官网是什么?
ART 智能体强化训练器 免费吗?
ART 智能体强化训练器 安全吗?
ART 智能体强化训练器 还在维护吗?
ART 智能体强化训练器 是谁开发的?
谢谢反馈,我们会据此改进页面。