ART 智能体强化训练器

用 GRPO 从实际任务经验中持续训练多步智能体。

源仓库
OpenPipe/ART
Star 数
★ 11k
最近更新
1 天前
License
Apache-2.0
主语言
Python

30 秒速览

运行形态
代码库 / SDK自托管服务云服务 / SaaS
可在哪里用
通用 · 跨平台OpenAI API(部分支持)
费用
有免费版,另有付费云服务
上手难度
高 · 需要较重的基础设施
开始前需要
Pythonopenpipe-art用于自托管 ART 服务器的 GPU用于 W&B Training 的 W&B API 密钥Shell / 命令行网络访问本地文件系统
典型场景
已有 Python 智能体应用的团队,希望加入基于任务 reward 的 GRPO 训练,而不自行实现完整训练循环。
不适合
  • 没有 GPU 硬件、希望零基础设施投入的团队
  • 需要推理在训练期间持续可用、不能中断的服务
  • 不愿使用 W&B 托管服务或提供其 API 密钥的团队
官网
art.openpipe.ai ↗ 来自 GitHub 仓库设置
维护状态
近 30 天有提交最近提交 2026-11-10最新版本 v0.5.24(2026-11-04)近 7 天每天 +1.9 ★

这个 Agent 能做什么,适合哪些场景?

ART 是一个开源强化学习框架,用于通过实际任务轨迹提高多步智能体的可靠性。它由 Python 客户端和独立训练服务器组成:客户端接入现有应用并提供 OpenAI 兼容接口,服务器负责模型推理、GRPO 训练、检查点管理和 LoRA 加载。应用执行智能体工作流时,ART 将 system、user 和 assistant 消息保存为 Trajectory,并由应用为每条轨迹分配 reward。服务器使用这些轨迹训练模型,把新的 LoRA 保存到本地目录,再加载至 vLLM 供下一轮推理使用。团队既可在自有 GPU 上运行服务器,也可使用需要 W&B API 密钥的 W&B Training 托管基础设施。

应用通过 ART 客户端向当前模型发送补全请求,并可并行执行多次 rollout。服务器在 vLLM 中运行最新 LoRA;客户端将每次执行产生的 system、user 和 assistant 消息记录到 Trajectory,任务代码随后为该 Trajectory 设置 reward。所有 rollout 完成后,轨迹被分组发送给服务器,服务器暂停推理并使用 GRPO 从最新检查点训练模型;首次迭代则从空 LoRA 开始。训练完成后,服务器将 LoRA 写入本地目录、加载到 vLLM,并恢复下一轮推理。除强化学习外,提供的示例还涵盖数据集 SFT、先 SFT 后 RL、LangGraph 智能体、MCP 工具使用、邮件检索以及游戏任务。

  1. 已有 Python 智能体应用的团队,希望加入基于任务 reward 的 GRPO 训练,而不自行实现完整训练循环。
  2. 研究人员需要并行采集多步 rollout,并用完整对话轨迹训练 Qwen 等因果语言模型。
  3. 基础设施团队希望在本地 GPU 上控制训练服务器、检查点和 vLLM 推理。
  4. 不想维护 GPU 集群的团队,可使用 W&B Training 管理训练和推理基础设施,并让检查点通过 W&B Inference 使用。
  5. LangGraph 开发者希望使用强化学习改善多步推理和工具调用。
  6. 模型团队希望实验文本到 SQL 蒸馏、文档摘要的 SFT 加 RL,或从文件数据集微调 Qwen 模型。

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

安装 / 启动命令
  • pip install openpipe-art

如何安装或部署这个 Agent?

在能够运行 Python 的客户端机器上,将 ART 安装到现有项目:

pip install openpipe-art

来源没有注明最低 Python 版本、操作系统要求或完整的本地服务器安装命令。自托管训练服务器需要带 GPU 的机器;使用 W&B Training 时还需要有效的 W&B API 密钥和网络连接。

如何使用这个 Agent?

下面是来源给出的 W&B Training 注册示例。它配置 Qwen/Qwen3.6-27B,创建 ServerlessBackend,然后把后端注册到 art.TrainableModel:

from art.serverless.backend import ServerlessBackend

model = art.TrainableModel(
  project="voice-agent",
  name="agent-001",
  run_name="agent-001",
  base_model="Qwen/Qwen3.6-27B"
)

backend = ServerlessBackend(
    api_key="your_wandb_api_key"
)
model.register(backend)

将占位符替换为 W&B API 密钥。该片段假定 art 已在周边代码中导入;来源没有展示这一导入语句,也没有给出完整的首个 rollout、Trajectory reward 设置或训练启动代码。可运行的入门材料以 Colab notebooks 形式提供,包括 2048、ART·E、LangGraph、MCP·RL、井字棋、Codenames 和 SFT 示例。

这个 Agent 有哪些优点和局限?

优点
  • 客户端与服务器分离,可从普通 Python 客户端驱动远端 GPU 训练,也可在本地 GPU 上运行服务器。
  • 将轨迹记录、reward、GRPO、LoRA 检查点和 vLLM 推理组织为明确的迭代训练循环。
  • 可嵌入已有 Python 应用,并提供 OpenAI 兼容的客户端接口。
  • 同时提供托管的 W&B Training 路径和自托管路径;托管模式会自动管理训练与推理基础设施。
  • 示例覆盖邮件检索、LangGraph、MCP、游戏、文本到 SQL、摘要以及 SFT 与 RL 组合流程。
局限
  • 每轮训练期间推理会被阻塞,对持续在线服务可能造成可用性或吞吐影响。
  • 自托管服务器需要 GPU,并要求团队自行处理相应运行环境;来源没有提供完整的部署命令。
  • W&B Training 路径依赖 W&B API 密钥和托管服务,来源没有给出价格或权限配置细节。
  • Gemma 3 被明确标注为目前似乎不受支持;其他模型也只表述为应当兼容,而非逐一验证。
  • 模型可移植性受 vLLM、HuggingFace Transformers 或 Unsloth 兼容范围约束。

这个 Agent 与同类方案有什么区别?

与本地 GPU 部署相比,W&B Training 会自动管理训练和推理基础设施,并让每个检查点立即可供 W&B Inference 使用;本地部署则保留自有服务器边界,但需要 GPU 和运维投入。来源宣称托管方案借助共享生产级推理集群可降低 40% 成本、将训练加快 28%,并扩展到 2,000 个以上并发请求,但未提供定价表或独立验证。ART 还建立在 Unsloth、vLLM、TRL 和 torchtune 等项目的工作之上;来源没有提供与这些项目逐项对比的功能表。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
ART 智能体强化训练器 当前 53 · 缺口较多 代码库 / SDK免费版 + 付费版 ★ 11k 1 天前 Python —
AReaL 异步强化学习平台 56 · 缺口较多 命令行工具免费 ★ 5.9k 1 天前 Python —
Agent Lightning 61 · 存在缺口 命令行工具免费 + 模型费 ★ 19k 6 天前 Python OpenAI API
Relax 全模态强化学习引擎 59 · 缺口较多 命令行工具免费 ★ 676 1 天前 Python —

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
53/ 100 五分制 2.7 / 5
信任安全 12/29
可靠稳定 6/14
适用触发 12/18
规范维护 10/18
有效结果 9/13
证据核验 4/8
查看各维度的扣分理由
信任安全12 / 29 · 2.1/5

CLI 明确展示了训练循环、GPU 运行环境及运行时准备命令,错误信息也能指出部分缺失依赖;但监听服务默认绑定 0.0.0.0,且片段未展示认证配置,最小权限和外部效果控制因此较弱。训练会收集并发送轨迹,README 未说明轨迹的数据保留或脱敏,敏感数据处理仅部分覆盖。SKILL 指示在修复流程中提交并推送分支、创建 PR,缺少用户确认节点;迁移命令有 dry-run 和保留原 JSONL 选项,但该片段不足以证明普遍回滚能力。README 列出项目及其致谢依赖,来源可追溯;依赖版本混有范围和固定版本,且未见安全审计证据,因此依赖安全仅得部分分。

可靠稳定6 / 14 · 2.1/5

README 描述了客户端、独立服务器、轨迹收集和 GRPO 训练的整体流程,CLI 与依赖配置也支持该框架定位;但 README 的模型和性能表述存在版本/措辞不一致,例如 Qwen 3.8 与 Qwen3.6 描述,且多个示例链接标注即将补齐,自洽性只能部分成立。pyproject.toml 明确列出 Python 3.12、核心依赖及 CUDA/后端可选依赖,但大量依赖使用开放版本范围,尚不足以证明长期可用性。CLI 捕获异常并输出运行时检查或准备失败信息,错误提示对常见缺失 torch 情况较具体,故失败信息相对充分。

适用触发12 / 18 · 3.3/5

README 覆盖从本地 GPU 到托管训练、LangGraph、MCP、多步任务及 SFT 的多种场景,并给出任务示例,受众和用途说明较充分。文档声明兼容大多数 vLLM/HuggingFace 因果语言模型,同时指出 Gemma 3 暂不支持,能力边界有说明但不完整。两个训练技能说明了触发条件,且要求复用真实 rollout/tool 路径;不过 SFT 技能限制推荐模型,RL 技能流程要求大量逐项确认,触发后的适配范围有限。Python 3.12、CUDA 变体、GPU 后端与特定包管理器形成明确环境要求,但 README 的 pip 安装建议与开发文档 uv 工作流并存,环境选择说明不完整。

规范维护10 / 18 · 2.8/5

README 按概览、安装、训练循环、模型、贡献、引用和许可组织,另有 CLI 帮助及运行时命令说明,信息架构清楚但缺少更完整的操作细节。安装仅给出 pip 命令,未解释按后端选择 extras、CUDA 变体或 Python 要求。产品名与包名总体可辨认,但 README 中模型写法及示例称呼不完全稳定。Notebook 和训练技能提供实用示例,但若干基准链接尚待补齐。README 明确列出 Gemma 3 限制;Apache-2.0 LICENSE 文件与元数据一致,许可证据充分。pyproject.toml 有版本号,发布工作流生成草稿和 PR,但本片段未提供面向用户的变更日志。README 称项目积极开发并引导贡献,CLAUDE.md 给出维护流程,但没有清楚标明长期维护责任主体或支持承诺。

有效结果9 / 13 · 3.5/5

框架把轨迹、奖励、训练循环和推理服务整合进 Python 应用,CLI 还能安装训练技能及准备运行时,用户可据此开始使用;但主要流程仍依赖外部文档或 Notebook,产出易用性部分充分。多步智能体的 GRPO 训练、可插拔后端及 LangGraph/MCP 示例构成明确的增量价值。服务器/GPU 管理、外部托管服务和模型训练意味着明显的计算与服务成本;README 宣称成本和速度收益,却未在所给材料中呈现可核对的测量方法,成本收益只得部分分。

证据核验4 / 8 · 2.5/5

README 描述的核心训练循环能在 CLI、pyproject.toml 和服务端代码片段中找到部分对应,许可证和版本也有文件佐证;但 40% 成本降低、28% 加速及性能比较缺少本材料内可检查的测量依据,因此主张可追溯性有限。README 的训练流程与 CLI/服务实现、训练测试片段互相印证了一些框架功能;不过测试片段只有样例代码,不能据此声称运行通过,且外部文档/Notebook 未包含在材料中。事实(如依赖、命令、许可证)和宣传性效果主张并列出现,但缺少清楚的证据标注和方法说明,事实与推断区分较弱。

风险与缓解建议
  • 默认服务监听 0.0.0.0;部署前应核实网络可达范围与认证设置。
  • 训练轨迹会包含对话消息;材料未说明数据保留、脱敏或托管服务的数据处理方式,避免把敏感生产数据直接用于训练。
  • README 的成本和速度提升数字未附可在本材料中核对的方法;应先以自己的模型、GPU 和任务验证预算与收益。
证据充分度:低 评估于 2026年11月8日 审查版本 023fbb2007fe 评估后仓库已有新提交,评分可能未覆盖最新改动
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/art.svg?lang=zh)](https://followagents.com/zh/agents/art)
<a href="https://followagents.com/zh/agents/art"><img src="https://followagents.com/badge/art.svg?lang=zh" alt="FARS 评测"></a>

最近版本

来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。

  1. v0.5.24
    发布说明摘录
    Release Highlights - Weave 0.54.0 or later is now required. Weave 0.53.9 and earlier fail in weave.init() with AttributeError: 'OTLPSpanExporter' object has no attribute '_session' once opentelemetry-exporter-otlp-proto-http 1.45 is installed. Installing ART now upgrades an older Weave instead of keeping it. …
    在 GitHub 查看 ↗
  2. v0.5.23
    发布说明摘录
    Release Highlights - Model.delete_checkpoints works with polars 2.x. It averaged every history.jsonl column per step, and polars 2 raises on the string recorded_at column (InvalidOperationError: mean operation not supported for dtype str). It now averages only the checkpoint metric ([#1150](https://github.com/OpenPipe/ART/pull/1150)). What's Changed - fix: average only the metric in delete_checkpoints ([#1150](https://github.com/OpenPipe/ART/pull/1150)) Full Changelog: https://github.com/OpenPipe/ART/compare/v0.5.22...v0.5.23
    在 GitHub 查看 ↗
  3. v0.5.22
    发布说明摘录
    Release Highlights - Model metrics now log to the model's W&B entity. In 0.5.21, a model created with an explicit entity that differed from the API key's default entity logged model.log() metrics to a run under the default entity instead ([#1134](https://github.com/OpenPipe/ART/pull/1134)). What's Changed - feat: support opt-in multi-adapter MoE LoRA waves ([#1139](https://github.com/OpenPipe/ART/pull/1139)) - fix: bound context-parallel admission and memory accounting ([#1138](https://github.com/OpenPipe/ART/pull/1138)) …
    在 GitHub 查看 ↗

常见问题

必须使用 W&B 才能训练吗?
不必。ART 服务器可以在本地 GPU 上运行,也可以使用 W&B Training 的托管基础设施;后者需要 W&B API 密钥。
训练时仍能处理推理请求吗?
不能持续处理。所有 rollout 完成并提交轨迹后,推理会在 GRPO 训练期间被阻塞,加载新 LoRA 后才恢复。
可以训练哪些模型?
来源称 ART 应适用于大多数兼容 vLLM/HuggingFace Transformers 的因果语言模型,或至少适用于 Unsloth 支持的模型。示例涵盖多个 Qwen 版本;Gemma 3 目前似乎不受支持。
ART 会自动生成 reward 吗?
核心循环要求应用为每条 Trajectory 分配 reward。来源另有使用 RULER 自动生成奖励的示例,但没有表明所有工作流都会默认自动评分。
许可是否允许商业采用?
仓库源代码采用 Apache-2.0 许可证;具体采用仍应按该许可证文本核对合规义务。
ART 智能体强化训练器 官网是什么?
ART 智能体强化训练器 的 GitHub 仓库填写的官网是 https://art.openpipe.ai。这个链接由仓库作者设置;源码在 GitHub(OpenPipe/ART)。
ART 智能体强化训练器 免费吗?
ART 智能体强化训练器 有免费版,项目另外提供付费的云服务。
ART 智能体强化训练器 安全吗?
FollowAgents 的 FARS 评审(2026年11月8日)给 ART 智能体强化训练器 的“信任与安全”打了 12/29 分。评审检查的 8 项安全措施没有完全缺失的。评审之后仓库已有更新。
ART 智能体强化训练器 还在维护吗?
在维护。GitHub 上最近一次提交是 2026-11-10,在最近 30 天内。最新版本是 v0.5.24(2026-11-04)。
ART 智能体强化训练器 是谁开发的?
ART 智能体强化训练器 由 GitHub 账号 OpenPipe 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓