rLLM：大语言模型智能体强化学习框架

这个 Agent 能做什么，适合哪些场景？

rLLM 是一个开源框架，用于训练语言智能体（Agent）的强化学习。它提供统一的 API，让你可以在任意 harness（如 Claude Code、Codex 等）上运行，在 Docker、Daytona、Modal 等沙箱中执行，并支持 verl、tinker、fireworks 等多种训练后端，只需一个标志即可切换。框架内置了 60 多个基准测试（如 Terminal-Bench 2.0、SWE-bench、AIME 等），支持 GRPO、REINFORCE、RLOO 等多种训练方法，并通过模型网关捕获 token ID 和 logprobs，实现评估和训练使用同一份智能体代码。rLLM 已用于训练 DeepScaleR-1.5B、DeepCoder-14B 等开源模型，并被多个学术和工业团队采用。

rLLM 的运行流程是：运行你的智能体 → 收集轨迹（traces）→ 计算奖励 → 更新模型。它通过 @rllm.rollout 装饰器接入你的智能体代码（可以是 OpenAI API、LangGraph 等），通过 @rllm.evaluator 定义奖励函数。在训练时，模型网关（Model Gateway）会透明地捕获 LLM 调用的 token ID 和 logprobs，将数据组织成 Episode（一个任务）、Trajectory（一次智能体运行）和 Step（一次 LLM 调用）。训练后端可以是 verl（分布式多 GPU）、tinker（单机）或 fireworks（Fireworks 平台）。CLI 提供了 rllm eval <benchmark> 和 rllm train <benchmark> 命令，支持快速评估和训练。

1. 研究者希望在大规模 GPU 集群上训练自己的大语言模型，使用 GRPO 等方法进行强化学习。
2. 团队想要在多个基准测试（如 SWE-bench、MATH-500）上评估智能体，而无需为每个基准编写单独的代码。
3. 开发者有自己的智能体程序（如基于 OpenAI API 或 LangGraph），想快速接入强化学习训练而无需修改代码。
4. 需要灵活切换训练后端（如从单机 tinker 到分布式 verl）以适应不同资源条件的团队。
5. 希望在隔离的沙箱环境（如 Docker、Modal）中运行智能体，以保证安全性和可重复性。

如何安装或部署这个 Agent？

安装 rLLM 需要 Python >= 3.11。推荐使用 uv 包管理器：

# 安装核心 CLI（tinker 后端）
uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"

# 如需分布式多 GPU 训练（verl + vLLM/SGLang）
uv pip install "rllm[verl] @ git+https://github.com/rllm-org/rllm.git"

# 如需 Fireworks 训练平台
uv pip install "rllm[fireworks] @ git+https://github.com/rllm-org/rllm.git"

也可以从源码构建或使用 Docker，详见官方文档：https://docs.rllm-project.com/installation

如何使用这个 Agent？

安装完成后，可以通过 CLI 或 Python API 使用。

CLI 快速上手：

# 配置模型提供商
rllm model setup

# 在基准上评估（例如 gsm8k）
rllm eval gsm8k

# 在基准上训练
rllm train gsm8k

Python API 示例：

1. 定义 rollout（智能体）和 evaluator（奖励函数）
2. 创建 AgentTrainer 并调用 train 方法

更多示例见 cookbooks 目录。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. v0.3.0-pre rLLM: v0.3.0-pre 2026-04-30
   发布说明摘录

   What's Changed * [feature] add support for on policy distillation by @kylemontgomery1 in https://github.com/rllm-org/rllm/pull/356 * [Bugfix] Make sure the tracking logger is now explicitly finished by trainers by @listar2000 in https://github.com/rllm-org/rllm/pull/358 * Add Geo3K Tinker training example with VLM support by @BrianChen26 in https://github.com/rllm-org/rllm/pull/357 * Support custom metric for SDK by @thwu1 in https://github.com/rllm-org/rllm/pull/362 * fix: typo in bibtex by @tongyx361 in https://github.com/rllm-org/rllm/pull/363 …

   在 GitHub 查看 ↗
2. v0.2.1.post1 rLLM: v0.2.1.post1 2025-12-18
   发布说明摘录

   What's Changed * update docs & add curves by @thwu1 in https://github.com/rllm-org/rllm/pull/343 * Fix import for colorful_print in agent_sdk_engine.py and agent_sdk_trainer.py by @wht0703 in https://github.com/rllm-org/rllm/pull/345 * Unblock sdk installation by overriding dependices by @wht0703 in https://github.com/rllm-org/rllm/pull/348 * [Doc] Update README and fix a few installation related issues by @listar2000 in https://github.com/rllm-org/rllm/pull/347 * fix: keyerror completion_ids by @kxfan2002 in https://github.com/rllm-org/rllm/pull/353 …

   在 GitHub 查看 ↗
3. v0.2.1 rLLM: v0.2.1 2025-12-11
   发布说明摘录

   rLLM v0.2.1: Tinker backend, VLM training, Eval Protocol, and SDK (preview) We are excited to release rLLM v0.2.1. This new version comes with the following exciting features: - rLLM SDK (preview): The rLLM SDK enables you to transform agents written in frameworks such as LangGraph, SmolAgent, or Strands into trainable workflows. Check out this [LangGraph RAG example](https://rllm-project.readthedocs.io/en/latest/examples/sdk_langgraph_rag/), which builds a RAG agent and trains it with the rLLM SDK. …

   在 GitHub 查看 ↗

常见问题