RLinf 强化学习基础设施
面向具身机器人与智能体的大规模强化学习训练基础设施。
- 源仓库
- RLinf/RLinf
- Star 数
- ★ 5.6k
- 最近更新
- 今天
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 35/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 免费，无需付费服务
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 机器人研究团队希望在 ManiSkill 或 LIBERO 中对 OpenVLA、π₀/π₀.₅ 等 VLA 策略进行 SFT 后再做 PPO、SAC 或其他 RL 微调。
- 不适合
- 只想在笔记本上跑通、没有 GPU 集群的个人开发者
- 需要开箱即用对话界面而非配置脚本的用户
- 不愿安装模拟器、机器人或相机等外部依赖的团队
这个 Agent 能做什么，适合哪些场景？
RLinf 是用于具身 AI 和智能体 AI 的开源强化学习基础设施，覆盖监督微调、仿真强化学习与真实世界强化学习。它以 PPO、GRPO、SAC、IQL、DAPO 等训练流程为核心，并通过宏到微的流转换组织分布式执行，减少用户直接处理分布式编程的负担。项目提供 FSDP 配合 HuggingFace、SGLang 或 vLLM 的后端，也提供 Megatron 配合 SGLang 或 vLLM 的大规模训练组合。具身侧列出多种模拟器、VLA/VLM/世界模型与真实机器人配套；智能体侧提供 SearchR1、rStar2、Online Coder、数学推理 RL 与 WideSeek-R1 示例。它以 Docker 镜像和 PyPI 库形式交付，并以配置和脚本运行端到端训练配方，而不是一个聊天式 AI 助手。
RLinf 读取训练配置和脚本，调度策略训练、rollout 与推理后端，并执行 PPO、Async PPO、GRPO、SAC、IQL、CrossQ、RLPD、RECAP、STEAM、RLT、OPD 等算法流程。它可将模型训练接入 FSDP + HuggingFace/SGLang/vLLM，或 Megatron + SGLang/vLLM，并将训练扩展到多个 GPU 节点。具身工作流覆盖 SFT、仿真 RL、真实世界 RL 与数据采集，可配合 ManiSkill、LIBERO、RoboTwin、IsaacLab、BEHAVIOR、Genesis、Polaris 等环境，以及 π₀/π₀.₅、OpenVLA、GR00T、Qwen-VL、OpenSora、Wan 等模型。项目还提供 agent-reason、embodied、scheduler 和 unit test 的 CI 覆盖，并产出可用于评测、部署或继续微调的训练后策略；具体部署命令未在所给材料中列出。
- 机器人研究团队希望在 ManiSkill 或 LIBERO 中对 OpenVLA、π₀/π₀.₅ 等 VLA 策略进行 SFT 后再做 PPO、SAC 或其他 RL 微调。
- 需要在 Franka、XSquare Turtle2、DOS-W1 或 GimArm 等真实机器人上完成数据采集、SFT、RL 与部署链路的具身团队。
- 拥有多 GPU 节点的基础设施团队，希望在 FSDP 或 Megatron 训练后端与 SGLang/vLLM 推理后端之间选择实现路径。
- 研究人员需要复现或试验 IQL、GRPO、Async PPO、DAPO、SAC-Flow、DSRL、RECAP、STEAM 或 OPD 等已列出的训练方法。
- 构建搜索、代码或推理智能体的团队，需要运行 SearchR1、rStar2、AgentLightning Calc-X、Online Coder、数学推理 RL 或 WideSeek-R1 示例。
如何安装或部署这个 Agent？
所给材料确认 RLinf 可作为 PyPI 库通过 pip 安装，并推荐使用其 Docker 镜像，因为具身 RL 的环境与依赖复杂；但没有提供可复制的包名安装命令、镜像名称/标签、Python/CUDA 版本或认证要求。首次安装需按照文档中的“Installation Method 1: Docker image”或“Install as a Library”完成环境配置。
如何使用这个 Agent？
环境配置完成后，材料明确给出的首个工作流程是按 ManiSkill3 具身 RL 文档运行简单示例；随后可直接运行项目提供的配置和脚本以执行端到端 SOTA RL 训练配方。所给材料没有包含具体命令、配置文件路径、必需环境变量、数据集下载步骤或硬件最低要求，因此不能据此安全地给出可复制命令。
这个 Agent 有哪些优点和局限？
- 同时覆盖具身机器人和智能体强化学习，而非仅支持单一仿真或单一模型类型。
- 提供两套明确的后端组合：偏快速适配的 FSDP + HuggingFace/SGLang/vLLM，以及面向大规模训练的 Megatron + SGLang/vLLM。
- 已列出从 SFT、仿真 RL 到真实世界 RL 和部署的完整机器人训练链路，并支持多种模拟器、VLA、VLM、世界模型与硬件。
- 算法范围广，包含 PPO、GRPO、SAC、IQL、Async PPO、DAPO、RLPD、DSRL、RECAP、STEAM、RLT 和 OPD 等。
- 具身 RL 环境与依赖被明确描述为复杂，项目因此推荐 Docker；采用成本可能高于纯 Python 训练库。
- 所给材料未提供具体安装命令、Docker 镜像标签、硬件规格、CUDA/Python 兼容范围或凭证要求，部署前仍需查阅安装文档。
- 许多能力依赖特定模拟器、机器人、相机、夹爪或外部模型生态，迁移到未列出的平台需要额外集成工作。
- README 声明的吞吐与速度提升是在特定工作流或模拟器场景下给出的，材料未提供通用基准配置。
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| RLinf 强化学习基础设施 当前 | 35 · 缺口较多 | 代码库 / SDK免费 | ★ 5.6k | 今天 | Python | — |
| veRL Agent RL 训练框架 | 32 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2.4k | 5 个月前 | Python | — |
| Relax 全模态强化学习引擎 | 64 · 存在缺口 | 命令行工具免费 | ★ 670 | 今天 | Python | — |
| Mava | 41 · 缺口较多 | 命令行工具免费 | ★ 941 | 1 个月前 | Python | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：仓库未提供权限模型、用户确认机制、数据流透明性、敏感数据处理、依赖安全审计、外部影响控制、回滚机制或来源归属的说明。所有信任相关标准均未得到满足，因此得分为0。
证据显示：README和配置文件中存在一致的命名和结构，但未提供失败消息或错误处理文档。依赖可用性方面，pyproject.toml列出了依赖，但未提供版本锁定或镜像信息。因此，self_consistency得2分，dependency_availability和failure_messages得1分。
证据显示：README列出了多种场景和模型，但未明确说明能力边界。触发精度方面，配置文件提供了详细的参数，但未说明触发条件。环境适配方面，提供了多种安装选项，但未说明所有环境要求。因此，audience_and_scenarios和capability_boundaries得2分，trigger_precision得1分，environment_fit得2分。
证据显示：README提供了清晰的信息架构，但安装说明不完整。命名稳定性方面，版本号存在但未说明命名规则。示例和FAQ提供了多个示例，但缺少FAQ。已知限制未明确说明。许可证为Apache-2.0，完整。版本变更日志存在。维护责任未明确。因此，information_architecture、examples_and_faq、versioning_changelog得2分，install_notes、naming_stability、known_limitations、maintenance_responsibility得1分，license得3分。
证据显示：输出可用性方面，提供了配置示例，但未说明输出格式。边际价值方面，提供了多种功能，但未与其他框架比较。成本效益方面，未提供性能数据。因此，output_usability得1分，marginal_value得2分，cost_benefit得1分。
证据显示：README中的声明未提供具体证据，但引用了论文和文档。跨来源验证方面，有外部链接，但未提供独立验证。事实与推断分离方面，未明确区分。因此，claim_traceability、cross_source_corroboration、fact_inference_separation均得1分。
- 源码中未见：最小权限约束只授予完成任务所需的权限：用专用账号或只读令牌，并限定可访问的目录和仓库。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：数据流向说明运行时观察它连接了哪些外部服务（代理或防火墙日志）；弄清数据去向之前不要输入敏感数据。
- 源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
- 源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
- 源码中未见：外部影响披露先弄清它会写入、发送或修改哪些外部系统，用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 源码中未见：来源归属可核验从官方仓库或包源安装，核对发布者和仓库地址，避免同名仿冒包。
- 仓库未提供权限模型或用户确认机制，可能不适合处理敏感数据。
- 依赖未锁定版本，可能引入供应链风险。
- 未提供回滚机制，更新可能无法回退。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
v0.4 RLinf v0.4 Release
发布说明摘录
🚀 RLinf v0.4 is here. Reinforcement learning steps out of simulation and into agile control of the physical world. v0.3 connected the path from simulation to real robots. v0.4 is the step toward deploying embodied RL at real-world scale. The release rebuilds the stack around three pillars: a modular real-robot system, high-efficiency real-robot algorithms, and full-modality models on a heterogeneous compute base. …在 GitHub 查看 ↗ -
v0.3 RLinf v0.3 Release
发布说明摘录
🎉 Introducing RLinf v0.3. This release completes an end-to-end real-world training pipeline, adds new real-world RL components and algorithms, and brings more simulators and SOTA models to simulation RL. All supported examples have been strictly validated for correctness and reproducibility (see the test results at the end). Embodied 1. Models Continuing to expand the model ecosystem, 6 new embodied models are added, covering world models, VLA models, and system-level acceleration. …在 GitHub 查看 ↗ -
v0.2 RLinf v0.2 Release
发布说明摘录
🎉 Introducing RLinf v0.2, our second public release. RLinf v0.2 focuses on two major directions: Real-World RL and Multi-agent RL systems. To support these goals, RLinf now supports real-world platforms including XSquare Turtle2 Arms and the Franka Arm, while offering a richer set of embodied benchmarks, simulators, models, algorithms, together with native asynchronous training designed for high-throughput workloads. This release also strengthens real-world deployment, sim-to-real, and co-training workflows, alongside more robust data and replay infrastructure and improved …在 GitHub 查看 ↗