RLinf 强化学习基础设施
面向具身机器人与智能体的大规模强化学习训练基础设施。
按维度查看评分与理由
证据显示：仓库未提供权限模型、用户确认机制、数据流透明性、敏感数据处理、依赖安全审计、外部影响控制、回滚机制或来源归属的说明。所有信任相关标准均未得到满足，因此得分为0。
证据显示：README和配置文件中存在一致的命名和结构，但未提供失败消息或错误处理文档。依赖可用性方面，pyproject.toml列出了依赖，但未提供版本锁定或镜像信息。因此，self_consistency得2分，dependency_availability和failure_messages得1分。
证据显示：README列出了多种场景和模型，但未明确说明能力边界。触发精度方面，配置文件提供了详细的参数，但未说明触发条件。环境适配方面，提供了多种安装选项，但未说明所有环境要求。因此，audience_and_scenarios和capability_boundaries得2分，trigger_precision得1分，environment_fit得2分。
证据显示：README提供了清晰的信息架构，但安装说明不完整。命名稳定性方面，版本号存在但未说明命名规则。示例和FAQ提供了多个示例，但缺少FAQ。已知限制未明确说明。许可证为Apache-2.0，完整。版本变更日志存在。维护责任未明确。因此，information_architecture、examples_and_faq、versioning_changelog得2分，install_notes、naming_stability、known_limitations、maintenance_responsibility得1分，license得3分。
证据显示：输出可用性方面，提供了配置示例，但未说明输出格式。边际价值方面，提供了多种功能，但未与其他框架比较。成本效益方面，未提供性能数据。因此，output_usability得1分，marginal_value得2分，cost_benefit得1分。
证据显示：README中的声明未提供具体证据，但引用了论文和文档。跨来源验证方面，有外部链接，但未提供独立验证。事实与推断分离方面，未明确区分。因此，claim_traceability、cross_source_corroboration、fact_inference_separation均得1分。
- 仓库未提供权限模型或用户确认机制，可能不适合处理敏感数据。
- 依赖未锁定版本，可能引入供应链风险。
- 未提供回滚机制，更新可能无法回退。
这个 Agent 能做什么，适合哪些场景？
RLinf 是用于具身 AI 和智能体 AI 的开源强化学习基础设施，覆盖监督微调、仿真强化学习与真实世界强化学习。它以 PPO、GRPO、SAC、IQL、DAPO 等训练流程为核心，并通过宏到微的流转换组织分布式执行，减少用户直接处理分布式编程的负担。项目提供 FSDP 配合 HuggingFace、SGLang 或 vLLM 的后端，也提供 Megatron 配合 SGLang 或 vLLM 的大规模训练组合。具身侧列出多种模拟器、VLA/VLM/世界模型与真实机器人配套；智能体侧提供 SearchR1、rStar2、Online Coder、数学推理 RL 与 WideSeek-R1 示例。它以 Docker 镜像和 PyPI 库形式交付，并以配置和脚本运行端到端训练配方，而不是一个聊天式 AI 助手。
RLinf 读取训练配置和脚本，调度策略训练、rollout 与推理后端，并执行 PPO、Async PPO、GRPO、SAC、IQL、CrossQ、RLPD、RECAP、STEAM、RLT、OPD 等算法流程。它可将模型训练接入 FSDP + HuggingFace/SGLang/vLLM，或 Megatron + SGLang/vLLM，并将训练扩展到多个 GPU 节点。具身工作流覆盖 SFT、仿真 RL、真实世界 RL 与数据采集，可配合 ManiSkill、LIBERO、RoboTwin、IsaacLab、BEHAVIOR、Genesis、Polaris 等环境，以及 π₀/π₀.₅、OpenVLA、GR00T、Qwen-VL、OpenSora、Wan 等模型。项目还提供 agent-reason、embodied、scheduler 和 unit test 的 CI 覆盖，并产出可用于评测、部署或继续微调的训练后策略；具体部署命令未在所给材料中列出。
- 机器人研究团队希望在 ManiSkill 或 LIBERO 中对 OpenVLA、π₀/π₀.₅ 等 VLA 策略进行 SFT 后再做 PPO、SAC 或其他 RL 微调。
- 需要在 Franka、XSquare Turtle2、DOS-W1 或 GimArm 等真实机器人上完成数据采集、SFT、RL 与部署链路的具身团队。
- 拥有多 GPU 节点的基础设施团队，希望在 FSDP 或 Megatron 训练后端与 SGLang/vLLM 推理后端之间选择实现路径。
- 研究人员需要复现或试验 IQL、GRPO、Async PPO、DAPO、SAC-Flow、DSRL、RECAP、STEAM 或 OPD 等已列出的训练方法。
- 构建搜索、代码或推理智能体的团队，需要运行 SearchR1、rStar2、AgentLightning Calc-X、Online Coder、数学推理 RL 或 WideSeek-R1 示例。
这个 Agent 有哪些优点和局限？
- 同时覆盖具身机器人和智能体强化学习，而非仅支持单一仿真或单一模型类型。
- 提供两套明确的后端组合：偏快速适配的 FSDP + HuggingFace/SGLang/vLLM，以及面向大规模训练的 Megatron + SGLang/vLLM。
- 已列出从 SFT、仿真 RL 到真实世界 RL 和部署的完整机器人训练链路，并支持多种模拟器、VLA、VLM、世界模型与硬件。
- 算法范围广，包含 PPO、GRPO、SAC、IQL、Async PPO、DAPO、RLPD、DSRL、RECAP、STEAM、RLT 和 OPD 等。
- 具身 RL 环境与依赖被明确描述为复杂，项目因此推荐 Docker；采用成本可能高于纯 Python 训练库。
- 所给材料未提供具体安装命令、Docker 镜像标签、硬件规格、CUDA/Python 兼容范围或凭证要求，部署前仍需查阅安装文档。
- 许多能力依赖特定模拟器、机器人、相机、夹爪或外部模型生态，迁移到未列出的平台需要额外集成工作。
- README 声明的吞吐与速度提升是在特定工作流或模拟器场景下给出的，材料未提供通用基准配置。
如何安装或部署这个 Agent？
所给材料确认 RLinf 可作为 PyPI 库通过 pip 安装，并推荐使用其 Docker 镜像，因为具身 RL 的环境与依赖复杂；但没有提供可复制的包名安装命令、镜像名称/标签、Python/CUDA 版本或认证要求。首次安装需按照文档中的“Installation Method 1: Docker image”或“Install as a Library”完成环境配置。
如何使用这个 Agent？
环境配置完成后，材料明确给出的首个工作流程是按 ManiSkill3 具身 RL 文档运行简单示例；随后可直接运行项目提供的配置和脚本以执行端到端 SOTA RL 训练配方。所给材料没有包含具体命令、配置文件路径、必需环境变量、数据集下载步骤或硬件最低要求，因此不能据此安全地给出可复制命令。