AgileRL 强化学习库

这个 Agent 能做什么，适合哪些场景？

AgileRL 是一个基于 PyTorch 的深度强化学习库，核心理念是将 MLOps 引入强化学习（RLOps）。它的标志性能力是进化式超参数优化（HPO）：训练一整个智能体种群，通过锦标赛选择和变异自动收敛到最优超参数，官方基准显示相比 Optuna 等传统多轮调参可节省约一个数量级的时间。库内涵盖在线策略（PPO）、离线策略（DQN/Rainbow DQN/DDPG/TD3）、离线训练（CQL/ILQL）、多智能体（MADDPG/MATD3/IPPO）、上下文多臂老虎机（NeuralUCB/NeuralTS）以及 LLM 强化微调（GRPO/CISPO/GSPO/DPO 等）算法，并支持分布式训练。使用方式包括 LocalTrainer 的 Python API、YAML 清单和 CLI，本地训练免费；另提供 Arena 云平台（agilerl-arena SDK/CLI）用于托管训练和部署。项目采用 Apache-2.0 许可证，提供文档站点、教程和 Discord 社区。

读取 Gymnasium/PettingZoo 环境与算法配置，构建可进化的智能体种群并通过 LocalTrainer 或 YAML 清单（如 configs/training/dqn/dqn.yaml）训练：单智能体模式用 trainer.train() 返回 population 与 fitnesses；启用 hpo=True 后每 evo_steps（默认 10,000）步执行锦标赛选择（TournamentSelection）与变异（Mutations），自动演化学习率、网络架构等超参数。高级用户可用 DQN.population()、ReplayBuffer、train_off_policy 等组件自定义流水线。LLM 微调路径支持 GRPO、CISPO 等算法的多轮训练；agilerl-arena 提供 ArenaClient（OAuth2 设备流登录）和 arena CLI 用于上传/校验自定义环境（arena env validate）、提交实验（arena experiments submit）和部署训练好的智能体。

1. RL 研究者希望在标准 Gymnasium 环境（如 LunarLander、CartPole）上训练 DQN/PPO/TD3 智能体，而不想先跑成百上千次调参实验。
2. 多智能体场景开发者需要在 PettingZoo 并行 API 环境（如 speaker listener、simple spread）中训练 MADDPG/MATD3/IPPO 智能体。
3. LLM 工程师需要对小型模型做多轮强化微调以解决长视野任务（如 GEM Sudoku Hard，32k 上下文、最多 50 轮 rollout），且希望比 ART/TRL 更省显存（A100 40GB 即可）。
4. 离线 RL 从业者需要在静态数据集上用 CQL 或 ILQL 训练策略，而非与环境交互。
5. 需要构建上下文多臂老虎机决策系统（如数据集分类任务上的 NeuralUCB/NeuralTS）的团队。
6. 希望免本地算力、在托管云基础设施上训练并部署智能体的用户，可通过 Arena 平台提交实验。

这个 Agent 有哪些优点和局限？

如何安装或部署这个 Agent？

基础安装：pip install agilerl
开发模式：git clone https://github.com/AgileRL/AgileRL.git && cd AgileRL && pip install -e .
可选依赖组：agilerl[box2d]（Gymnasium 的 Box2D 环境）、agilerl[arena]（Arena SDK 与 CLI）、agilerl[llm]（LLM 强化微调）、agilerl[all]（全部功能）。
从 main 分支开发版安装：pip install git+https://github.com/AgileRL/AgileRL.git@main
Arena 单独安装：pip install agilerl-arena

如何使用这个 Agent？

最简单入口（单智能体）：

from agilerl import LocalTrainer
trainer = LocalTrainer(algorithm="DQN", environment="LunarLander-v3")
population, fitnesses = trainer.train()

默认 1,000,000 步、默认超参数、无进化 HPO。
启用进化 HPO：

from agilerl.models import TrainingSpec
trainer = LocalTrainer(algorithm="DQN", environment="LunarLander-v3", training=TrainingSpec(pop_size=4), hpo=True)

也可用 YAML 清单：LocalTrainer.from_manifest("configs/training/dqn/dqn.yaml")，或 CLI：python -m agilerl.train configs/training/dqn/dqn.yaml。
Arena 云训练：arena login（OAuth2 设备流）→ arena env validate my-custom-env --source path/to/my_env.py → arena experiments submit path/to/manifest.yaml --project my-project。

这个 Agent 与同类方案有什么区别？

常见问题