Mava
用 JAX 快速训练与评估分布式多智能体强化学习系统。
这个 Agent 能做什么，适合哪些场景？
Mava 是一个面向研究人员的 JAX 多智能体强化学习代码库，强调单文件实现和快速实验迭代。它提供 PPO、Q Learning、SAC、MAT、Sable 与 GPO 等系统实现，覆盖独立学习、集中训练分散执行和异质智能体学习范式。训练入口是仓库中的 Python 系统文件，配置由 Hydra 管理，可在 YAML 配置或命令行中覆盖。项目通过环境包装器支持多个 JAX 与非 JAX 环境套件：JAX 环境使用 Anakin 架构，非 JAX 环境可使用 Sebulba 架构。它原生记录遵循 Gorsane 等人建议标准的 JSON 实验数据，供后续使用 MARL-eval 聚合和绘图；它不是设计为可导入的模块化库。
研究者运行例如 python mava/systems/ppo/anakin/ff_ippo.py 的系统文件。该系统读取 mava/configs/ 中由 Hydra 管理的默认配置，并可接收 env=lbf 或 env=rware env/scenario=tiny-4ag 这类命令行覆盖项。它经由 mava/wrappers/ 的环境包装器连接环境，在 JAX 环境上采用 Anakin 的端到端 JIT 训练循环，或在非 JAX 环境上采用 Sebulba 架构。可执行实现包括 ff_ippo.py、ff_mappo.py、rec_qmix.py、ff_isac.py、mat.py 和 ff_sable.py 等；实验会写出标准化 JSON 日志，供 MARL-eval 后处理。
- MARL 研究者想从 `ff_ippo.py` 出发，直接修改单文件训练实现并在 JAX 加速器上验证新想法。
- 需要在 Level-based Foraging 中训练策略的研究人员，可运行 PPO 系统并用 `env=lbf` 选择环境。
- 研究 StarCraft Multi-Agent Challenge、Multi-Robot Warehouse 或 Multi-Particle Environments 的团队，需要使用仓库现有环境包装器开展可复现实验。
- 要比较离散动作 Q Learning 与连续动作 SAC、PPO 方法的实验人员，可选用对应的 Anakin 系统实现。
- 希望按统一 JSON 记录多种 MARL 运行结果、再用 MARL-eval 做聚合和绘图的研究团队。
这个 Agent 有哪些优点和局限？
- 以单文件 JAX 实现为核心，适合直接阅读、修改和快速验证 MARL 研究思路。
- 同时覆盖 Anakin 与 Sebulba 两种 Podracer 架构，分别面向 JAX 和非 JAX 环境。
- 算法覆盖 PPO、IQL、QMIX、SAC、MAT、Sable 和 GPO，并包含前馈与部分循环变体。
- 原生日志为标准化 JSON，可与 MARL-eval 的实验聚合和可视化流程衔接。
- 项目明确说明它不是模块化、可导入的库；采用它通常意味着从仓库系统文件出发改造。
- 核心实现依赖 JAX；选择 Anakin 或 Sebulba 还受环境是否以 JAX 编写的限制。
- README 仅列出 PPO 的 Sebulba 支持；路线图仍计划为更多算法增加 Sebulba 版本。
- 多 TPU/GPU 的易扩展支持仍在路线图中，未被描述为当前已完成能力。
如何安装或部署这个 Agent？
需要 Python 3.11 或 3.12、Git、网络连接和 JAX 依赖。克隆后使用 uv：git clone https://github.com/instadeepai/Mava.gitcd Mavauv syncsource .venv/bin/activate
GPU 可使用 uv sync --extra cuda12；TPU 可使用 uv sync --extra tpu。也可在虚拟环境中运行 pip install -e ".[cuda12]"；没有 GPU 或使用 Mac 时省略 [cuda12]。README 未要求 API 密钥或其他凭据。
如何使用这个 Agent？
首次运行可执行：python mava/systems/ppo/anakin/ff_ippo.py。使用 Level-based Foraging：python mava/systems/ppo/anakin/ff_ippo.py env=lbf。使用 Robot Warehouse 的 tiny-4ag 场景：python mava/systems/ppo/anakin/ff_ippo.py env=rware env/scenario=tiny-4ag。默认系统配置位于 mava/configs/；选择 Anakin 还是 Sebulba 应依据目标环境是否以 JAX 编写。
这个 Agent 与同类方案有什么区别？
Mava 的代码哲学源自 PureJaxRL，并受到 CleanRL 启发：三者都强调可理解、研究友好的实现；Mava 明确额外使用网络、日志等高复用小工具及 Hydra 配置。与 JaxMARL 相比，README 将 JaxMARL列为提供 JAX 加速 MARL 环境与基线的相关项目，而 Mava 侧重其自身的训练系统和环境包装器。