MADDPG PyTorch 实现

这个 Agent 能做什么，适合哪些场景？

该仓库是论文《Multi Agent Actor Critic for Mixed Cooperative-Competitive Environments》中 MADDPG 算法的一个 PyTorch 实现。它本身不是一个独立可运行的软件包，而是一份需要与 OpenAI 的 Multi Agent Particle Environment（MAPE）配合使用的训练代码：主文件依赖 MAPE 包中的 make_env 函数构建环境，因此建议把仓库克隆到 MAPE 所在目录下。README 明确要求为 MAPE 建立虚拟环境，因为其依赖较为陈旧，并推荐使用 PyTorch 1.4.0，因为较新的 1.8 版本在其计算 critic 损失时使用的就地操作上疑似存在问题。仓库还附带一个配套视频教程链接。适合希望阅读或改造 MADDPG 实现用于学习与研究的人，而非需要直接部署的产品。

实现 MADDPG 的集中式训练、分散式执行框架：每个智能体拥有 actor 与 critic 网络，critic 在训练时接收所有智能体的观测与动作信息来计算损失。代码通过从 MAPE 导入的 make_env 函数实例化多智能体粒子环境并与之交互，采集经验、计算 critic 损失并更新策略网络。训练产物是训练好的策略网络及其在多智能体协作/竞争场景下的表现，用户需自行编写或修改主训练文件来驱动这一流程。仓库不提供打包安装、命令行接口或托管服务。

1. 强化学习研究者希望对照论文复现 MADDPG 基线，用于实验对比。
2. 学生通过配套视频教程学习多智能体 actor-critic 算法的 PyTorch 写法。
3. 需要在 MAPE 粒子环境上快速搭建协作或竞争多智能体实验的开发者。
4. 想改造 critic 输入结构以试验新变体的研究者。
5. 在课程或教学材料中需要一个可读的 MADDPG 代码示例的教师。

如何安装或部署这个 Agent？

README 未提供 pip 安装或打包方式，只描述了手工准备环境的步骤：先安装 MAPE 并为其创建带旧依赖的虚拟环境，再把本仓库克隆到与 MAPE 相同的目录下（因为主文件需要从 MAPE 导入 make_env）。

git clone https://github.com/openai/multiagent-particle-envs
python -m venv mape-env
source mape-env/bin/activate
# 安装 MAPE 的依赖（依赖较旧，需按 MAPE 仓库说明处理）
pip install torch==1.4.0

如何使用这个 Agent？

将本仓库克隆到 MAPE 所在目录后，激活为 MAPE 准备的虚拟环境并运行主训练脚本，脚本会通过 make_env 构建粒子环境并开始 MADDPG 训练。

git clone https://github.com/philtabor/Multi-Agent-Deep-Deterministic-Policy-Gradients
source mape-env/bin/activate
python <主训练文件>.py

具体主文件名与可调参数在 README 中未给出，需查看仓库源码确认。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题