MARTI：多智能体强化学习训练与推理框架

这个 Agent 能做什么，适合哪些场景？

MARTI 是清华大学与上海人工智能实验室开源的 LLM 多智能体强化学习（MARL）训练与推理框架，已被 ICLR 2026 接收。框架遵循“集中式多智能体交互 + 分布式策略训练”原则，包含多智能体世界（Multi-Agent World）、集中式奖励（Centralized Rewarding）和单智能体训练器（Single Agent Trainer）三大模块，底层基于 OpenRLHF，并支持 vLLM v1 引擎与 Hybrid Engine。最新版本 MARTI-v2 引入树搜索增强强化学习（MARS²），面向代码生成等复杂推理任务，提供异步多智能体 MCTS 训练，并集成 GSPO 损失、TIS 修正、动态数据过滤和超长序列缓冲等训练技术，支持最高 32K token 序列与异构多智能体（如 Qwen3-8B + AreaL-boba-2-8B）联合训练。框架内置辩论、智能体链、混合智能体等图式工作流，实验性支持 AutoGen 与 CAMEL 第三方框架。在 LCB 代码生成基准上，多智能体 MCTS 使 Qwen3-8B 相对基础模型提升 8.0%、相对 Vanilla GRPO 提升 4.4%。注意这是一套研究性训练框架，而非开箱即用的推理服务。

MARTI 读取配置与训练脚本（examples/ 目录下的 bash 脚本），通过 OpenRLHF 基础设施与 vLLM 引擎执行多智能体强化学习训练。集中式的 Multi-Agent World 模块负责智能体间交互与奖励分配，Centralized Rewarding 模块实现信用分配与奖励塑形，Single Agent Trainer 对每个智能体的策略进行分布式训练。支持 PPO、GRPO、REINFORCE++、TTRL 等 RL 算法，以及辩论、Chain-of-Agents、Mixture-of-Agents、Review-RL 等工作流。MARTI-v2 的 MARS² 模块执行异步多智能体 MCTS 树搜索，通过自适应节点扩展与精炼探索解空间，产出高质量推理轨迹用于策略更新，支持 GSPO 序列级优化、TIS 采样修正、按智能体的动态样本过滤和超长 token 惩罚缓冲。训练产物是经过多智能体 RL 优化的模型权重（如 Qwen3-8B/14B、DeepCoder-14B 等）。

1. 研究人员想在多智能体辩论或混合智能体设置下，用 GRPO/PPO 对 LLM 做可复现的强化学习训练实验
2. 算法工程师需要训练代码生成模型，希望用 MCTS 树搜索代替朴素 rollout 来提升 LCB 类基准的 Pass@1
3. 团队要联合训练多个异构模型（如 Qwen3-8B + AreaL-boba-2-8B），各智能体拥有独立角色、训练策略和样本过滤
4. 已有 AutoGen 或 CAMEL 工作流的用户，想把现有编排接入 RL 训练管线（实验性支持）
5. 需要异步工具调用（Async Tool Use）和多轮智能体 RL（如代码/数学多轮 RL）的研究场景

如何安装或部署这个 Agent？

安装步骤（来自仓库）：

1. 克隆仓库并安装依赖：

git clone https://github.com/TsinghuaC3I/MARTI.git
cd MARTI
pip install -r requirements.txt

1. 按仓库说明配置依赖，包括 OpenRLHF、Ray 和 vLLM。

硬件门槛：单智能体训练约需 8×80G GPU；多智能体训练每个智能体约需 8×80G GPU。仓库未提供 Docker 镜像或托管服务，需自行准备 GPU 集群环境。

如何使用这个 Agent？

在脚本中设置路径后运行对应示例脚本：

ROOT_DIR="/path/to/MARTI"
MODEL_DIR="/path/to/models"

# 单智能体 MCTS 训练（MARS²）

bash examples/mars2/run_train_single_mcts.sh

# 多智能体 MCTS 训练

bash examples/mars2/run_train_multi_mcts.sh

# 异步多轮代码 RL（单智能体）

bash examples/single-agent/run_train_code_async.sh

# 多智能体辩论

bash examples/multi-agent/run_train_mad.sh
# Chain-of-Agents (MathChat)
bash examples/multi-agent/run_train_mathchat.sh
# Review-RL
bash examples/reviewrl/run_train_reviewrl_async.sh

文档位于 docs/ 目录（Overview、Workflows Integration、Reward and Training、Experiments）。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

[![FARS 评测](https://followagents.com/badge/marti.svg?lang=zh)](https://followagents.com/zh/agents/marti)

<a href="https://followagents.com/zh/agents/marti"><img src="https://followagents.com/badge/marti.svg?lang=zh" alt="FARS 评测"></a>

常见问题