开发与工程 multi-agent-simulationtask-solvingopenai-apivllmfastchathumaneval

AgentVerse

用于构建任务协作与多智能体仿真的 LLM 框架。

FollowAgents 评估 · FARS-2.1
不推荐
28/ 100 五分制 1.4 / 5
1 2 3 4 5 6
按维度查看评分与理由
1信任安全0 / 29 · 0.0/5

证据显示:仓库未提供权限管理、用户确认、数据流透明、敏感数据处理、依赖安全、外部影响、回滚或来源归属的明确机制。README仅要求用户导出API密钥,未说明数据如何被使用或存储。依赖固定版本但未提供安全审计。因此所有信任标准得分为0。

2可靠稳定3 / 14 · 1.1/5

证据显示:README和配置示例在任务解决和模拟框架上保持一致,但未提供错误处理或失败消息的文档。依赖项在requirements.txt中列出,但未验证可用性。因此自一致性得1,依赖可用性得1,失败消息得0。

3适用触发8 / 18 · 2.2/5

证据显示:README描述了多种应用场景(如软件开发和模拟),并提供了自定义环境的指南。但能力边界未明确,触发精度(如命令和配置)部分说明,环境适配(如本地模型和vLLM)有提及但不够详细。因此受众和场景得2,能力边界得1,触发精度得1,环境适配得1。

4规范维护9 / 18 · 2.5/5

证据显示:README结构清晰,包含安装说明、示例和配置指南。但缺少版本变更日志和明确的维护责任。许可证为Apache-2.0,但未提供已知限制的详细说明。因此信息架构得2,安装说明得2,命名稳定性得1,示例和FAQ得2,已知限制得1,许可证得2,版本和变更日志得1,维护责任得1。

5有效结果6 / 13 · 2.3/5

证据显示:框架提供多种输出格式(如CLI和GUI),但未说明输出如何被消费或验证。边际价值高,因为提供了多智能体协作和模拟的独特功能。成本效益未详细说明,但依赖外部API和本地模型。因此输出可用性得1,边际价值得2,成本效益得1。

6证据核验2 / 8 · 1.3/5

证据显示:README中的声明(如论文和演示)可追溯到外部来源,但未提供内部验证。跨来源佐证有限,因为只有README和配置文件。事实和推断未明确分离。因此声明可追溯性得1,跨来源佐证得1,事实推断分离得0。

证据充分度: 评估于 2026年8月9日 审查版本 f90c4bd9680f
源码中未见的安全控制:最小权限约束、执行前用户确认、数据流向说明、敏感信息处理、依赖安全审查、外部影响披露、回滚或恢复路径、来源归属可核验
使用前请注意
  • 未提供权限管理或用户确认机制,可能默认执行高权限操作。
  • 依赖项固定版本但未提供安全审计,存在已知漏洞风险。
  • README中关于数据流和敏感数据处理的说明不足。
  • 缺少版本变更日志和维护责任说明,更新路径不清晰。
评估证据 [1][2][3][4]
查看完整评分方法 →

这个 Agent 能做什么,适合哪些场景?

AgentVerse 是一个用于部署多个 LLM 智能体的 Python 框架,提供 task-solving 与 simulation 两套框架。任务求解模式可让多个智能体协作执行基准任务或单个问题,包括 HumanEval 与 brainstorming 配置。仿真模式通过任务配置启动多智能体环境,并提供命令行和本地 GUI 入口;README 以九人 NLP 课堂为示例。项目可通过 OpenAI API、Azure OpenAI、vLLM 或 FastChat 本地模型路径运行,具体取决于环境变量、依赖和任务配置。带工具的任务需要额外部署 BMTools 或 XAgent 的 ToolServer,因此这不是一个无需外部服务即可完整运行的封闭式产品。

安装后可运行 agentverse-simulation、agentverse-simulation-gui、agentverse-benchmark 和 agentverse-tasksolving。仿真命令读取如 simulation/nlp_classroom_9players 的任务配置,启动多智能体环境;GUI 服务启动后可在 http://127.0.0.1:7860/ 查看课堂环境。任务求解命令可读取任务配置与数据集路径,例如使用 tasksolving/humaneval/gpt-3.5 和 data/humaneval/test.jsonl 运行 HumanEval。模型调用可使用 OPENAI_API_KEY,或以 AZURE_OPENAI_API_KEY、AZURE_OPENAI_API_BASE 连接 Azure OpenAI;vLLM 路径使用 VLLM_API_KEY、VLLM_API_BASE,FastChat 本地模型通过 llm_type: local 配置。

  1. 研究人员希望在可配置环境中观察教授与学生等多个 LLM 角色的交互时,可运行 NLP Classroom 仿真。
  2. 开发者希望让多个角色围绕代码生成问题协作,并采用代码编写者、测试者和审查者分工时,可采用项目展示的 Software Design 场景。
  3. 评测工程师需要以 gpt-3.5 配置在 HumanEval 数据集上运行多智能体任务求解实验时,可使用 agentverse-benchmark。
  4. 团队需要通过本地 vLLM 服务承载较大推理负载,并把任务配置中的 model 对齐服务模型名时,可使用 vLLM 支持路径。
  5. 拥有 FastChat 兼容本地 LLaMA 或 Vicuna 模型的用户,需要以 local LLM 配置运行任务时,可按本地模型服务器流程接入。

这个 Agent 有哪些优点和局限?

优点
  • 同时覆盖任务协作与多智能体仿真,两类工作流都有明确的 CLI 入口。
  • 提供可直接启动的课堂仿真 GUI,并给出本地访问地址。
  • 除 OpenAI API 外,README 还记录了 Azure OpenAI、vLLM 与 FastChat 本地模型接入路径。
  • 包含 HumanEval 基准运行示例,以及面向单个问题的 task-solving 命令。
局限
  • 默认示例需要 OpenAI API 密钥;Azure、vLLM 与本地模型均需额外环境变量或配置调整。
  • 带工具的仿真需要额外安装 BMTools,带工具的任务求解还依赖 XAgent ToolServer。
  • README 明确表示 simulation 代码正在重构;若只需要稳定仿真版本,建议使用 release-0.1 分支。
  • 文档的“Coming Soon”仍将补充文档和更复杂的对话历史记忆列为未完成事项。

如何安装或部署这个 Agent?

需要 Python 3.9+。

git clone https://github.com/OpenBMB/AgentVerse.git --depth 1
cd AgentVerse
pip install -e .
export OPENAI_API_KEY="your_api_key_here"

也可执行 pip install -U agentverse。使用本地模型还需执行 pip install -r requirements_local.txt

如何使用这个 Agent?

先配置 OPENAI_API_KEY,然后运行一个仿真示例:

agentverse-simulation --task simulation/nlp_classroom_9players

如需本地界面:

agentverse-simulation-gui --task simulation/nlp_classroom_9players

启动成功后访问 http://127.0.0.1:7860/。运行 HumanEval 的示例命令为:

agentverse-benchmark --task tasksolving/humaneval/gpt-3.5 --dataset_path data/humaneval/test.jsonl --overwrite

常见问题

是否必须使用 OpenAI?
不是。README 记录了 Azure OpenAI、vLLM 和 FastChat 本地模型路径;但切换路径需要相应环境变量、依赖和任务配置。
如何运行第一个可工作的示例?
安装后设置 OPENAI_API_KEY,并执行 agentverse-simulation --task simulation/nlp_classroom_9players
能否在浏览器中查看仿真?
可以。运行 agentverse-simulation-gui --task simulation/nlp_classroom_9players 后,可访问本地地址 http://127.0.0.1:7860/。
工具调用是否开箱即用?
不是。带工具仿真需要 BMTools;论文中的带工具任务还要求先构建并启动 XAgent ToolServer。
项目是否说明了运行费用?
未提供定价或费用说明;README 仅说明需要配置相应服务的 API 密钥。

对比同类 Agent

用同一套 FARS 评审,横向比较这个 Agent 所属的短名单。

相关 Agents