AgentVerse
用于构建任务协作与多智能体仿真的 LLM 框架。
按维度查看评分与理由
证据显示:仓库未提供权限管理、用户确认、数据流透明、敏感数据处理、依赖安全、外部影响、回滚或来源归属的明确机制。README仅要求用户导出API密钥,未说明数据如何被使用或存储。依赖固定版本但未提供安全审计。因此所有信任标准得分为0。
证据显示:README和配置示例在任务解决和模拟框架上保持一致,但未提供错误处理或失败消息的文档。依赖项在requirements.txt中列出,但未验证可用性。因此自一致性得1,依赖可用性得1,失败消息得0。
证据显示:README描述了多种应用场景(如软件开发和模拟),并提供了自定义环境的指南。但能力边界未明确,触发精度(如命令和配置)部分说明,环境适配(如本地模型和vLLM)有提及但不够详细。因此受众和场景得2,能力边界得1,触发精度得1,环境适配得1。
证据显示:README结构清晰,包含安装说明、示例和配置指南。但缺少版本变更日志和明确的维护责任。许可证为Apache-2.0,但未提供已知限制的详细说明。因此信息架构得2,安装说明得2,命名稳定性得1,示例和FAQ得2,已知限制得1,许可证得2,版本和变更日志得1,维护责任得1。
证据显示:框架提供多种输出格式(如CLI和GUI),但未说明输出如何被消费或验证。边际价值高,因为提供了多智能体协作和模拟的独特功能。成本效益未详细说明,但依赖外部API和本地模型。因此输出可用性得1,边际价值得2,成本效益得1。
证据显示:README中的声明(如论文和演示)可追溯到外部来源,但未提供内部验证。跨来源佐证有限,因为只有README和配置文件。事实和推断未明确分离。因此声明可追溯性得1,跨来源佐证得1,事实推断分离得0。
- 未提供权限管理或用户确认机制,可能默认执行高权限操作。
- 依赖项固定版本但未提供安全审计,存在已知漏洞风险。
- README中关于数据流和敏感数据处理的说明不足。
- 缺少版本变更日志和维护责任说明,更新路径不清晰。
这个 Agent 能做什么,适合哪些场景?
AgentVerse 是一个用于部署多个 LLM 智能体的 Python 框架,提供 task-solving 与 simulation 两套框架。任务求解模式可让多个智能体协作执行基准任务或单个问题,包括 HumanEval 与 brainstorming 配置。仿真模式通过任务配置启动多智能体环境,并提供命令行和本地 GUI 入口;README 以九人 NLP 课堂为示例。项目可通过 OpenAI API、Azure OpenAI、vLLM 或 FastChat 本地模型路径运行,具体取决于环境变量、依赖和任务配置。带工具的任务需要额外部署 BMTools 或 XAgent 的 ToolServer,因此这不是一个无需外部服务即可完整运行的封闭式产品。
安装后可运行 agentverse-simulation、agentverse-simulation-gui、agentverse-benchmark 和 agentverse-tasksolving。仿真命令读取如 simulation/nlp_classroom_9players 的任务配置,启动多智能体环境;GUI 服务启动后可在 http://127.0.0.1:7860/ 查看课堂环境。任务求解命令可读取任务配置与数据集路径,例如使用 tasksolving/humaneval/gpt-3.5 和 data/humaneval/test.jsonl 运行 HumanEval。模型调用可使用 OPENAI_API_KEY,或以 AZURE_OPENAI_API_KEY、AZURE_OPENAI_API_BASE 连接 Azure OpenAI;vLLM 路径使用 VLLM_API_KEY、VLLM_API_BASE,FastChat 本地模型通过 llm_type: local 配置。
- 研究人员希望在可配置环境中观察教授与学生等多个 LLM 角色的交互时,可运行 NLP Classroom 仿真。
- 开发者希望让多个角色围绕代码生成问题协作,并采用代码编写者、测试者和审查者分工时,可采用项目展示的 Software Design 场景。
- 评测工程师需要以 gpt-3.5 配置在 HumanEval 数据集上运行多智能体任务求解实验时,可使用 agentverse-benchmark。
- 团队需要通过本地 vLLM 服务承载较大推理负载,并把任务配置中的 model 对齐服务模型名时,可使用 vLLM 支持路径。
- 拥有 FastChat 兼容本地 LLaMA 或 Vicuna 模型的用户,需要以 local LLM 配置运行任务时,可按本地模型服务器流程接入。
这个 Agent 有哪些优点和局限?
- 同时覆盖任务协作与多智能体仿真,两类工作流都有明确的 CLI 入口。
- 提供可直接启动的课堂仿真 GUI,并给出本地访问地址。
- 除 OpenAI API 外,README 还记录了 Azure OpenAI、vLLM 与 FastChat 本地模型接入路径。
- 包含 HumanEval 基准运行示例,以及面向单个问题的 task-solving 命令。
- 默认示例需要 OpenAI API 密钥;Azure、vLLM 与本地模型均需额外环境变量或配置调整。
- 带工具的仿真需要额外安装 BMTools,带工具的任务求解还依赖 XAgent ToolServer。
- README 明确表示 simulation 代码正在重构;若只需要稳定仿真版本,建议使用 release-0.1 分支。
- 文档的“Coming Soon”仍将补充文档和更复杂的对话历史记忆列为未完成事项。
如何安装或部署这个 Agent?
需要 Python 3.9+。
git clone https://github.com/OpenBMB/AgentVerse.git --depth 1
cd AgentVerse
pip install -e .
export OPENAI_API_KEY="your_api_key_here"也可执行 pip install -U agentverse。使用本地模型还需执行 pip install -r requirements_local.txt。
如何使用这个 Agent?
先配置 OPENAI_API_KEY,然后运行一个仿真示例:
agentverse-simulation --task simulation/nlp_classroom_9players如需本地界面:
agentverse-simulation-gui --task simulation/nlp_classroom_9players启动成功后访问 http://127.0.0.1:7860/。运行 HumanEval 的示例命令为:
agentverse-benchmark --task tasksolving/humaneval/gpt-3.5 --dataset_path data/humaneval/test.jsonl --overwrite常见问题
是否必须使用 OpenAI?
如何运行第一个可工作的示例?
agentverse-simulation --task simulation/nlp_classroom_9players。能否在浏览器中查看仿真?
agentverse-simulation-gui --task simulation/nlp_classroom_9players 后,可访问本地地址 http://127.0.0.1:7860/。