CogAgent 图形界面执行器

这个 Agent 能做什么，适合哪些场景？

CogAgent 是面向 GUI 操作的开源视觉语言模型项目，当前仓库重点提供 CogAgent-9B-20241220。该模型以 GLM-4V-9B 为基础，接收截图、任务描述、历史步骤、平台标记和指定输出格式。它不是连续对话模型，而是在每次执行时依赖传入的历史记录继续完成任务。输出为严格格式的字符串，可包含 Action、Status、Plan、Grounded Operation 以及敏感操作标记；Grounded Operation 会给出操作类型和屏幕坐标框。仓库提供基于 transformers 的命令行推理、网页演示和一个本地部署的 Agent APP 示例，但在线演示仅展示推理结果，不能实际控制计算机。

用户将任务、History steps、平台字段（WIN、Mac 或 Mobile）和格式字段拼接为提示词，并连同截图输入 CogAgent-9B-20241220。模型读取当前屏幕和已执行步骤，返回如 CLICK、TYPE、SCROLL_DOWN 或 RIGHT_CLICK 的 Grounded Operation 字符串，其中 box 标明应执行操作的坐标区域。inference/cli_demo.py 可交互读取图片路径，并把带预测边界框的图片保存为 {your_input_image_name}_{round}.png；inference/web_demo.py 支持连续上传图片进行交互式推理。app/README.md 所述示例用于在配备 GPU 的服务器本地部署模型并执行自动化 GUI 操作。

1. 在 macOS 14 或 15 上构建截图驱动的本地 GUI 自动化原型的开发者。
2. 需要让模型根据 Windows 10 或 11 截图生成点击、输入和滚动坐标的研究人员。
3. 为 Android 13、14 或 15 的图形界面测试收集可解析操作指令的团队。
4. 希望以“标记所有邮件为已读”这类单步任务验证屏幕定位和操作输出格式的工程师。
5. 拥有 A100 或 H100 级 GPU，并希望在本地评估 GUI Agent 模型的实验团队。

如何安装或部署这个 Agent？

安装 Python 3.10.16 或更高版本后运行：

pip install -r requirements.txt

README 未要求 API 密钥。需要获取模型目录；示例命令使用 THUDM/cogagent-9b-20241220。以 BF16 推理时至少需要 29GB 显存。

如何使用这个 Agent？

准备与目标平台一致的截图后运行：

python inference/cli_demo.py --model_dir THUDM/cogagent-9b-20241220 --platform "Mac" --max_length 4096 --top_k 1 --output_image_path ./results --format_key status_action_op_sensitive

交互时提供图片路径，并按“Task → History steps → Platform → format”的顺序构造提示词。启动网页演示可运行：

python inference/web_demo.py --host 0.0.0.0 --port 7860 --model_dir THUDM/cogagent-9b-20241220 --format_key status_action_op_sensitive --platform "Mac" --output_dir ./results

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题