自动化与运维 computer-usemcpdesktop-automationaccessibilitygui-automationcodex-cligemini-cli

Open Computer Use

通过 MCP 让 AI 客户端在桌面系统上执行计算机使用操作。

FollowAgents 评估 · FARS-2.0
待评估
查看完整评分方法 →

这个 Agent 能做什么,适合哪些场景?

Open Computer Use 是一个将 Computer Use 能力封装为 MCP 服务的开源项目。AI Agent 或 MCP 客户端可通过它在 macOS、Linux 和 Windows 上运行 Computer Use。项目提供 npm 安装包、open-computer-use 命令及 ocu 短别名,并可写入 Codex、Claude Code、Gemini CLI 和 opencode 的 MCP 配置。它还提供单次调用和多调用序列模式,后者可在同一进程中复用 element_index 状态,并输出 MCP 风格 JSON 结果。macOS 运行时要求 macOS 14.0 或更高版本,首次运行需授予辅助功能与屏幕录制权限。

安装后,运行 open-computer-use 或 ocu 启动服务,并以 open-computer-use mcp 作为 MCP 服务器命令。客户端可调用 list_apps,或调用 get_app_state 并传入 app 名称,例如 TextEdit;也可调用 press_key,传入 app 和 key。open-computer-use call 会执行单个 Computer Use 工具并打印 MCP 风格 JSON 结果;--calls 或 --calls-file 可在一个进程中执行多个调用,从而复用 element_index 状态。install-codex-mcp、install-claude-mcp、install-gemini-mcp 与 install-opencode-mcp 会分别写入对应客户端配置。

  1. 使用 Codex App 或 Codex CLI 的开发者,希望通过 MCP 连接本地桌面 Computer Use 服务。
  2. 使用 Claude Code 的工程师,需要用 install-claude-mcp 将服务写入 ~/.claude.json。
  3. 在当前项目使用 Gemini CLI 的团队,需要写入 ./.gemini/settings.json 后执行 Computer Use 操作。
  4. 使用 opencode 的用户,希望将 MCP 配置写入 ~/.config/opencode/opencode.json 或当前生效配置文件。
  5. 需要连续检查 TextEdit 状态再发送 Return 键的自动化使用者,可用 --calls 在同一进程运行序列。

这个 Agent 有哪些优点和局限?

优点
  • 以 MCP 暴露服务,README 明确说明任何 AI Agent 或 MCP 客户端均可使用。
  • 明确覆盖 macOS、Linux 与 Windows,并提供各平台运行演示。
  • 提供 Codex、Claude Code、Gemini CLI 和 opencode 的内置安装命令,减少手写配置的工作。
  • 支持 --calls 和 --calls-file 序列执行,可在单一进程中复用 element_index 状态。
  • 单次 call 会打印 MCP 风格 JSON,便于脚本化检查调用结果。
局限
  • macOS 仅支持 14.0 或更高版本,且首次运行必须授予辅助功能和屏幕录制权限。
  • 客户端集成会写入用户或项目配置文件,例如 ~/.codex/config.toml、~/.claude.json 或 ./.gemini/settings.json。
  • README 只列出少量可直接调用的工具示例,未在所给材料中完整说明所有工具及失败返回结构。
  • README 未说明 Windows 和 Linux 的权限、桌面环境或依赖细节。
  • 未提供所给材料范围内的托管服务、SLA 或商业支持信息。

如何安装或部署这个 Agent?

全局安装:npm i -g open-computer-use。启动:open-computer-use,或使用短命令 ocu。macOS 需要 macOS 14.0 或更高版本;首次启动后授予“辅助功能”和“屏幕录制”权限。安装到 Codex:open-computer-use install-codex-mcp。也可手动配置 MCP:{"mcpServers":{"open-computer-use":{"command":"open-computer-use","args":["mcp"]}}}。

如何使用这个 Agent?

先启动 open-computer-use,然后让 MCP 客户端连接 command 为 open-computer-use、args 为 ["mcp"] 的服务器。可直接测试:open-computer-use call list_apps。查询应用状态:open-computer-use call get_app_state --args '{"app":"TextEdit"}'。连续执行调用:open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'。

这个 Agent 与同类方案有什么区别?

项目明确受 OpenAI Codex Computer Use 启发,并展示其在 Codex App 与 Codex CLI 中的使用,称体验可与官方方式匹配。它的交付形式是可本地安装并通过 MCP 连接的开源服务;所给材料未提供更细的功能对照。

常见问题

需要 API 密钥或账号凭据吗?
所给材料没有列出该服务自身需要的 API 密钥或账号凭据;它说明由 AI Agent 或 MCP 客户端通过 MCP 使用。
macOS 上为什么无法开始使用?
macOS 运行时要求 14.0 或更高版本,首次运行时还必须授予辅助功能和屏幕录制权限。可运行 open-computer-use doctor 检查权限。
能否一次执行多个操作?
可以。使用 open-computer-use call --calls 或 --calls-file 可在同一进程执行序列,并复用 element_index 状态。
支持哪些客户端?
文档提供 Codex、Claude Code、Gemini CLI 和 opencode 的安装命令,也说明任何 MCP 客户端都可连接该服务。

相关 Agents