Open Computer Use
通过 MCP 让 AI 客户端在桌面系统上执行计算机使用操作。
这个 Agent 能做什么,适合哪些场景?
Open Computer Use 是一个将 Computer Use 能力封装为 MCP 服务的开源项目。AI Agent 或 MCP 客户端可通过它在 macOS、Linux 和 Windows 上运行 Computer Use。项目提供 npm 安装包、open-computer-use 命令及 ocu 短别名,并可写入 Codex、Claude Code、Gemini CLI 和 opencode 的 MCP 配置。它还提供单次调用和多调用序列模式,后者可在同一进程中复用 element_index 状态,并输出 MCP 风格 JSON 结果。macOS 运行时要求 macOS 14.0 或更高版本,首次运行需授予辅助功能与屏幕录制权限。
安装后,运行 open-computer-use 或 ocu 启动服务,并以 open-computer-use mcp 作为 MCP 服务器命令。客户端可调用 list_apps,或调用 get_app_state 并传入 app 名称,例如 TextEdit;也可调用 press_key,传入 app 和 key。open-computer-use call 会执行单个 Computer Use 工具并打印 MCP 风格 JSON 结果;--calls 或 --calls-file 可在一个进程中执行多个调用,从而复用 element_index 状态。install-codex-mcp、install-claude-mcp、install-gemini-mcp 与 install-opencode-mcp 会分别写入对应客户端配置。
- 使用 Codex App 或 Codex CLI 的开发者,希望通过 MCP 连接本地桌面 Computer Use 服务。
- 使用 Claude Code 的工程师,需要用 install-claude-mcp 将服务写入 ~/.claude.json。
- 在当前项目使用 Gemini CLI 的团队,需要写入 ./.gemini/settings.json 后执行 Computer Use 操作。
- 使用 opencode 的用户,希望将 MCP 配置写入 ~/.config/opencode/opencode.json 或当前生效配置文件。
- 需要连续检查 TextEdit 状态再发送 Return 键的自动化使用者,可用 --calls 在同一进程运行序列。
这个 Agent 有哪些优点和局限?
- 以 MCP 暴露服务,README 明确说明任何 AI Agent 或 MCP 客户端均可使用。
- 明确覆盖 macOS、Linux 与 Windows,并提供各平台运行演示。
- 提供 Codex、Claude Code、Gemini CLI 和 opencode 的内置安装命令,减少手写配置的工作。
- 支持 --calls 和 --calls-file 序列执行,可在单一进程中复用 element_index 状态。
- 单次 call 会打印 MCP 风格 JSON,便于脚本化检查调用结果。
- macOS 仅支持 14.0 或更高版本,且首次运行必须授予辅助功能和屏幕录制权限。
- 客户端集成会写入用户或项目配置文件,例如 ~/.codex/config.toml、~/.claude.json 或 ./.gemini/settings.json。
- README 只列出少量可直接调用的工具示例,未在所给材料中完整说明所有工具及失败返回结构。
- README 未说明 Windows 和 Linux 的权限、桌面环境或依赖细节。
- 未提供所给材料范围内的托管服务、SLA 或商业支持信息。
如何安装或部署这个 Agent?
全局安装:npm i -g open-computer-use。启动:open-computer-use,或使用短命令 ocu。macOS 需要 macOS 14.0 或更高版本;首次启动后授予“辅助功能”和“屏幕录制”权限。安装到 Codex:open-computer-use install-codex-mcp。也可手动配置 MCP:{"mcpServers":{"open-computer-use":{"command":"open-computer-use","args":["mcp"]}}}。
如何使用这个 Agent?
先启动 open-computer-use,然后让 MCP 客户端连接 command 为 open-computer-use、args 为 ["mcp"] 的服务器。可直接测试:open-computer-use call list_apps。查询应用状态:open-computer-use call get_app_state --args '{"app":"TextEdit"}'。连续执行调用:open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'。
这个 Agent 与同类方案有什么区别?
项目明确受 OpenAI Codex Computer Use 启发,并展示其在 Codex App 与 Codex CLI 中的使用,称体验可与官方方式匹配。它的交付形式是可本地安装并通过 MCP 连接的开源服务;所给材料未提供更细的功能对照。