Ghost OS
让 MCP AI 代理通过 macOS 辅助功能操作本机应用并复用工作流。
这个 Agent 能做什么，适合哪些场景？
Ghost OS 是一个以 Swift 编写、通过 MCP stdio 向 AI 客户端提供 macOS 电脑操作能力的服务器。它优先读取 macOS 辅助功能树（AX tree），获取应用、窗口和交互元素的结构化信息；当网页应用等场景的 AX 信息不足时，可使用本地 ShowUI-2B 视觉模型进行定位。服务器提供 29 个工具，覆盖读取界面、点击、输入、按键、滚动、窗口管理、截图、视觉定位和配方管理。它还可通过 CGEvent tap 观察用户手动操作，并将带辅助功能上下文的动作序列整理为可参数化、可重放的 JSON recipe。产品运行边界是 macOS 14+ 本机，面向 Claude Code、Cursor、VS Code 和其他 MCP 客户端。
AI 客户端可调用 ghost_context 查看当前应用、窗口、URL、焦点元素和屏幕交互元素，调用 ghost_state、ghost_find、ghost_read、ghost_inspect 或 ghost_element_at 查询界面。它可用 ghost_click、ghost_type、ghost_press、ghost_hotkey、ghost_hover、ghost_long_press、ghost_drag、ghost_scroll、ghost_focus 与 ghost_window 操作 macOS 应用，并用 ghost_wait 等待界面状态变化。对于 AX tree 难以描述的界面，可用 ghost_ground 或 ghost_parse_screen 通过本地 ShowUI-2B 找到视觉元素。已确定的流程可保存为 JSON：ghost_recipe_save 安装配方，ghost_recipe_show 查看步骤，ghost_run 代入参数执行，ghost_recipe_delete 删除。学习模式使用 ghost_learn_start 录制用户动作、ghost_learn_stop 返回富化动作序列、ghost_learn_status 查询录制状态。
- 使用 Claude Code 的 macOS 开发者，需要让代理在 Gmail 中填写收件人、主题和正文并发送邮件时。
- 需要反复从 arXiv 搜索并下载论文的研究人员，可将一次完成的流程保存为带 `query` 参数的 recipe。
- 在 Slack、Finder 和其他原生 macOS 应用之间处理文件与消息的运营人员，需要自动化跨应用步骤时。
- 需要把已验证桌面流程交给团队复用的负责人，可检查 JSON recipe 的每个步骤后再分发。
- 网页应用的辅助功能树无法充分暴露目标控件时，需要借助本地 ShowUI-2B 进行视觉定位的用户。
这个 Agent 有哪些优点和局限？
- 以 macOS 辅助功能树提供结构化元素信息，而非只依赖截图；并在必要时提供本地 ShowUI-2B 视觉定位。
- 可将流程保存为可审阅的 JSON recipe，并用参数替换通过 `ghost_run` 重放。
- 工具范围包含窗口管理、键鼠操作、界面读取和跨原生应用操作，不限于浏览器。
- MCP stdio 接口使其可接入已明确列出的 Claude Code，以及其他 MCP 客户端。
- 核心运行环境限定为 macOS 14+，无法作为跨平台桌面自动化方案直接采用。
- 需要授予辅助功能和屏幕录制权限；工作流学习还必须授予输入监控权限。
- 网页应用的 AX tree 信息不足时依赖本地 ShowUI-2B；诊断示例显示该模型约占 3.0 GB。
- 配方的自动合成示例使用 Claude，但文档未说明其他模型生成配方时的等价配置或效果。
如何安装或部署这个 Agent？
支持 macOS 14+。通过 Homebrew 安装并初始化：brew install ghostwright/ghost-os/ghost-osghost setupghost setup 负责权限、MCP 配置、recipe 安装和视觉模型设置。源码构建则运行：git clone https://github.com/ghostwright/ghost-os.gitcd ghost-osswift build.build/debug/ghost setup
源码构建需要 Swift 6.2+。未记录任何账号或 API 密钥要求；需授予辅助功能和屏幕录制权限，学习模式另需“输入监控”权限。
如何使用这个 Agent？
完成 ghost setup 后，在支持 MCP 的客户端中使用 Ghost OS 的 MCP 服务器。可先调用 ghost_context 获取当前界面；例如执行已安装配方：ghost_run recipe:"gmail-send" params:{"recipient":"[email protected]","subject":"Hello","body":"World"}。要录制新流程，依次调用 ghost_learn_start task_description:"send email in Gmail"、由用户手动完成操作、ghost_learn_stop，再用 ghost_recipe_save 保存返回的流程。可运行 ghost doctor 检查权限、MCP 配置、recipe、AX tree 与视觉组件状态。
这个 Agent 与同类方案有什么区别？
仓库将 Ghost OS 与 Anthropic Computer Use、OpenAI Operator 和 OpenClaw 对比：Ghost OS 主张采用“辅助功能树 + 本地 VLM”，支持任意 macOS 原生应用和 JSON workflow recipes；表中将 Anthropic Computer Use 与 OpenAI Operator 描述为截图式交互，将 OpenClaw 描述为浏览器 DOM 路径。