Ghost OS
让 MCP AI 代理通过 macOS 辅助功能操作本机应用并复用工作流。
- Star 数
- ★ 1.7k
- 最近更新
- 7 个月前
- License
- MIT
- 主语言
- Swift
- FA 评分
- 53/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 平台专用Claude Code
- 费用
- 免费，无需付费服务
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 使用 Claude Code 的 macOS 开发者，需要让代理在 Gmail 中填写收件人、主题和正文并发送邮件时。
- 不适合
- 需要跨平台桌面自动化的团队，核心运行时仅支持 macOS 14+
- 无法授予辅助功能、屏幕录制和输入监控权限的环境
- 需要完全离线且不下载本地视觉模型的场景
- 源码审查
- 53/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
Ghost OS 是一个以 Swift 编写、通过 MCP stdio 向 AI 客户端提供 macOS 电脑操作能力的服务器。它优先读取 macOS 辅助功能树（AX tree），获取应用、窗口和交互元素的结构化信息；当网页应用等场景的 AX 信息不足时，可使用本地 ShowUI-2B 视觉模型进行定位。服务器提供 29 个工具，覆盖读取界面、点击、输入、按键、滚动、窗口管理、截图、视觉定位和配方管理。它还可通过 CGEvent tap 观察用户手动操作，并将带辅助功能上下文的动作序列整理为可参数化、可重放的 JSON recipe。产品运行边界是 macOS 14+ 本机，面向 Claude Code、Cursor、VS Code 和其他 MCP 客户端。
AI 客户端可调用 ghost_context 查看当前应用、窗口、URL、焦点元素和屏幕交互元素，调用 ghost_state、ghost_find、ghost_read、ghost_inspect 或 ghost_element_at 查询界面。它可用 ghost_click、ghost_type、ghost_press、ghost_hotkey、ghost_hover、ghost_long_press、ghost_drag、ghost_scroll、ghost_focus 与 ghost_window 操作 macOS 应用，并用 ghost_wait 等待界面状态变化。对于 AX tree 难以描述的界面，可用 ghost_ground 或 ghost_parse_screen 通过本地 ShowUI-2B 找到视觉元素。已确定的流程可保存为 JSON：ghost_recipe_save 安装配方，ghost_recipe_show 查看步骤，ghost_run 代入参数执行，ghost_recipe_delete 删除。学习模式使用 ghost_learn_start 录制用户动作、ghost_learn_stop 返回富化动作序列、ghost_learn_status 查询录制状态。
- 使用 Claude Code 的 macOS 开发者，需要让代理在 Gmail 中填写收件人、主题和正文并发送邮件时。
- 需要反复从 arXiv 搜索并下载论文的研究人员，可将一次完成的流程保存为带
query参数的 recipe。 - 在 Slack、Finder 和其他原生 macOS 应用之间处理文件与消息的运营人员，需要自动化跨应用步骤时。
- 需要把已验证桌面流程交给团队复用的负责人，可检查 JSON recipe 的每个步骤后再分发。
- 网页应用的辅助功能树无法充分暴露目标控件时，需要借助本地 ShowUI-2B 进行视觉定位的用户。
如何安装或部署这个 Agent？
支持 macOS 14+。通过 Homebrew 安装并初始化：
brew install ghostwright/ghost-os/ghost-os
ghost setupghost setup 负责权限、MCP 配置、recipe 安装和视觉模型设置。源码构建则运行：
git clone https://github.com/ghostwright/ghost-os.git
cd ghost-os
swift build
.build/debug/ghost setup源码构建需要 Swift 6.2+。未记录任何账号或 API 密钥要求；需授予辅助功能和屏幕录制权限，学习模式另需“输入监控”权限。
如何使用这个 Agent？
完成 ghost setup 后，在支持 MCP 的客户端中使用 Ghost OS 的 MCP 服务器。可先调用 ghost_context 获取当前界面；例如执行已安装配方：ghost_run recipe:"gmail-send" params:{"recipient":"[email protected]","subject":"Hello","body":"World"}。要录制新流程，依次调用 ghost_learn_start task_description:"send email in Gmail"、由用户手动完成操作、ghost_learn_stop，再用 ghost_recipe_save 保存返回的流程。可运行 ghost doctor 检查权限、MCP 配置、recipe、AX tree 与视觉组件状态。
这个 Agent 有哪些优点和局限？
- 以 macOS 辅助功能树提供结构化元素信息，而非只依赖截图；并在必要时提供本地 ShowUI-2B 视觉定位。
- 可将流程保存为可审阅的 JSON recipe，并用参数替换通过
ghost_run重放。 - 工具范围包含窗口管理、键鼠操作、界面读取和跨原生应用操作，不限于浏览器。
- MCP stdio 接口使其可接入已明确列出的 Claude Code，以及其他 MCP 客户端。
- 核心运行环境限定为 macOS 14+，无法作为跨平台桌面自动化方案直接采用。
- 需要授予辅助功能和屏幕录制权限；工作流学习还必须授予输入监控权限。
- 网页应用的 AX tree 信息不足时依赖本地 ShowUI-2B；诊断示例显示该模型约占 3.0 GB。
- 配方的自动合成示例使用 Claude，但文档未说明其他模型生成配方时的等价配置或效果。
这个 Agent 与同类方案有什么区别？
仓库将 Ghost OS 与 Anthropic Computer Use、OpenAI Operator 和 OpenClaw 对比：Ghost OS 主张采用“辅助功能树 + 本地 VLM”，支持任意 macOS 原生应用和 JSON workflow recipes；表中将 Anthropic Computer Use 与 OpenAI Operator 描述为截图式交互，将 OpenClaw 描述为浏览器 DOM 路径。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Ghost OS 当前 | 53 · 缺口较多 | 命令行工具免费 | ★ 1.7k | 7 个月前 | Swift | Claude Code |
| SwiftAutoGUI 桌面自动化工具包 | 46 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 94 | 21 天前 | Swift | Claude Code · OpenAI API |
| Open Computer Use（MCP 桌面服务） | 79 · 表现良好 | 命令行工具免费 + 模型费 | ★ 2.9k | 1 天前 | Swift | Codex · Claude Code |
| Clawd Cursor | 72 · 存在缺口 | MCP 服务器免费 + 模型费 | ★ 407 | 今天 | TypeScript | Codex · Claude Code |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
产品获得整台 Mac 的辅助功能读取、屏幕录制和输入监控等权限，并可点击、输入和执行配方，最小权限控制证据有限（1）；学习模式说明需输入监控权限且由用户手动演示，但配方运行示例会发送邮件，未说明敏感操作的逐次确认（1）。README 称数据留在本机，视觉模型在本地运行，支持数据流透明度（2）；但没有明确说明记录内容、配方或屏幕数据的保留与清理政策，敏感数据处理偏薄（1）。README 提到本地视觉模型，CLAUDE.md 说明 AXorcist 依赖，但未见完整依赖审查或安全缓解细节（1）。外部效果包括发送邮件等，示例可读且配方为 JSON，但缺少运行前确认机制说明（1）；配方可删除、审阅，然而操作回滚和恢复没有充分说明（1）。AXorcist 有来源归属，其他来源及维护者身份路径不清（1）。
文档对工具数量与接口总体一致，但 README 称 29 个工具，CLAUDE.md 分类数也合计 29；然而明确指出 ghost_parse_screen 是未实现的占位功能，与 README 的功能描述存在张力（1）。AXorcist 版本给出最低版本，视觉侧车依赖问题及版本范围有所记录，但完整依赖锁定和可用性保障未显示（1）。代码说明模型加载失败会记录错误并返回失败，文档列出诊断命令和错误建议约定，失败处理有一定支持（2）。
面向使用 MCP 客户端的 macOS 用户，列出 Claude Code、Cursor、VS Code 和多种原生应用场景，但新手和组织使用情境说明有限（2）。文档区分 AX、视觉定位和占位检测，并说明 Chrome 标签页等限制，能力边界较清楚（2）。工具名称和示例指出何时用配方、何时使用视觉回退，但对触发选择的规则只部分展开（2）。macOS 14+、Swift 6.2+、Apple Silicon 视觉模型及所需系统权限均有说明，环境适配信息较充分（2）。
README、开发指南、工具表、架构和构建说明构成清晰的信息结构，但尚未见完整 API 文档（2）。Homebrew、手动安装和源码构建步骤具体，并说明所需权限（2）。工具与配方命名一致，版本一致性约定也有记录（2）。README 提供具体交互示例和诊断示例，但未见常见问题覆盖（2）。CLAUDE.md 列出已知限制、视觉侧车脆弱性及排障方法（2）。仓库内含完整 MIT 许可文本（3）。版本更新、发布清单和三处版本一致性均有说明，但样本中只有当前及前一版本摘要，历史记录深度有限（2）。有贡献指南和 PR 流程说明，但发布责任人或维护联系路径未明确（1）。
29 个 MCP 工具、可读 JSON 配方和诊断命令能产出可操作结果，但占位的 parse_screen 降低了完整性（2）。将原生 macOS 可访问性操作和可复用工作流结合，提供明显的特定能力价值（2）。安装和视觉模型说明了数 GB 模型及权限成本；对时间、资源消耗与可靠性收益的量化证据有限（1）。
工具清单、关键源文件、依赖说明和配方描述使许多能力主张可追溯，但部分宣传性主张没有相应材料支持（2）。README、开发指南和侧车源码在架构、版本与视觉能力上有交叉印证，也有占位功能的差异（2）。文档通常标明已实现、占位或依赖权限的内容，但宣传主张与已验证事实的界线仍不总是清楚（2）。
- 该工具能观察并操作原生应用，包含输入监控录制及可发送邮件的配方；使用前应检查权限、记录内容和每个配方的具体步骤。
- ghost_parse_screen 在开发指南中明确标为未实现占位功能；视觉侧车还存在依赖版本兼容问题记录。
你是这个项目的维护者？把 FARS 徽章加到 README
[](https://followagents.com/zh/agents/ghost-os)<a href="https://followagents.com/zh/agents/ghost-os"><img src="https://followagents.com/badge/ghost-os.svg?lang=zh" alt="FARS 评测"></a>最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
v2.2.1 Ghost OS v2.2.1
发布说明摘录
Complete recipe JSON schema documentation and verify-before-save workflow. What changed: - Documented the full recipe JSON schema in GHOST-MCP.md (all 10 action types, all params, target/Locator fields, wait conditions) - Added verify-before-save flow: agents must test recipes end-to-end before saving - Fixed codesign issue in release binary (linker-signed adhoc broke on copy) - Updated README: star count, line count Agents can now author recipes correctly on the first attempt. Previously required reverse-engineering the schema from bundled recipes. Upgrade: ``` …在 GitHub 查看 ↗ -
v2.2.0 Ghost OS v2.2.0
发布说明摘录
Self-Learning Recipes Ghost OS can now watch you work and learn from it. Say "watch me send an email" -- Ghost OS observes every click, keystroke, and app switch with full accessibility context. Then Claude synthesizes your actions into a replayable recipe. New tools | Tool | Purpose | |------|---------| | ghost_learn_start | Begin recording user actions | | ghost_learn_stop | Stop recording, return enriched action sequence | | ghost_learn_status | Check recording state and stats | 29 tools total (was 26). How it works ``` You: "Watch me send an email in Gmail" …在 GitHub 查看 ↗ -
v2.1.2 Ghost OS v2.1.2
发布说明摘录
Pin vision sidecar dependencies for reliable ghost_ground. What changed: - Pin mlx-vlm==0.1.15 (with --no-deps) and transformers==4.48.3 - transformers>=4.49 requires PyTorch for Qwen2VL video processor, breaking MLX-only environments - ghost setup now recreates the Python venv on upgrade (version stamp) - ghost doctor flags incompatible transformers versions - Vision sidecar diagnoses dependency errors at startup Upgrade: ``` brew upgrade ghost-os ghost setup ``` ghost setup will recreate the Python environment with pinned deps. Verify with ghost doctor. Fixes #7在 GitHub 查看 ↗
常见问题
使用 Ghost OS 需要付费账号或 API 密钥吗？
它能操作哪些应用？
必须允许哪些系统权限？
ghost_learn_start 等学习工具时还需要输入监控权限。当界面元素无法从辅助功能树读取时怎么办？
ghost_ground 或 ghost_parse_screen，通过本地 ShowUI-2B 进行视觉定位；ghost doctor 可检查视觉组件状态。配方是否可以检查后再执行？
ghost_recipe_show 查看完整步骤和配置，再通过 ghost_run 执行。谢谢反馈，我们会据此改进页面。