Mac Computer Use
让 Claude 等模型通过原生 macOS 命令直接操作你的 Mac。
这个 Agent 能做什么,适合哪些场景?
Mac Computer Use 是 Anthropic Computer Use 的 macOS 原生分支,用于让模型控制本机界面。它不运行上游方案中的 Ubuntu Docker 镜像,而是借助 macOS 命令和工具直接执行系统操作。项目提供 Streamlit 界面,并支持 Anthropic、Bedrock 和 Vertex 等 LLM 提供方。它可进行屏幕截图、键盘与鼠标操作、文件系统交互和文件编辑,并会自动调整屏幕分辨率。该项目适合可接受本机自动化权限与相应安全风险的 macOS 用户。
用户在 .env 中设置 API_PROVIDER、ANTHROPIC_API_KEY、WIDTH、HEIGHT 和 DISPLAY_NUM 后,通过 streamlit run streamlit.py 启动界面。运行时,项目使用原生 macOS 命令截取屏幕,并通过 cliclick 发送鼠标和键盘控制;它还可与文件系统交互并编辑文件。屏幕尺寸会被自动缩放到推荐目标,以优化模型表现。模型提供方可为 Anthropic、Bedrock 或 Vertex,README 给出了 Anthropic API 密钥的配置示例。
- 使用 macOS 的开发者,希望通过 Streamlit 界面让 Anthropic 模型执行本机 GUI 操作。
- 需要让模型根据屏幕截图点击、输入并操作桌面应用的个人自动化使用者。
- 希望避免 Ubuntu Docker 容器、改用原生 macOS 系统控制的 Computer Use 试用者。
- 需要在受控 Mac 上让模型交互文件系统并编辑文件的实验团队。
这个 Agent 有哪些优点和局限?
- 以原生 macOS 命令和工具直接控制系统,无需运行 Docker。
- 通过 cliclick 提供明确的鼠标与键盘控制路径。
- 内置 Streamlit 界面,启动后可从本机浏览器访问。
- README 明确列出 Anthropic、Bedrock 和 Vertex 三种模型提供方支持。
- 可自动缩放较高屏幕分辨率以优化模型表现。
- 核心能力可控制 Mac 上的一切,README 明确警示存在显著安全风险。
- 仅明确支持 macOS Sonoma 15.7 或更高版本,不能据此确认其他操作系统可用。
- 需要 Python 3.12+、Homebrew 和 cliclick 等本机依赖。
- 示例运行配置需要 Anthropic API 密钥;API 的 Beta 版本可能变化。
- README 未说明权限授予、故障恢复或操作审计机制。
如何安装或部署这个 Agent?
前提:macOS Sonoma 15.7 或更高版本、Python 3.12+、Homebrew,以及 cliclick。执行:git clone https://github.com/deedy/mac_computer_use.gitcd mac_computer_usepython3.12 -m venv venvsource venv/bin/activatebrew install cliclickchmod +x setup.sh./setup.shpip install -r requirements.txt
如何使用这个 Agent?
在项目根目录创建 .env,至少包含:API_PROVIDER=anthropicANTHROPIC_API_KEY=<key>WIDTH=800HEIGHT=600DISPLAY_NUM=1
然后运行:streamlit run streamlit.py。界面地址为 http://localhost:8501。可将 WIDTH 和 HEIGHT 设为 1024x768、1280x800 或 1366x768 等推荐尺寸。
这个 Agent 与同类方案有什么区别?
相较于上游 Anthropic Computer Use 的 Ubuntu Docker 镜像方案,此分支改为在 macOS 上原生运行,并通过 macOS 命令与工具实施直接系统控制。