自动化与运维 macos-automationcomputer-usestreamlitcliclickscreen-captureanthropic-api

Mac Computer Use

让 Claude 等模型通过原生 macOS 命令直接操作你的 Mac。

FollowAgents 评估 · FARS-2.0
待评估
查看完整评分方法 →

这个 Agent 能做什么,适合哪些场景?

Mac Computer Use 是 Anthropic Computer Use 的 macOS 原生分支,用于让模型控制本机界面。它不运行上游方案中的 Ubuntu Docker 镜像,而是借助 macOS 命令和工具直接执行系统操作。项目提供 Streamlit 界面,并支持 Anthropic、Bedrock 和 Vertex 等 LLM 提供方。它可进行屏幕截图、键盘与鼠标操作、文件系统交互和文件编辑,并会自动调整屏幕分辨率。该项目适合可接受本机自动化权限与相应安全风险的 macOS 用户。

用户在 .env 中设置 API_PROVIDER、ANTHROPIC_API_KEY、WIDTH、HEIGHT 和 DISPLAY_NUM 后,通过 streamlit run streamlit.py 启动界面。运行时,项目使用原生 macOS 命令截取屏幕,并通过 cliclick 发送鼠标和键盘控制;它还可与文件系统交互并编辑文件。屏幕尺寸会被自动缩放到推荐目标,以优化模型表现。模型提供方可为 Anthropic、Bedrock 或 Vertex,README 给出了 Anthropic API 密钥的配置示例。

  1. 使用 macOS 的开发者,希望通过 Streamlit 界面让 Anthropic 模型执行本机 GUI 操作。
  2. 需要让模型根据屏幕截图点击、输入并操作桌面应用的个人自动化使用者。
  3. 希望避免 Ubuntu Docker 容器、改用原生 macOS 系统控制的 Computer Use 试用者。
  4. 需要在受控 Mac 上让模型交互文件系统并编辑文件的实验团队。

这个 Agent 有哪些优点和局限?

优点
  • 以原生 macOS 命令和工具直接控制系统,无需运行 Docker。
  • 通过 cliclick 提供明确的鼠标与键盘控制路径。
  • 内置 Streamlit 界面,启动后可从本机浏览器访问。
  • README 明确列出 Anthropic、Bedrock 和 Vertex 三种模型提供方支持。
  • 可自动缩放较高屏幕分辨率以优化模型表现。
局限
  • 核心能力可控制 Mac 上的一切,README 明确警示存在显著安全风险。
  • 仅明确支持 macOS Sonoma 15.7 或更高版本,不能据此确认其他操作系统可用。
  • 需要 Python 3.12+、Homebrew 和 cliclick 等本机依赖。
  • 示例运行配置需要 Anthropic API 密钥;API 的 Beta 版本可能变化。
  • README 未说明权限授予、故障恢复或操作审计机制。

如何安装或部署这个 Agent?

前提:macOS Sonoma 15.7 或更高版本、Python 3.12+、Homebrew,以及 cliclick。执行:
git clone https://github.com/deedy/mac_computer_use.git
cd mac_computer_use
python3.12 -m venv venv
source venv/bin/activate
brew install cliclick
chmod +x setup.sh
./setup.sh
pip install -r requirements.txt

如何使用这个 Agent?

在项目根目录创建 .env,至少包含:
API_PROVIDER=anthropic
ANTHROPIC_API_KEY=<key>
WIDTH=800
HEIGHT=600
DISPLAY_NUM=1
然后运行:streamlit run streamlit.py。界面地址为 http://localhost:8501。可将 WIDTH 和 HEIGHT 设为 1024x768、1280x800 或 1366x768 等推荐尺寸。

这个 Agent 与同类方案有什么区别?

相较于上游 Anthropic Computer Use 的 Ubuntu Docker 镜像方案,此分支改为在 macOS 上原生运行,并通过 macOS 命令与工具实施直接系统控制。

常见问题

它需要 Docker 吗?
不需要。该分支的目标是原生 macOS 运行,而不是运行上游使用的 Ubuntu Docker 镜像。
需要哪些关键权限或依赖?
需要 macOS Sonoma 15.7 或更高版本、Python 3.12+、Homebrew 和 cliclick;项目会执行屏幕、键盘、鼠标及文件系统相关操作。
如何连接 Anthropic?
在 .env 中设置 `API_PROVIDER=anthropic` 和 `ANTHROPIC_API_KEY=<key>`,再启动 Streamlit 应用。
屏幕分辨率有什么限制?
项目推荐 XGA、WXGA 或 FWXGA 尺寸;更高分辨率会自动缩放到这些目标,以优化模型性能。

相关 Agents