Taskhomie
用自然语言操控桌面、浏览器和终端的本地 AI 助手。
这个 Agent 能做什么，适合哪些场景？
Taskhomie 是一款以 Tauri、React 和 Rust 构建的本地桌面 AI 代理。它接收自然语言指令，并可截取屏幕、移动鼠标、点击、输入文字和执行终端命令。Computer Use Mode 直接接管屏幕、光标和键盘，适合跨多个应用的任务；Background Mode 则通过 Chrome DevTools Protocol 自动化网页，并使用终端处理其他操作，不占用鼠标和键盘。应用在本地以 Tauri 开发或构建运行，但模型调用需要 Anthropic API 密钥；界面可选择 Haiku、Sonnet 或 Opus。
用户输入自然语言任务后，可用 npm run tauri dev 启动的应用执行两种工作流。Computer Use Mode 通过截图获取当前屏幕状态，再移动鼠标、点击和键入，并可运行终端命令；它会直接控制当前桌面的光标和键盘。Background Mode 使用 Chrome DevTools Protocol 进行网页自动化，并通过终端完成其他工作，因此不会触碰鼠标或键盘。可通过 ⌃⇧C 进入 Computer Use Mode、⌃⇧B 进入 Background Mode、⌘⇧H 使用 help mode，以及用 ⌘⇧S 停止代理。
- 需要在多个桌面应用之间完成任务的个人用户，可使用 Computer Use Mode 让代理根据屏幕截图操作界面。
- 需要在浏览器和终端之间处理工作的开发者，可使用 Background Mode 在继续使用鼠标和键盘时运行网页自动化与终端操作。
- 需要通过快捷键快速发起语音输入式任务的 macOS 用户，可用 `⌃⇧C` 或 `⌃⇧B` 选择前台或后台执行方式。
- 想先让代理查看当前屏幕并获得简短提示的用户，可使用 `⌘⇧H` 的 help mode。
- 需要随时中断桌面自动化的用户，可通过 `⌘⇧S` 停止代理。
这个 Agent 有哪些优点和局限？
- 提供两种明确的执行模型：直接控制桌面的 Computer Use Mode，以及不占用输入设备的 Background Mode。
- Background Mode 明确采用 Chrome DevTools Protocol 进行网页自动化，并结合终端处理其他操作。
- 以 Tauri、React、Rust 和 Tokio 构建，支持通过 `npm run tauri dev` 开发运行及 `npm run tauri build` 生产构建。
- 必须配置 Anthropic API 密钥，模型提供方依赖于 Anthropic。
- Computer Use Mode 会直接控制屏幕、光标和键盘，用户在代理执行时需要让出这些输入设备。
- macOS 需要辅助功能权限；提供的资料没有说明其他操作系统的支持情况。
- 许可信息存在冲突：仓库元数据为 NOASSERTION，而 README 指向 Apache License 2.0。
如何安装或部署这个 Agent？
需要 Rust、Cargo、Node.js、npm 和 Anthropic API 密钥。执行：npm installecho "ANTHROPIC_API_KEY=your-key-here" > .env
开发运行：npm run tauri dev
生产构建：npm run tauri build
在 macOS 上，按提示在“系统设置 → 隐私与安全性 → 辅助功能”授予辅助功能权限。
如何使用这个 Agent？
启动后，用自然语言描述任务。按 ⌃⇧C 通过 push-to-talk 启动 Computer Use Mode，供代理直接操作屏幕、鼠标和键盘；按 ⌃⇧B 启动 Background Mode，使用 Chrome DevTools Protocol 和终端在后台处理任务。需要屏幕截图和快速提示时按 ⌘⇧H，需要终止时按 ⌘⇧S。
这个 Agent 与同类方案有什么区别？
该项目内部提供两种模式：Computer Use Mode 直接控制桌面；Background Mode 通过 Chrome DevTools Protocol 和终端异步执行，不操作鼠标或键盘。