效率与协作 desktop-automationcomputer-usemacosmcpollamaopenclawsafari-automation

TuriX

让多模型 AI 通过桌面 GUI 完成浏览器与办公软件操作。

FollowAgents 评估 · FARS-2.0
待评估
查看完整评分方法 →

这个 Agent 能做什么,适合哪些场景?

TuriX 是面向桌面自动化的计算机使用代理,主分支针对 macOS 运行,并要求 macOS 15+。用户在 examples/config.json 中定义任务以及 brain、actor、memory 模型;启用规划时还需配置 planner 模型。代理以屏幕上的 GUI 操作为执行边界,不依赖应用专属 API,可用于 Safari、办公软件和内部工具等人可点击操作的界面。它提供 MCP 接入,并展示了 Claude for Desktop 调用 TuriX 完成检索、写入 Pages 文档和发送给联系人的流程。项目也支持以 Markdown 技能文件辅助规划,并可通过 agent_id 与 memory.jsonl 恢复中断任务。

运行 python examples/main.py 时,TuriX 读取 examples/config.json 中的 agent.task 和模型角色配置,分别使用 brain_llm、actor_llm、memory_llm,以及可选的 planner_llm。模型端点可配置为 turix 提供方,或指向本地 Ollama 服务;要接入 build_llm 尚未定义的模型,需在 examples/main.py 中添加相应提供方实现,例如 ChatOpenAI、ChatGoogleGenerativeAI、ChatAnthropic 或 ChatOllama。启用 agent.use_plan 与 agent.use_skills 后,规划器先根据技能的 name 和 description 选择 Markdown 技能,brain 再使用完整技能内容制定步骤目标。执行时它通过桌面界面进行操作;恢复模式会从 src/agent/temp_files/<agent_id>/memory.jsonl 使用已有记忆继续同一任务。

  1. 需要在 macOS 上通过 Safari 完成网页流程的个人用户,例如检索信息后继续操作网页界面。
  2. 需要把 Numbers 中的数据整理为图表并放入 PowerPoint、随后回复联系人的办公用户。
  3. 需要搜索商品信息、创建 Pages 文档并发送给联系人的 macOS 用户。
  4. 希望由 Claude for Desktop 经 MCP 调用桌面执行器,将研究结果写入 Pages 并分享给联系人的团队成员。
  5. 想使用本地 Ollama 视觉模型执行桌面任务、并愿意为各模型角色配置本地服务地址的开发者。

这个 Agent 有哪些优点和局限?

优点
  • 将 brain、actor、memory 与可选 planner 分成独立模型角色,可为不同职责配置不同模型和端点。
  • 以桌面 GUI 为操作面,不要求目标应用提供专属 API,覆盖人类可点击的界面流程。
  • 提供 MCP 路径,并明确展示 Claude for Desktop 调用 TuriX 的桌面工作流。
  • Markdown 技能通过前置信息供规划器筛选,再把完整说明交给 brain,可为重复网页流程加入可读的操作规范。
  • 支持基于 agent_id 和 memory.jsonl 的中断任务恢复。
局限
  • 主分支文档明确为 macOS 15+ 配置,Windows 与 Linux 需要切换到各自分支。
  • 首次运行需要授予辅助功能及 Safari 自动化权限,权限配置失败会阻断桌面控制。
  • 主分支需要同时配置 brain、actor 和 memory 模型;启用规划还要配置 planner,模型与端点管理成本较高。
  • 使用 build_llm 未定义的模型需要修改 examples/main.py 并实现提供方适配。
  • 恢复功能依赖已有的 src/agent/temp_files/<agent_id>/memory.jsonl,并要求使用相同 task 与 agent_id。

如何安装或部署这个 Agent?

在 macOS 15+ 上执行:git clone https://github.com/TurixAI/TuriX-CUA.git && cd TuriX-CUA;随后执行 conda create -n turix_env python=3.12、conda activate turix_env、pip install -r requirements.txt。到“系统设置 > 隐私与安全性 > 辅助功能”授予终端和所用 IDE 权限;如仍无法操作,可加入 /usr/bin/python3。Safari 中需启用开发者功能、Allow Remote Automation 和 Allow JavaScript from Apple Events,并在出现的系统对话框中允许请求。

如何使用这个 Agent?

编辑 examples/config.json,将 agent.task 设为具体任务,并配置 brain_llm、actor_llm、memory_llm;若 agent.use_plan 为 true,也配置 planner_llm。使用远程模型时,为每个角色填写 provider、model_name、api_key 和 base_url;使用 Ollama 时,将各角色设为 provider: ollama,并填写 model_name 和 http://localhost:11434。若要使用技能,设置 agent.use_plan: true、agent.use_skills: true,并指定 skills_dir。完成配置后运行 python examples/main.py。要恢复任务,保持 task 不变,设置 agent.resume: true 和稳定的 agent.agent_id,且此前必须存在对应的 memory.jsonl。

这个 Agent 与同类方案有什么区别?

README 将默认模型与 UI-TARS 等此前开源代理比较,称其在 Mac 上的成功率和速度更高;项目同时报告 OSWorld 全量基准 64.2%(229.88/358)、排行榜第 3。该比较未提供 UI-TARS 的具体分数或相同测试配置。

常见问题

是否只能使用 TuriX 的模型?
不是。配置可指向自定义端点或本地 Ollama;但未被 build_llm 定义的模型需要在 examples/main.py 中加入提供方实现。
运行前必须授予哪些权限?
macOS 需要辅助功能权限;使用 Safari 时还需要开启远程自动化和来自 Apple Events 的 JavaScript,并接受系统弹窗。
能否从中断处继续任务?
可以。设置 resume: true 并复用同一 agent_id 和 task;对应目录必须已有 memory.jsonl。
支持 Windows 或 Linux 吗?
README 指向 multi-agent-windows 和 multi-agent-linux 分支提供相应支持;当前主分支的快速开始说明面向 macOS。

相关 Agents