TARS 多模态操作栈
用视觉模型和自然语言操作电脑、浏览器及外部 MCP 工具。
- Star 数
- ★ 40k
- 最近更新
- 28 天前
- License
- Apache-2.0
- 主语言
- TypeScript
- FA 评分
- 30/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配Claude API
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 需要在终端中调用多模态模型、并以 CLI 或 Web UI 执行任务的开发者。
- 不适合
- 无法使用 Node.js 22 及以上版本的环境
- 需要完整中文安装与部署文档的用户
这个 Agent 能做什么，适合哪些场景？
TARS 是一个多模态 AI Agent 栈，当前包含 Agent TARS 与 UI-TARS Desktop 两个项目。Agent TARS 提供 CLI 和 Web UI，可在终端、电脑、浏览器及产品环境中执行任务，并可使用 GUI、DOM 或混合方式控制浏览器。其内核基于 MCP，可挂载 MCP Server 连接现实工具，并通过协议驱动的 Event Stream 支持上下文工程和 Agent UI。UI-TARS Desktop 是由 UI-TARS 与 Seed-1.5-VL/1.6 系列模型驱动的原生 GUI Agent，提供本地及远程的电脑和浏览器操作能力。桌面端声明支持 Windows、macOS 和浏览器，包含截图识别、鼠标键盘控制与实时状态反馈。
用户可通过 npx @agent-tars/cli@latest 启动 Agent TARS，或以 agent-tars --provider ... --model ... --apiKey ... 运行指定模型提供商。它接收自然语言任务，结合 GUI Agent、视觉能力，以及浏览器的 visual grounding、DOM 或混合控制策略来执行操作；也可挂载 MCP Servers 调用外部工具。运行过程由 Event Stream 驱动，面向上下文工程和 Agent UI 传递数据流。UI-TARS Desktop 则将自然语言指令转化为本地或远程电脑、浏览器中的截图识别、鼠标与键盘操作，并显示实时反馈和状态。
- 需要在终端中调用多模态模型、并以 CLI 或 Web UI 执行任务的开发者。
- 需要让自动化流程在浏览器中结合页面视觉信息与 DOM 信息操作网页的团队。
- 需要把天气、图表等外部服务接入任务流，并通过 MCP Server 生成结果的用户。
- 希望用自然语言调整 VS Code 设置（如启用自动保存并设置延迟）的桌面用户。
- 需要让 GUI Agent 在本地或远程浏览器中查看 GitHub 项目最新开放议题的用户。
如何安装或部署这个 Agent？
安装 Agent TARS CLI 需要 Node.js 22 或更高版本。可直接运行：npx @agent-tars/cli@latest；或全局安装：npm install @agent-tars/cli@latest -g。UI-TARS Desktop 的 README 仅指向 docs/quick-start.md，但所提供材料未包含该文件内容，因此无法据此给出可核验的桌面端安装命令。
如何使用这个 Agent？
准备相应提供商的 API Key 后，可运行例如：agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key，或 agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key。随后以自然语言描述任务，Agent TARS 可采用浏览器 GUI、DOM 或混合策略，并可配置 MCP Servers。桌面端支持本地与远程电脑、浏览器操作，但提供的材料没有给出其启动、模型配置或远程会话的具体步骤。
这个 Agent 有哪些优点和局限？
- 同一代码库同时提供 Agent TARS 的 CLI/Web UI 与 UI-TARS Desktop 的原生 GUI 操作路径。
- 浏览器控制明确支持 visual grounding、DOM 及混合策略，而非只依赖单一交互方式。
- MCP 是内核基础能力，可挂载 MCP Servers 连接外部工具。
- 桌面端明确列出截图与视觉识别、精确鼠标键盘控制及实时状态显示。
- CLI 的全局安装要求 Node.js 22 或更高版本。
- 已给出的运行示例需要模型提供商和 API Key；材料未说明其他提供商的配置方式。
- UI-TARS Desktop 的快速开始文档内容未提供，无法核验安装、模型获取与启动细节。
- 桌面端虽声明“完全本地处理”，但所给材料未说明权限机制、失败恢复或安全边界的技术实现。
这个 Agent 与同类方案有什么区别？
仓库将 UI-TARS Desktop 定位为原生桌面 GUI Agent，并在“use in browser”位置列出 Midscene；所给材料没有提供两者的功能或性能对比。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| TARS 多模态操作栈 当前 | 30 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 40k | 28 天前 | TypeScript | Claude API |
| Row-Bot | 59 · 缺口较多 | 桌面应用免费 + 模型费 | ★ 1.7k | 今天 | Python | ChatGPT · Codex · Claude.ai · OpenAI API · Claude API |
| Skales | 36 · 缺口较多 | 桌面应用免费版 + 付费版 | ★ 2.2k | 3 天前 | — | ChatGPT · OpenAI API · Claude API |
| Rakazo AI 队友 | 63 · 存在缺口 | 自托管服务免费 + 模型费 | ★ 7.2k | 今天 | TypeScript | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示仓库包含SECURITY.md和依赖锁定，但未提供权限最小化、用户确认、数据流透明、敏感数据处理、外部影响、回滚或来源归属的具体实现。因此这些标准得分为0。
存在测试文件（如browser-control-strategies.test.ts）和CI工作流，表明一定的一致性，但未提供失败消息或依赖可用性的详细证据。因此self_consistency和dependency_availability得分为1，failure_messages为0。
README展示了多种使用场景（CLI、Web UI、浏览器控制），但能力边界和触发精度描述不明确。因此audience_and_scenarios和environment_fit得分为2，capability_boundaries和trigger_precision为1。
信息架构清晰，安装说明存在，许可证为Apache-2.0，但缺少已知限制和版本变更日志。因此information_architecture、install_notes、examples_and_faq得分为2，naming_stability、versioning_changelog、maintenance_responsibility为1，known_limitations为0，license为3。
输出可用性未详细说明，但边际价值较高（多功能Agent），成本效益未明确。因此output_usability为1，marginal_value为2，cost_benefit为1。
README中的声明部分有文档链接，但缺乏独立验证和事实与推断的明确分离。因此claim_traceability、cross_source_corroboration、fact_inference_separation均为1。
- 源码中未见：最小权限约束只授予完成任务所需的权限：用专用账号或只读令牌，并限定可访问的目录和仓库。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：数据流向说明运行时观察它连接了哪些外部服务（代理或防火墙日志）；弄清数据去向之前不要输入敏感数据。
- 源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
- 源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
- 源码中未见：外部影响披露先弄清它会写入、发送或修改哪些外部系统，用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 源码中未见：来源归属可核验从官方仓库或包源安装，核对发布者和仓库地址，避免同名仿冒包。
- 未验证发布者身份，需谨慎对待来源。
- 缺少权限最小化和用户确认机制，可能过度授权。
- 未提供数据流透明度和敏感数据处理细节，需审查。
- 依赖安全仅靠锁定文件，未提供漏洞扫描证据。
- 外部影响和回滚机制未说明，操作风险需评估。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
发布说明摘录
This release closes several security issues in the Agent TARS CLI server (@agent-tars/cli, @tarko/agent-server). It changes how the server can be reached, so please read Upgrading from 0.3.0 before you update. Upgrading from 0.3.0 If you run the CLI on your own machine and open it at http://localhost, nothing changes. Otherwise: - The server only listens on 127.0.0.1 by default. It used to listen on all network interfaces. To reach it from another machine or from outside a container, pass --host, e.g. --host 0.0.0.0. …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed New Features 🎉 * feat(gui-agent): add example for 2.0 version (#1732) by @ZhaoHeh in 39ee4a8 * feat(gui-agent): add image detail calculator for enhanced screenshot processing (#1724) by @ZhaoHeh in 71e6e1a * feat(aio-operator): remove focus from the address bar after navigation (#1723) by @ZhaoHeh in 9fb722b * feat(o-gui-agent): add image's detail parameter into message (#1722) by @ZhaoHeh in 53bb572 * feat(tarko-agent-ui): add copy link option to share conversation modal (#1706) by @ULIVZ in 89b0021 * feat(tarko): add event stream viewer (#1374) by @ULIVZ in 41bf5b9 …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed New Features 🎉 * feat(tarko-agent-ui): new layout design (#1553) by @ULIVZ in 21d59fb * feat(tarko-agent-server-next): support replacing server global logger (#1554) by @cjraft in 4228662 * feat(tarko-agent-server-next): add initial events for agent when change model (#1552) by @cjraft in 55ae6d7 * feat(tarko-agent): restore events on agent session restore (#1548) by @ULIVZ in 1282b70 * feat: add @tarko/agent-server-next (#1551) by @cjraft in 043a901 * feat(tarko-agent-ui): disable model selector during agent run (#1520) by @ULIVZ in 751be28 …在 GitHub 查看 ↗
常见问题
远程电脑和远程浏览器操作是否收费？
可以使用 Anthropic 模型吗？
--provider anthropic 与 claude-3-7-sonnet-latest 的 CLI 示例，且需要 API Key。