Open Computer Use(E2B 云桌面)

用开源模型在隔离云桌面中执行键盘、鼠标和命令操作。

Star 数
★ 2.4k
最近更新
16 天前
License
Apache-2.0
主语言
Python

30 秒速览

运行形态
命令行工具网页应用
可在哪里用
平台专用OpenAI API · Claude API
费用
软件免费,模型调用费用自付
上手难度
中 · 需要几步配置
开始前需要
Python 3.10 或更高版本gitPoetryffmpegE2B API 密钥LLM 提供商 API 密钥Shell / 命令行网络访问
典型场景
需要在隔离云端 Ubuntu 桌面中让模型执行键盘、鼠标及命令操作的开发者。
不适合
  • 无法获取 E2B API key 或不愿为多个模型供应商单独注册账号的用户
  • 只使用 Windows 或 macOS 且需要官方安装文档的用户

这个 Agent 能做什么,适合哪些场景?

Open Computer Use 是一个由开源大语言模型控制的云端 Linux 电脑,运行在 E2B Desktop Sandbox 上。它通过键盘、鼠标和 shell 命令操作沙箱,并将沙箱显示画面实时流式传输到客户端。项目提供网页界面,用户可以随时暂停代理并补充提示。默认使用 Ubuntu,但项目说明其设计目标是支持其他操作系统。模型选择在 os_computer_use/config.py 中配置,providers.py 提供多家模型服务商及 OS-Atlas、ShowUI 的接入。

启动后,代理接收用户提示,在 E2B Desktop Sandbox 提供的云端 Linux 环境中执行键盘、鼠标和 shell 命令操作,并向客户端直播该桌面的显示画面。用户可在执行期间暂停并再次提示代理。模型配置位于 os_computer_use/config.py,例如 grounding_model 可设为 providers.OSAtlasProvider(),vision_model 和 action_model 可设为 providers.GroqProvider("llama3.2")、providers.GroqProvider("llama3.3")。providers.py 所列支持路径覆盖 Fireworks、OpenRouter、Llama API、Groq、DeepSeek、Google、OpenAI、Anthropic、HuggingFace Spaces、Moonshot 和 Mistral AI。

  1. 需要在隔离云端 Ubuntu 桌面中让模型执行键盘、鼠标及命令操作的开发者。
  2. 想通过实时桌面画面观察并随时暂停 AI 电脑操作的用户。
  3. 需要在 config.py 中切换 Groq、OpenAI、Anthropic、Gemini 或其他已列服务商模型的团队。
  4. 希望以 OS-Atlas 或 ShowUI 作为 grounding 模型进行电脑操作实验的研究者。
  5. 希望从命令行带入首条任务提示、例如让代理使用网页浏览器查询旧金山天气的用户。

如何安装或部署这个 Agent?

前提条件为 Python 3.10 或更高版本、git、E2B API key,以及所选 LLM 服务商的 API key。在终端安装 Poetry 和 ffmpeg:brew install poetry ffmpeg。随后运行 git clone https://github.com/e2b-dev/open-computer-use/,进入目录 cd open-computer-use,创建 .env 并设置 E2B_API_KEY="your-e2b-api-key"。再按 config.py 中选择的服务商设置对应密钥,例如 GROQ_API_KEY、OPENAI_API_KEY 或 ANTHROPIC_API_KEY;使用 HuggingFace Spaces 时还需提供 HF_TOKEN 以绕过 Gradio 速率限制。最后运行 poetry install。

如何使用这个 Agent?

在项目目录执行 poetry run start 启动网页界面;程序会打开并请求第一条指令。若要直接传入任务,执行 poetry run start --prompt "use the web browser to get the current weather in sf"。启动数秒后应可看到沙箱显示流。可在 os_computer_use/config.py 调整 grounding_model、vision_model 和 action_model,并确保 .env 中存在所选服务商的密钥。

这个 Agent 有哪些优点和局限?

优点
  • 以 E2B Desktop Sandbox 提供隔离的云端 Linux 桌面,并把桌面显示实时流式传输到客户端。
  • 同一代理可通过 config.py 组合 grounding、vision 与 action 模型,而非限定单一模型服务商。
  • 除主流 API 服务商外,还明确列出 OS-Atlas 和 ShowUI 的 grounding 接入。
  • 执行期间允许用户暂停并追加提示,便于人工介入。
局限
  • 核心执行环境依赖 E2B Desktop Sandbox,采用前需要 E2B API key。
  • 除 HuggingFace Spaces 外,所选模型服务商通常需要单独 API key,带来账户、计费和密钥管理成本。
  • 文档的安装命令使用 brew,并将 Poetry 与 ffmpeg 列为前置依赖;其他安装环境的具体步骤未在所给资料中说明。
  • 尽管设计目标是支持其他操作系统,已明确说明的运行系统是 Ubuntu,其他系统的配置与兼容性没有给出。

这个 Agent 与同类方案有什么区别?

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
Open Computer Use(E2B 云桌面) 当前 44 · 缺口较多 命令行工具免费 + 模型费 ★ 2.4k 16 天前 Python OpenAI API · Claude API
Open Computer Use(MCP 桌面服务) 79 · 表现良好 命令行工具免费 + 模型费 ★ 2.9k 1 天前 Swift Codex · Claude Code
Hermes Agent 74 · 存在缺口 命令行工具免费 + 模型费 ★ 262k 今天 Python OpenAI API
Clawd Cursor 72 · 存在缺口 MCP 服务器免费 + 模型费 ★ 407 今天 TypeScript Codex · Claude Code

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
44/ 100 五分制 2.2 / 5
信任安全 11/29
可靠稳定 5/14
适用触发 8/18
规范维护 9/18
有效结果 7/13
证据核验 4/8
查看各维度的扣分理由
信任安全11 / 29 · 1.9/5

README 說明使用 E2B Desktop Sandbox、鍵盤/滑鼠/殼層操作及多家模型,並稱使用者可暫停並提示;main.py 會開啟 VNC 用戶端,執行代理後在 finally 中終止 sandbox。這些內容提供有限的隔離、可見性和停止機制,因此相關項目給 1;但來源沒有呈現權限配置、敏感資料政策、逐項確認或復原流程,且 sandbox 不能消除代理操作造成的外部效果。依賴安全也只有 pyproject.toml 的版本範圍,未見鎖定或審查證據,故給 1。README 對 E2B、模型及相關專案有明確致謝與連結,來源歸屬給 2;維護者身份與更新責任則不夠清楚。

可靠稳定5 / 14 · 1.8/5

main.py 對代理錯誤會印出訊息並返回提示,但 sandbox 建立等流程的錯誤處理及回報有限,因此 failure_messages 為 1。README 描述的即時顯示與 main.py 目前啟動的 VNC 流程並不完全一致,且註解提到特定桌面映像缺少 ffmpeg;這些可見的不一致使 self_consistency 為 1。README 列出 Python、Poetry、ffmpeg、E2B 和模型金鑰等需求,但沒有可用性或替代方案證據,dependency_availability 為 1。

适用触发8 / 18 · 2.2/5

README 指出適用於以自然語言指示代理操作桌面、可更換模型並列出多個模型提供者,也提供啟動範例;一般使用情境有交代,audience_and_scenarios 給 2。它未充分界定允許的操作、停止條件或高風險任務邊界,因此 capability_boundaries 與 trigger_precision 各給 1。雖稱設計可支援不同作業系統,但安裝指示採用 macOS 的 brew,程式中也有 Ubuntu 與桌面映像相關說明,環境適配證據有限,environment_fit 給 1。

规范维护9 / 18 · 2.5/5

README 以功能、設計、模型支援和入門流程組織內容,並連到設定及提供者檔案,資訊架構給 2。安裝步驟足以指出主要前置條件和啟動命令,但只示範 brew,沒有平台差異或疑難排解,因此 install_notes 為 1。專案名、套件名和腳本名稱在所見檔案中大致穩定,naming_stability 給 2;有簡短啟動範例但沒有 FAQ,examples_and_faq 給 1。README 和程式註解揭示部分限制,但未提供完整已知限制清單,known_limitations 為 1。LICENSE 含完整 Apache 2.0 條款,license 給 3。pyproject.toml 有 0.1.0 版本,但所見材料沒有變更紀錄,versioning_changelog 為 1。README 邀請提交提供者變更 PR,但維護責任和更新路徑仍有限,maintenance_responsibility 為 1。

有效结果7 / 13 · 2.7/5

產品提供桌面操作、VNC 觀看、可選模型及提示輸入;README 有啟動命令,main.py 會建立輸出目錄並處理 Ctrl-C,輸出使用方式有一定可用性,output_usability 給 2。相對於一般模型聊天,透過 sandbox 將模型連到圖形桌面並可查看畫面是明確增益,marginal_value 給 2。成本效益僅能從必須配置 E2B 與至少一個模型 API 金鑰看出,沒有成本、資源用量或效能資訊,因此 cost_benefit 給 1。

证据核验4 / 8 · 2.5/5

README 的安裝需求、提供者清單和主要操作描述可與 pyproject.toml、main.py 中的依賴及啟動流程部分對照,claim_traceability 給 2。不同來源之間只有有限交叉佐證,而且 README 的 display stream 描述與 main.py 的 VNC 流程有差異,cross_source_corroboration 給 1。文件有列出具體功能和依賴,但部分安全、跨系統與模型支援說法未在所見程式中得到充分驗證;材料也未明確區分已實作內容與設計意圖,因此 fact_inference_separation 給 1。

风险与缓解建议
  • 代理可透過鍵盤、滑鼠和殼層操作 sandbox;使用前應確認可見畫面、模型提供者及其 API 金鑰適合要處理的資料。
  • 所見材料沒有展示逐項操作確認、敏感資料處理政策或復原流程;不要把 sandbox 終止等同於撤銷已發生的外部效果。
证据充分度:低 评估于 2026年11月8日 审查版本 ee1025911c36
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/open-computer-use.svg?lang=zh)](https://followagents.com/zh/agents/open-computer-use)
<a href="https://followagents.com/zh/agents/open-computer-use"><img src="https://followagents.com/badge/open-computer-use.svg?lang=zh" alt="FARS 评测"></a>

常见问题

需要哪些凭证?
必须提供 E2B_API_KEY,并为 config.py 中实际选择的模型服务商提供相应 API key。HuggingFace Spaces 不要求其模型 API key,但资料要求设置 HF_TOKEN 以绕过 Gradio 速率限制。
代理实际能操作什么?
已明确说明的操作方式是键盘、鼠标和 shell 命令;它操作的是 E2B Desktop Sandbox 中的云端 Linux 电脑。
我能在执行中接管吗?
可以。用户可在任何时候暂停代理并提供新的提示。
能否使用 OpenAI 或 Anthropic 模型?
可以。providers.py 所列支持 OpenAI 的 GPT-4o、GPT-4o mini,以及 Anthropic 的 Claude;需在配置中选择并设置对应 API key。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓