Open Computer Use(E2B 云桌面)
用开源模型在隔离云桌面中执行键盘、鼠标和命令操作。
- Star 数
- ★ 2.4k
- 最近更新
- 16 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 44/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 平台专用OpenAI API · Claude API
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 需要在隔离云端 Ubuntu 桌面中让模型执行键盘、鼠标及命令操作的开发者。
- 不适合
- 无法获取 E2B API key 或不愿为多个模型供应商单独注册账号的用户
- 只使用 Windows 或 macOS 且需要官方安装文档的用户
- 源码审查
- 44/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
Open Computer Use 是一个由开源大语言模型控制的云端 Linux 电脑,运行在 E2B Desktop Sandbox 上。它通过键盘、鼠标和 shell 命令操作沙箱,并将沙箱显示画面实时流式传输到客户端。项目提供网页界面,用户可以随时暂停代理并补充提示。默认使用 Ubuntu,但项目说明其设计目标是支持其他操作系统。模型选择在 os_computer_use/config.py 中配置,providers.py 提供多家模型服务商及 OS-Atlas、ShowUI 的接入。
启动后,代理接收用户提示,在 E2B Desktop Sandbox 提供的云端 Linux 环境中执行键盘、鼠标和 shell 命令操作,并向客户端直播该桌面的显示画面。用户可在执行期间暂停并再次提示代理。模型配置位于 os_computer_use/config.py,例如 grounding_model 可设为 providers.OSAtlasProvider(),vision_model 和 action_model 可设为 providers.GroqProvider("llama3.2")、providers.GroqProvider("llama3.3")。providers.py 所列支持路径覆盖 Fireworks、OpenRouter、Llama API、Groq、DeepSeek、Google、OpenAI、Anthropic、HuggingFace Spaces、Moonshot 和 Mistral AI。
- 需要在隔离云端 Ubuntu 桌面中让模型执行键盘、鼠标及命令操作的开发者。
- 想通过实时桌面画面观察并随时暂停 AI 电脑操作的用户。
- 需要在 config.py 中切换 Groq、OpenAI、Anthropic、Gemini 或其他已列服务商模型的团队。
- 希望以 OS-Atlas 或 ShowUI 作为 grounding 模型进行电脑操作实验的研究者。
- 希望从命令行带入首条任务提示、例如让代理使用网页浏览器查询旧金山天气的用户。
如何安装或部署这个 Agent?
前提条件为 Python 3.10 或更高版本、git、E2B API key,以及所选 LLM 服务商的 API key。在终端安装 Poetry 和 ffmpeg:brew install poetry ffmpeg。随后运行 git clone https://github.com/e2b-dev/open-computer-use/,进入目录 cd open-computer-use,创建 .env 并设置 E2B_API_KEY="your-e2b-api-key"。再按 config.py 中选择的服务商设置对应密钥,例如 GROQ_API_KEY、OPENAI_API_KEY 或 ANTHROPIC_API_KEY;使用 HuggingFace Spaces 时还需提供 HF_TOKEN 以绕过 Gradio 速率限制。最后运行 poetry install。
如何使用这个 Agent?
在项目目录执行 poetry run start 启动网页界面;程序会打开并请求第一条指令。若要直接传入任务,执行 poetry run start --prompt "use the web browser to get the current weather in sf"。启动数秒后应可看到沙箱显示流。可在 os_computer_use/config.py 调整 grounding_model、vision_model 和 action_model,并确保 .env 中存在所选服务商的密钥。
这个 Agent 有哪些优点和局限?
- 以 E2B Desktop Sandbox 提供隔离的云端 Linux 桌面,并把桌面显示实时流式传输到客户端。
- 同一代理可通过 config.py 组合 grounding、vision 与 action 模型,而非限定单一模型服务商。
- 除主流 API 服务商外,还明确列出 OS-Atlas 和 ShowUI 的 grounding 接入。
- 执行期间允许用户暂停并追加提示,便于人工介入。
- 核心执行环境依赖 E2B Desktop Sandbox,采用前需要 E2B API key。
- 除 HuggingFace Spaces 外,所选模型服务商通常需要单独 API key,带来账户、计费和密钥管理成本。
- 文档的安装命令使用 brew,并将 Poetry 与 ffmpeg 列为前置依赖;其他安装环境的具体步骤未在所给资料中说明。
- 尽管设计目标是支持其他操作系统,已明确说明的运行系统是 Ubuntu,其他系统的配置与兼容性没有给出。
这个 Agent 与同类方案有什么区别?
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Open Computer Use(E2B 云桌面) 当前 | 44 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2.4k | 16 天前 | Python | OpenAI API · Claude API |
| Open Computer Use(MCP 桌面服务) | 79 · 表现良好 | 命令行工具免费 + 模型费 | ★ 2.9k | 1 天前 | Swift | Codex · Claude Code |
| Hermes Agent | 74 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 262k | 今天 | Python | OpenAI API |
| Clawd Cursor | 72 · 存在缺口 | MCP 服务器免费 + 模型费 | ★ 407 | 今天 | TypeScript | Codex · Claude Code |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README 說明使用 E2B Desktop Sandbox、鍵盤/滑鼠/殼層操作及多家模型,並稱使用者可暫停並提示;main.py 會開啟 VNC 用戶端,執行代理後在 finally 中終止 sandbox。這些內容提供有限的隔離、可見性和停止機制,因此相關項目給 1;但來源沒有呈現權限配置、敏感資料政策、逐項確認或復原流程,且 sandbox 不能消除代理操作造成的外部效果。依賴安全也只有 pyproject.toml 的版本範圍,未見鎖定或審查證據,故給 1。README 對 E2B、模型及相關專案有明確致謝與連結,來源歸屬給 2;維護者身份與更新責任則不夠清楚。
main.py 對代理錯誤會印出訊息並返回提示,但 sandbox 建立等流程的錯誤處理及回報有限,因此 failure_messages 為 1。README 描述的即時顯示與 main.py 目前啟動的 VNC 流程並不完全一致,且註解提到特定桌面映像缺少 ffmpeg;這些可見的不一致使 self_consistency 為 1。README 列出 Python、Poetry、ffmpeg、E2B 和模型金鑰等需求,但沒有可用性或替代方案證據,dependency_availability 為 1。
README 指出適用於以自然語言指示代理操作桌面、可更換模型並列出多個模型提供者,也提供啟動範例;一般使用情境有交代,audience_and_scenarios 給 2。它未充分界定允許的操作、停止條件或高風險任務邊界,因此 capability_boundaries 與 trigger_precision 各給 1。雖稱設計可支援不同作業系統,但安裝指示採用 macOS 的 brew,程式中也有 Ubuntu 與桌面映像相關說明,環境適配證據有限,environment_fit 給 1。
README 以功能、設計、模型支援和入門流程組織內容,並連到設定及提供者檔案,資訊架構給 2。安裝步驟足以指出主要前置條件和啟動命令,但只示範 brew,沒有平台差異或疑難排解,因此 install_notes 為 1。專案名、套件名和腳本名稱在所見檔案中大致穩定,naming_stability 給 2;有簡短啟動範例但沒有 FAQ,examples_and_faq 給 1。README 和程式註解揭示部分限制,但未提供完整已知限制清單,known_limitations 為 1。LICENSE 含完整 Apache 2.0 條款,license 給 3。pyproject.toml 有 0.1.0 版本,但所見材料沒有變更紀錄,versioning_changelog 為 1。README 邀請提交提供者變更 PR,但維護責任和更新路徑仍有限,maintenance_responsibility 為 1。
產品提供桌面操作、VNC 觀看、可選模型及提示輸入;README 有啟動命令,main.py 會建立輸出目錄並處理 Ctrl-C,輸出使用方式有一定可用性,output_usability 給 2。相對於一般模型聊天,透過 sandbox 將模型連到圖形桌面並可查看畫面是明確增益,marginal_value 給 2。成本效益僅能從必須配置 E2B 與至少一個模型 API 金鑰看出,沒有成本、資源用量或效能資訊,因此 cost_benefit 給 1。
README 的安裝需求、提供者清單和主要操作描述可與 pyproject.toml、main.py 中的依賴及啟動流程部分對照,claim_traceability 給 2。不同來源之間只有有限交叉佐證,而且 README 的 display stream 描述與 main.py 的 VNC 流程有差異,cross_source_corroboration 給 1。文件有列出具體功能和依賴,但部分安全、跨系統與模型支援說法未在所見程式中得到充分驗證;材料也未明確區分已實作內容與設計意圖,因此 fact_inference_separation 給 1。
- 代理可透過鍵盤、滑鼠和殼層操作 sandbox;使用前應確認可見畫面、模型提供者及其 API 金鑰適合要處理的資料。
- 所見材料沒有展示逐項操作確認、敏感資料處理政策或復原流程;不要把 sandbox 終止等同於撤銷已發生的外部效果。
常见问题
需要哪些凭证?
代理实际能操作什么?
我能在执行中接管吗?
能否使用 OpenAI 或 Anthropic 模型?
谢谢反馈,我们会据此改进页面。