OSWorld

这个 Agent 能做什么，适合哪些场景？

OSWorld 是一个面向开放式真实计算机任务的多模态智能体基准与执行环境。它通过 DesktopEnv 启动 Ubuntu 或 Windows 虚拟机，并支持 VMware、VirtualBox、Docker、Modal、Daytona 和 AWS 等运行提供方。评测时，用户实现智能体接口后，可通过 run.py 或 scripts/python/run_multienv.py 执行任务；README 示例使用截图观测和 GPT-4o。运行结果写入指定的结果目录，包含截图、动作和任务完成过程的视频记录，并可由 show_result.py 汇总成功率。仓库也提供手动任务检查脚本，以及面向公开验证排行榜的评测流程。

先安装依赖并初始化 DesktopEnv，指定 provider_name、虚拟机路径或相应提供方配置。智能体从环境接收观测，例如 screenshot，再执行动作完成 evaluation_examples 中的任务；单环境可用 run.py，并行环境可用 scripts/python/run_multienv.py。执行过程会保存截图、动作和视频到 result_dir，随后 show_result.py 输出领域、类别和总体成功率；--detailed 会显示各领域的“score/total”。scripts/python/manual_examine.py 可针对指定 domain 和 example ID 人工执行、录制并核验任务。

1. 研究团队需要在 Ubuntu 或 Windows 虚拟机中，用统一任务集比较截图驱动的计算机操作模型时。
2. 智能体开发者实现了 OSWorld 的 agent interface，希望通过 run.py 进行单环境回归评测时。
3. 需要并行运行大量桌面任务的评测工程师，可在具备相应条件时使用 Docker、AWS 或其他已列提供方。
4. 发现某个 LibreOffice 或其他领域任务异常的维护者，需要用 manual_examine.py 复现并记录执行过程时。
5. 希望将模型在公开验证排行榜上的结果由项目维护方核验的机构或团队。

如何安装或部署这个 Agent？

在 Python 3.10 或更高版本环境中执行：

git clone https://github.com/xlang-ai/OSWorld
cd OSWorld
pip install -r requirements.txt

桌面或裸机部署还需安装 VMware Workstation Pro；Apple 芯片设备使用 VMware Fusion，并配置 vmrun，可用 vmrun -T ws list 验证。VirtualBox 是可选替代方案。若只安装环境而不带基准任务，可执行 pip install desktop-env。使用 Docker 提供方时，README 建议在 Linux 上先用 egrep -c '(vmx|svm)' /proc/cpuinfo 检查 KVM 支持，并安装 Docker。

如何使用这个 Agent？

最小验证可执行 python quickstart.py；若使用 VMware 虚拟机路径，可执行 python quickstart.py --provider_name vmware --path_to_vm "path/to/your/vm.vmx"。运行 README 中的 GPT-4o 基线前，设置 export OPENAI_API_KEY='changeme'，随后可用 python run.py --provider_name vmware --path_to_vm Ubuntu/Ubuntu.vmx --headless --observation_type screenshot --model gpt-4o --sleep_after_execution 3 --max_steps 15 --result_dir ./results --client_password password。Docker 并行示例使用 scripts/python/run_multienv.py 和 --num_envs 10；结束后可运行 python show_result.py --detailed 查看细分结果。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. v0.1.16 2024-06-26
   发布说明摘录

   :package: What’s New? VM + Cloud support! - New VirtualBox to allow free VM snapshots - AWS Support w/ optimized interface mappings and instance types - Fixes for reported annotation bugs - Support new models from Gemini 1.5-Pro, Llama-3, and Qwen - Add more detailed README on proxy and so. Contributors Thanks to all the contributors who have helped with this release! <a href="https://github.com/xlang-ai/OSWorld/graphs/contributors"> <img src="https://contrib.rocks/image?repo=xlang-ai/OSWorld" /> </a>

   在 GitHub 查看 ↗
2. v0.1.0 2024-04-11
   发布说明摘录

   The first release of the [OSWorld](https://os-world.github.io/) environment See our [README](https://github.com/xlang-ai/OSWorld/blob/main/README.md) for details! Contributors Thanks to all the contributors who have helped with this release! <a href="https://github.com/xlang-ai/OSWorld/graphs/contributors"> <img src="https://contrib.rocks/image?repo=xlang-ai/OSWorld" /> </a>

   在 GitHub 查看 ↗

常见问题