VirtualHome

这个 Agent 能做什么，适合哪些场景？

VirtualHome 是一个通过程序序列模拟复杂家庭活动的交互式仿真平台，支持拾取物体、开关家电等复杂环境交互，并可模拟多智能体行为。它由两个模拟器组成：基于 Unity 的 Unity Simulator（生成活动视频）和纯 Python 的 Evolving Graph（输出逐步演化的环境图）。用户通过 Python API 编写指令序列，模拟器将其渲染为视频或图序列，同时可输出时间戳动作、实例/语义分割、光流和深度等真值数据。2.3 版本新增程序化环境生成、增强物理模拟、日夜同步时间系统和实时光照。项目还提供 OpenAI Gym 风格的 RL 环境（unity_environment.py），可与 Ray 并行扩展，用于具身智能研究。

读取以指令序列表示的活动程序和环境图，运行两个模拟器：Unity Simulator 通过下载的可执行文件渲染活动视频和快照，Evolving Graph 在纯 Python 中输出程序执行后的环境图序列。通过 simulation.unity_simulator.comm_unity.UnityCommunication 连接可执行文件，可指定端口和 X display 并同时打开多个实例。提供 simulation/environment/unity_environment.py 中的 UnityEnvironment 基类作为 RL 环境，test_unity_environment_mp.py 演示与 Ray 的并行组合。数据集脚本可经 helper_scripts/download_dataset.sh 下载，dataset_utils 中的 augment_dataset_locations.py 和 augment_dataset_exceptions.py 用 KB-RealEnv 和 KB-ExceptionHandler 两个知识库增强脚本。

1. 具身 AI 研究人员需要可复现的家庭环境来训练和评测智能体策略
2. 计算机视觉研究者需要带实例/语义分割、深度和光流真值的合成数据
3. 强化学习工程师需要 Gym 风格环境并通过 Ray 并行扩展训练
4. 多智能体协作研究者模拟人与 AI 协作场景（如 Watch-and-Help 挑战）
5. 需要生成家庭活动视频或快照数据集的团队

如何安装或部署这个 Agent？

安装 Python 包：

pip install virtualhome

下载对应平台的 Unity Simulator 可执行文件并放入 simulation/unity_simulator 目录（Linux、macOS、Windows 版本均可在 virtual-home.org 下载），或直接运行脚本下载：

./helper_scripts/download_dataset.sh

无显示器环境可用 Docker（仓库提供 docker 目录）或 X server 运行。

如何使用这个 Agent？

1. 启动模拟器（建议窗口模式）：

./path_to_exec -screen-fullscreen 0 -screen-quality 4

1. 运行 Jupyter 演示 demo/unity_demo.ipynb，或直接生成视频/快照：

cd demo/
python generate_video.py

cd demo/
python generate_snapshots.py

1. 在 Linux 无头模式下，先启动 X server，再用指定 display 启动可执行文件：

sudo python helper_scripts/startx.py $display_num

DISPLAY=:display_num ./{path_sim}/{exec_file}.x86_64 -batchmode

或通过 Python 指定可执行文件：

from simulation.unity_simulator import comm_unity
comm = comm_unity.UnityCommunication(file_name=file_name, port={your_port}, x_display={your_display})

1. RL 环境：

cd demo
python test_unity_environment.py

cd demo
python test_unity_environment_mp.py

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题