SimWorld 具身智能模拟器
在逼真的物理与社会世界中开发和评测多模态自主智能体。
- Star 数
- ★ 819
- 最近更新
- 7 个月前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 54/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配OpenAI API(部分支持)
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 具身智能研究者需要在带物理规则的城市或室内场景中评测视觉语言模型的导航、规划和物体交互能力。
- 不适合
- 没有独立GPU或大容量硬盘的开发者
- 希望一条命令即可运行、无需单独启动UE服务器的用户
- 官网
- simworld.org ↗ 来自 GitHub 仓库设置
- 维护状态
- 超过半年没有提交最近提交 2026-04-16最新版本 v0.1.0(2026-05-30)近 7 天每天 +0.6 ★
- 源码审查
- 54/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
SimWorld 是一个基于 Unreal Engine 5 的模拟平台,用于开发和评测在复杂物理及社会环境中运行的 LLM/VLM 智能体。系统由 Unreal Engine 后端、环境层和智能体层组成,分别负责场景与物理模拟、城市及交通生成、Gym 风格接口,以及基于多模态观察的决策和动作执行。Python 包包含 Communicator、Humanoid、Map、BaseLLM、本地动作规划器、城市生成、交通、天气和资源检索等组件。智能体可接收位置、朝向、RGB、深度或分割图等观察,并通过移动、旋转、拾取和坐下等动作与 UE 世界交互。部署边界包括本地 Python 客户端和单独启动的 UE 服务器;基础包提供两个轻量城市地图和一个空地图,另有可选的 100 多个预制地图。
典型流程先以 Communicator(UnrealCV()) 连接已启动的 Unreal Engine 服务器,再通过 Humanoid 和 communicator.spawn_agent 在地图中生成智能体。环境可调用 communicator.get_camera_observation、UnrealCV 的位置与朝向接口,形成包含位置、方向和第一视角图像的观察。示例中的 BaseLLM("gpt-4o") 根据观察和目标生成自然语言动作,环境解析后调用 communicator.humanoid_step_forward 或 communicator.humanoid_rotate 执行。平台还可通过 communicator.spawn_object 放置物体、通过 communicator.generate_world 按配置生成城市,并用 communicator.clear_env 清理环境。YAML 配置控制随机种子、时间步长、UE 蓝图路径,以及城市生成、交通、资源检索和智能体/模型选项;运行结果可包括新的多模态观察、基于目标距离的奖励和任务成功状态。
- 具身智能研究者需要在带物理规则的城市或室内场景中评测视觉语言模型的导航、规划和物体交互能力。
- 机器人团队希望先在 UE 场景中验证行人、车辆或机器人动作策略,再决定是否进入实体测试。
- 多智能体研究者需要构建包含交通和社会互动的场景,研究协作、策略推理或行为评测。
- 数据与仿真工程师希望用 RGB、深度和分割传感器生成结构化观察,供训练或基准实验使用。
- 场景开发者已有 Unreal Engine 地图、资源或角色模型,希望将其打包为
.pak并接入统一的 Python 控制接口。 - 课程或原型团队需要用基础地图和 Gym 风格的
reset/step循环快速演示自主导航。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pip install -e
- 环境变量
MAP_PATH- 配置文件
config/example.yamlconfig/your_config.yaml- 运行环境
- Python 3.10+
- 安装说明涉及
- Windows · Linux
如何安装或部署这个 Agent?
要求 Windows 或 Linux、Python 3.10 及以上、独立显卡且显存至少 6GB、32GB 内存,以及按安装包不同准备 50–200GB 磁盘空间。
安装 Python 客户端:
git clone https://github.com/SimWorld-AI/SimWorld.git
cd SimWorld
conda create -n simworld python=3.10
conda activate simworld
pip install -e .随后下载并解压对应系统的 Base UE 服务器包。Base 是必需组件,包含两个城市地图和一个空地图;可选地图以独立 .pak 文件提供,需要复制到服务器目录的 SimWorld/Content/Paks/。若需自定义配置,可执行 cp config/example.yaml config/your_config.yaml,填写本地路径后通过 Config('path/to/your_config') 加载绝对路径。示例使用 BaseLLM("gpt-4o"),但来源没有说明 API 凭据的环境变量、配置项或获取方式,采用该模型前需自行确认相关认证配置。
如何使用这个 Agent?
先启动 UE 服务器。Windows 可双击 SimWorld.exe,或执行 ./SimWorld.exe <MAP_PATH>;Linux 执行 ./SimWorld.sh <MAP_PATH>。<MAP_PATH> 是 Unreal Engine 内部地图路径,例如 /Game/hospital/map/demo.umap;省略时打开 /Game/Maps/demo_1。
服务器启动后运行 examples/ 中的 Python 示例或 examples/gym_interface_demo.ipynb。最小智能体循环创建 Communicator(UnrealCV()),在环境的 reset() 中用 communicator.spawn_agent 生成 Humanoid 并读取位置、朝向和摄像头图像;随后反复让智能体选择动作,并通过环境的 step(action) 调用移动或旋转 API。城市生成、交通模拟、资源检索、摄像头和底层 UE 命令分别有相应示例。自定义地图、物体和智能体模型需先制作为 .pak 文件,再放入服务器的 Paks 目录。
这个 Agent 有哪些优点和局限?
- UE5 后端把真实感渲染、物理模拟、程序化城市、交通和智能体控制整合在同一架构中。
- 同时提供位置、朝向、RGB、深度和分割等观察接口,并覆盖行人、车辆和机器人动作空间。
- 基础包适合快速验证,还可按需安装 100 多个独立
.pak地图,避免必须一次下载全部扩展环境。 - 支持导入自定义 UE 环境、资源和智能体模型,可在内置内容之外扩展模拟边界。
- Gym 风格接口和明确的 Communicator API 便于构建导航任务、奖励函数及自动评测循环。
- 硬件和存储门槛较高:要求至少 6GB 独立显存、32GB 内存和 50–200GB 磁盘空间。
- 运行依赖独立的 UE 服务器包,Python 客户端本身不能构成完整模拟环境。
- 示例指定
gpt-4o,但未给出模型凭据、费用、限流或失败处理的配置说明。 - 统一训练评测框架、强化学习流水线、1K 以上城市级多智能体模拟和 MuJoCo 集成仍列为未来计划。
- 自由自然语言到 UE 动作的完整落地能力尚未完成;当前示例依赖受限动作文本的解析与显式 API 调用。
这个 Agent 与同类方案有什么区别?
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| SimWorld 具身智能模拟器 当前 | 54 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 819 | 7 个月前 | Python | — |
| RLinf 强化学习基础设施 | 54 · 缺口较多 | 代码库 / SDK免费 | ★ 5.7k | 今天 | Python | — |
| MobileGym | 67 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 872 | 1 个月前 | Python | — |
| Windows Agent Arena | 62 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 918 | 25 天前 | Python | OpenAI API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README 展示了清理环境、生成世界、生成对象和 Agent 的接口,也说明需要下载并启动 UE 服务器,但没有说明权限边界、敏感数据处理、外部数据流、操作确认或恢复策略,因此这些项目仅有有限支持。示例展示了 LLM 输入和相机观察,却未说明数据会否发送给外部服务。代码与许可证提供了一些来源线索,但样本没有维护者责任或清晰更新路径。
README 的三种使用层级、安装步骤、默认地图说明和配置说明总体相互一致;但服务器下载依赖外部包,文档样本未提供依赖可用性保障或故障诊断细节。示例代码是简化演示,含占位变量和省略逻辑,不能视为可直接运行的可靠性证据。
项目明确面向 LLM/VLM Agent 开发与评估,并列出导航、规划、合作、传感器、地图和自定义环境等用途,场景覆盖充分。它说明了核心能力和若干仍在规划中的功能,但触发条件、适用边界和不同运行环境下的差异说明有限。Windows/Linux、硬件需求及 UE 配置提供了部分环境适配指引。
README 具有清晰目录、项目结构、配置、安装、示例和自定义环境章节;安装说明覆盖 Python 客户端、UE 包和地图扩展,但外部下载与本地路径仍需用户自行处理。命名与导航大体稳定,示例和文档入口较丰富;README 也明确列出未完成的路线图功能。Apache-2.0 许可证全文随仓库提供。新闻和路线图有时间信息,但样本没有明确维护责任人或支持承诺。
模拟器提供物理与社会环境、动作接口、传感器、程序化城市和可扩展地图,为 Agent 研究与评估提供了明确且显著的能力增益。输出包括观察、动作执行和奖励等接口,具有一定可用性。代价方面,要求专用 GPU、32GB 内存、50–200GB 磁盘及独立 UE 服务端,部署资源需求较高;样本没有性能或成本数据支持更高分。
README 将主要能力链接到配置、API、传感器和示例,并指出路线图中的未完成功能,便于追踪部分主张。现有材料主要是 README 与许可证,缺少可交叉核对的实现或测试材料;快速示例也注明经过简化。说明中区分了当前能力与未来计划,但若干性能和模拟真实性描述仍是未在样本中证实的项目主张。
- 快速导览代码明确标为简化示例,含占位内容与省略逻辑;不要据此判断完整程序能否运行。
- 运行依赖大型 UE 服务端包及较高硬件配置;先核实目标机器、下载来源与磁盘需求。
- 材料没有说明相机观察或 LLM 提示的外部传输、敏感数据处理及环境清理后的恢复方式。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
v0.1.0 v0.1.0: Prototype Implementation
发布说明摘录
SimWorld v0.1.0: Prototype Implementation This release provides the prototype implementation of SimWorld, the system introduced in our NeurIPS 2025 Spotlight Poster, [SimWorld: An Open-ended Simulator for Agents in Physical and Social Worlds.](https://neurips.cc/virtual/2025/loc/san-diego/poster/119002) …在 GitHub 查看 ↗
常见问题
能否只安装 Python 包就运行?
是否必须使用 GPT-4o?
BaseLLM("gpt-4o"),但架构面向 LLM/VLM 智能体,且未记录其他提供商的现成适配器。更换模型可能需要配置或集成代码。基础安装包含哪些环境?
.pak 文件安装。可以接入自己的 Unreal Engine 内容吗?
.pak 文件并导入 SimWorld。它是否已经提供完整的强化学习和大规模多智能体训练流水线?
SimWorld 具身智能模拟器 官网是什么?
SimWorld 具身智能模拟器 免费吗?
SimWorld 具身智能模拟器 开源吗?
SimWorld 具身智能模拟器 安全吗?
SimWorld 具身智能模拟器 还在维护吗?
SimWorld 具身智能模拟器 是谁开发的?
谢谢反馈,我们会据此改进页面。