RAI 具身智能机器人框架
一个供应商中立的智能体框架，让开发者通过 ROS 2 为实体机器人快速构建多模态 AI 能力。
- Star 数
- ★ 607
- 最近更新
- 10 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 55/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 高 · 需要较重的基础设施
- 开始前需要
- 典型场景
- 机器人团队希望为 ROS 2 设备加入自然语言人机交互与语音对话能力，无需从零开发。
- 不适合
- 使用 Ubuntu 22.04/24.04 与 ROS 2 humble/jazzy 之外技术栈的团队
- 希望开箱即用、无需自行配置机器人文档与仿真环境的用户
这个 Agent 能做什么，适合哪些场景？
RAI 是由 RobotecAI 开发、以 Apache-2.0 许可开源的柔性 AI 智能体框架，用于为机器人生成与部署具身智能（Embodied AI）功能。它基于 ROS 2 工具执行复杂动作、预定义场景、自由指令交互、日志摘要与语音交互。框架由多个独立包组成：rai core 提供多智能体系统、人机交互与多模态核心能力；rai_whoami 从文档、图片与 URDF 目录中提取机器人本体信息；rai_asr 与 rai_tts 分别提供语音识别与语音合成；rai_sim 连接仿真环境；rai_bench 提供对智能体、模型、工具与仿真器的基准测试；rai_perception 提供基于开放集模型的目标检测；rai_nomad 集成 NoMaD 导航。RAI 同时支持 Ubuntu 22.04/24.04、Python 3.10/3.12 与 ROS 2 humble/jazzy，并提供果园农用拖拉机、Franka Panda 机械臂、Husarion ROSbot XL 和 RB-KAIROS 移动操作臂等多个仿真演示。该项目是 ROS 具身 AI 社区组（Embodied AI Community Group）的重点项目之一，并有 arXiv 论文（2505.07532）支撑。
RAI 读取面向机器人的结构化资料（文档、图片、URDF，通过 rai_whoami）来合成机器人本体描述，供智能体使用。运行时，rai core 编排多智能体系统，通过 ROS 2 工具调用机器人能力，执行复杂动作、预定义场景与自由语言指令；多模态输入输出涵盖文本、语音（rai_asr 转写语音、rai_tts 合成回复）与视觉（rai_perception 基于开放集模型做目标检测）。rai_sim 将智能体接入仿真环境，rai_bench 对智能体、模型、工具和仿真器进行基准评测，rai_nomad 集成 NoMaD 实现导航。端到端流程为：配置机器人 → 提取本体信息 → 智能体在真实或仿真环境中通过 ROS 2 执行任务并与人交互。
- 机器人团队希望为 ROS 2 设备加入自然语言人机交互与语音对话能力，无需从零开发。
- 农业或户外自动化场景（如虚拟果园拖拉机演示）中，需要智能体在遇到意外障碍时推理最佳行动方案，而非仅做障碍检测。
- 使用 Franka Panda 机械臂的实验室，需要用自然语言完成灵活的抓取与操作任务（配合 Grounded SAM 2）。
- 移动机器人开发者（如 Husarion ROSbot XL）需要导航与控制的智能体化演示与验证环境。
- 研究人员希望对不同的智能体、模型、工具或仿真器进行系统性基准测试（通过 rai_bench）。
- 在 O3DE 等仿真环境中搭建具身智能实验并复现论文场景的工程团队。
如何安装或部署这个 Agent？
README 未内嵌完整安装命令，只提供安装文档。可确认的信息：支持 Ubuntu 22.04/24.04、Python 3.10/3.12、ROS 2 humble/jazzy。安装步骤请按官方快速设置指南执行：访问 https://robotecai.github.io/rai/setup/install 。缺失信息：源材料未给出具体的 pip/colcon 构建命令、API 密钥配置方式与首个可运行调用的完整步骤。
如何使用这个 Agent？
- 按官方文档（https://robotecai.github.io/rai/setup/install）完成环境安装（Ubuntu 22.04/24.04、Python 3.10/3.12、ROS 2 humble/jazzy）。2. 为自己的机器人创建配置，文档含专门教程（https://robotecai.github.io/rai/）。3. 可直接运行官方演示：农业场景、机械臂操作（Grounded SAM 2）、ROSbot XL 移动机器人、RB-KAIROS 移动操作臂（独立仓库 RobotecAI/agentic-mobile-manipulator）。4. 用 rai_bench 对智能体进行评测。遇到问题可查阅 GitHub Discussions 的 Q&A 板块。
这个 Agent 有哪些优点和局限？
- 供应商中立设计，支持多智能体系统与多模态（语音、视觉、文本），避免绑定单一模型或厂商。
- 模块化包结构清晰（rai core、whoami、asr、tts、sim、bench、perception、nomad），可按需采用。
- 有官方配套基准测试套件 rai_bench，便于客观比较智能体与模型表现。
- 社区活跃：隶属 ROS Embodied AI Community Group，有 ROSCon 2024 技术演讲、arXiv 论文与 Discord 支持。
- 运行环境要求明确且较高：Ubuntu 22.04/24.04、Python 3.10/3.12、ROS 2 humble/jazzy，非这些栈的团队需要迁移成本。
- 计划中的 rai_finetune（在具身数据上微调 LLM）尚未完成，相关能力缺失。
- README 未内嵌具体安装命令与密钥配置步骤，上手依赖外部文档。
- 部分演示（如 RB-KAIROS 移动操作臂）位于独立仓库，采用时需要额外拉取和评估。
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| RAI 具身智能机器人框架 当前 | 55 · 缺口较多 | 开发框架免费 + 模型费 | ★ 607 | 10 天前 | Python | — |
| PhyAgentOS — 具身智能会话中心运行时 | 47 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 3k | 2 天前 | Python | — |
| Octochains | 69 · 存在缺口 | 代码库 / SDK免费 + 模型费 | ★ 378 | 2 天前 | Python | OpenAI API |
| WorldSeed | 37 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 821 | 5 个月前 | Python | Codex · OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示代理框架会执行机器人动作、调用外部LLM与遥测服务（langfuse/langsmith），但未见最小权限设计说明、用户确认机制、数据流文档或回滚机制；存在git+https主分支依赖（visualnav_transformer@main）削弱可复现性；署名清晰（作者邮箱、Apache-2.0、版权头），故source_attribution给2，其余因静态证据缺失扣分。
pyproject固定依赖版本范围、CI在jazzy/humble双发行版构建并标注billable/ci_only/manual测试标记，消息行为（take_all/keep_last/queue）有测试覆盖，一致性尚可；但CI使用continue-on-error: true和self-hosted runner，弱化失败信号，故未给满分。
README明确目标场景（多机器人演示、农业、操作、导航）、支持Python 3.10/3.12与ROS2 humble/jazzy双版本，环境适配与受众描述充分；但能力边界与触发精度未见文件内证据，扣分。
信息架构清晰（monorepo按包划分）、README含快速上手、演示、社区、引用、Q&A，许可证完整且CI检查许可证头，作者与维护者明确；但CHANGELOG未见、已知限制几乎未述、安装细节依赖外链文档，版本号与SECURITY.md中1.1.x与pyproject 1.0.0存在轻微不一致。
输出可用性有HRICallbackHandler等具体机制佐证；相对自建方案的边际价值（多模态、语音、基准套件）描述合理，但多为README声明，未在提供文件中见到实现细节，故保守给2。
声明可通过arXiv论文、ROSCon演讲、codecov徽章、引用条目追溯，事实与推断在README中基本可分；但多数关键声明（基准结果、覆盖率）指向外部资源，本次静态审查无法交叉证实，扣分。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 本审查为静态审查，置信度低，未执行任何测试；请勿据此判断运行时安全性。
- 代理可驱动真实机器人并调用外部云服务（LLM、langfuse/langsmith遥测），部署前应自行审计权限、数据流出与确认机制。
- 存在指向GitHub main分支的git依赖（visualnav_transformer），不可复现且有供应链风险。
- SECURITY.md仅建议'按普通bug上报漏洞'，无加密渠道与响应SLA。
- CI使用continue-on-error: true与self-hosted runner，测试失败信号可能被掩盖。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
发布说明摘录
What's Changed * fix(s2s): dispatch on the transcription model names the config uses by @maciejmajek in https://github.com/RobotecAI/rai/pull/873 * feat(nav2): add workspace bounds and coordinate safety validation by @ved197338 in https://github.com/RobotecAI/rai/pull/871 New Contributors * @ved197338 made their first contribution in https://github.com/RobotecAI/rai/pull/871 Full Changelog: https://github.com/RobotecAI/rai/compare/2.12.3...2.12.4在 GitHub 查看 ↗ -
发布说明摘录
What's Changed * fix: @Bartok9 contributions (batch 2) by @maciejmajek in https://github.com/RobotecAI/rai/pull/872 Full Changelog: https://github.com/RobotecAI/rai/compare/2.12.2...2.12.3在 GitHub 查看 ↗ -
发布说明摘录
What's Changed * feat(rai_perception): setup time script for downloading weights by @maciejmajek in https://github.com/RobotecAI/rai/pull/791 * chore: remove unused sumbodule by @maciejmajek in https://github.com/RobotecAI/rai/pull/794 * fix: @Bartok9 contributions by @maciejmajek in https://github.com/RobotecAI/rai/pull/824 Full Changelog: https://github.com/RobotecAI/rai/compare/2.12.1...2.12.2在 GitHub 查看 ↗