OM1 机器人 AI 运行时
面向机器人硬件的模块化多模态 AI 运行时，把语音、视觉和传感器输入转成真实动作。
- 源仓库
- OpenMind/OM1
- Star 数
- ★ 3k
- 最近更新
- 7 天前
- License
- MIT
- 主语言
- Go
- FA 评分
- 48/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 有免费版，另有付费云服务
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 机器人团队希望为人形或四足机器人快速接上多模态对话与自主导航能力。
- 不适合
- 需要完全离线、不接 OpenMind 云服务的团队
- 只熟悉 Windows 且不愿自行适配的开发者
- 希望开箱即用零配置的硬件新手
这个 Agent 能做什么，适合哪些场景？
OM1 是 OpenMind 推出的模块化 AI 运行时，用于在数字环境与物理机器人（人形、四足、手机 App、TurtleBot 4、Gazebo 与 Isaac Sim 仿真器）上部署多模态 AI 智能体。核心运行时已由 Python 迁移到 Go，以降低延迟、提升并发、缩小边缘设备内存占用，并打包为单个 Go 二进制（同时附带 Zenoh C 库）；旧的 Python 分支已弃用且不再维护。它支持处理网页数据、社交媒体、摄像头画面和 LIDAR 等输入，并通过插件对接 ROS2、Zenoh、CycloneDDS、USB、串口与 websocket 来控制运动、自主导航和语音对话。内置面向 OpenAI、xAI、DeepSeek、Anthropic、Meta、Gemini、NearAI、Ollama 的 LLM/VLM 端点，以及 TTS 与 ASR 配置，并以 json5 配置文件组合 inputs 与 actions 定义智能体行为。配套 Prometheus 与 Grafana 栈用于观察 LLM 与 ASR 时延等实时指标。
OM1 通过 json5 配置文件（如 config/conversation.json5）定义智能体的输入与动作组合，运行时读取摄像头、麦克风、LIDAR、网页与社交媒体等输入，调用配置好的 LLM/VLM 端点进行推理，再通过插件执行动作。动作连接器位于 plugins/actions/ 下，例如 Unitree Go2 的 unitree_go2_autonomy/move 会把高层目标翻译为通过 Zenoh 发布的 cmd_vel 速度指令。硬件侧通过 ROS2、CycloneDDS、Zenoh、USB、串口或 websocket 与机器人的高层 SDK（HAL）对接；BrainPack 还可提供导航、SLAM、自动充电与人脸检测/匿名化能力。运行时以命令行启动，用 -config 指定配置；同时自带 Prometheus 指标与 Grafana 仪表盘，可通过 docker-compose 启动监控栈。
- 机器人团队希望为人形或四足机器人快速接上多模态对话与自主导航能力。
- 研究者在 Gazebo 或 NVIDIA Isaac Sim 中做仿真原型，验证 Unitree Go2 / G1 的智能体行为而不依赖真机。
- 硬件厂商已有可接受高层动作命令的 HAL，需要一套现成运行时把 LLM 输出转成运动指令。
- 开发者用网络摄像头和麦克风搭建语音对话演示，验证输入-LLM-动作流水线。
- 运维或算法工程师希望用 Prometheus/Grafana 监控 LLM 与 ASR 时延，排查实时性瓶颈。
- 需要把 TurtleBot 4、手机 App 等不同形态设备统一到同一套智能体配置的团队。
如何安装或部署这个 Agent？
安装系统依赖：macOS 执行 brew install portaudio ffmpeg；Linux（Ubuntu）执行 sudo apt-get update && sudo apt-get install -y portaudio19-dev ffmpeg pkg-config。最省事的方式是从 Releases 页面下载对应平台（linux-amd64、linux-arm64、darwin-arm64、darwin-amd64）的预编译二进制，解压后运行；压缩包已包含 config/、knowledge_base/ 与 libzenohc。若从源码构建，需 Go 1.25.0+ 与 make，执行下方命令。
如何使用这个 Agent？
先从 OpenMind 门户获取 API key 并导出为 OM_API_KEY，然后启动 conversation 智能体（使用摄像头与麦克风做语音交互）。Linux 需设置 LD_LIBRARY_PATH，macOS 需设置 DYLD_LIBRARY_PATH；若被 Gatekeeper 拦截可先执行 xattr -d com.apple.quarantine om1。可选地启动监控栈并访问 http://localhost:3000（默认 admin/admin）查看 OM1 Latency Monitoring 仪表盘。
这个 Agent 有哪些优点和局限？
- Go 运行时带来低延迟、并发友好与更小内存占用，适合边缘设备，并以单个二进制部署。
- 插件化的硬件连接层同时支持 ROS2、Zenoh、CycloneDDS、USB、串口与 websocket，便于适配不同机器人 HAL。
- 预置多家 LLM/VLM 提供商（OpenAI、Anthropic、Gemini、DeepSeek、Ollama 本地等）与 TTS/ASR 端点，供应商选择灵活。
- 内置 Prometheus + Grafana 监控栈，可直接观察 LLM 与 ASR 时延。
- BrainPack 路线图覆盖导航、SLAM、自动充电与人脸匿名化，官方称对 Unitree Go2、Deep Robotics M20 Pro、Unitree G1、LimX Tron 支持完整自主。
- Go 运行时尚未覆盖 Python 版的全部能力，部分功能仍在开发中。
- Python 版本已弃用且不再维护，已有 Python 项目需要迁移到 Go 或自行承担维护风险。
- 默认快速上手依赖 OpenMind 门户的 API key 与 OMCU 计费体系，免费额度为每月 50 OMCU。
- 仍需自行准备提供高层动作接口的机器人 HAL（如 RL+仿真的强化学习方案），OM1 本身不负责底层运动控制。
- 推荐开发平台以 Nvidia Thor、Jetson、Mac 和 Ubuntu 为主，Windows 与 Raspberry Pi 只是“应该能跑”。
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| OM1 机器人 AI 运行时 当前 | 48 · 缺口较多 | 命令行工具免费版 + 付费版 | ★ 3k | 7 天前 | Go | — |
| RAI 具身智能机器人框架 | 55 · 缺口较多 | 开发框架免费 + 模型费 | ★ 603 | 8 天前 | Python | — |
| Blades | 23 · 缺口较多 | 开发框架免费 + 模型费 | ★ 816 | 5 个月前 | Go | OpenAI API |
| Stately Agent | 80 · 表现良好 | 代码库 / SDK免费 + 模型费 | ★ 481 | 今天 | TypeScript | — |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
仓库是机器人运行时，会驱动真实硬件（Unitree Go2/G1、LimX 等）并调用云 LLM/ASR/TTS。文档显示游戏手柄对 AI 物理动作有优先权（unitree_go2_quadruped_configurations.md），这是唯一可见的物理动作人工覆盖机制，但没有任何针对 LLM 生成动作的确认、审批或权限最小化设计；MCP 服务器示例直接以 stdio 执行 `npx -y` 并携带 GitHub PAT，属于较宽的权限面；数据流方面文档承认数据会流向至少三个云端 LLM，但没有逐项披露哪些传感器数据发往何处；敏感数据处理仅见“Face Detection and Anonymization”一句声明，无实现证据；依赖安全仅 go.mod 有版本锁定，无审计/漏洞扫描证据；回滚机制完全缺失（无动作撤销、无安全停机说明）；来源归属有 MIT 与版权行，但发布者身份未经验证。逐项扣分：least_privilege 因 MCP 任意命令执行与硬件动作无沙箱仅 1；user_confirmation 因仅手柄覆盖、无 AI 动作确认仅 1；data_flow_transparency 因仅笼统提及多 LLM 仅 1；sensitive_data_handling 因仅一句匿名化声明仅 1；dependency_security 因有锁定但无审计仅 1；external_effects 因物理动作影响大而防护薄仅 1；rollback 因无任何回滚证据为 0；source_attribution 因 LICENSE 与版权行清晰给 2。
配置文档对单模式/多模式、版本校验（v1.1.0、主次版本不匹配行为）、连接器解析规则（name+connector）描述一致，且与 go.mod、CI 构建流程相互印证，自洽性较好给 2；依赖可用性方面 go.mod 锁定版本、CI 缓存 zenoh-c 并打包 libzenohc、提供预编译二进制与 INSTALL.txt，给 2；失败信息方面有 troubleshooting 文档与版本不匹配的日志/错误说明，但故障排查表非常笼统（“检查设置”“重启”），且模拟器排障文档仍引用 Python 3.10/uv 与 Go 运行时不一致，给 1。
受众与场景覆盖开发者、机器人硬件集成、仿真器（Gazebo/Isaac Sim）、云仿真，给 2；能力边界明确说明 OM1 假设硬件提供高层 SDK、需自行实现 HAL、Python 运行时已弃用、Go 运行时部分能力仍在开发，给 2；触发精度方面模式切换依赖关键词匹配（trigger_keywords）与冷却时间，属于较粗糙的触发机制，且无证据表明有误触发防护，给 1；环境适配列出推荐平台与“应该能在其他平台运行”，并给出 macOS/Linux 安装差异，给 2。
信息架构有 docs/SUMMARY.md、GitBook 配置与分主题目录，给 2；安装说明非常详尽（系统依赖、预编译二进制、源码构建、API key、Grafana、故障排查），给 3；命名稳定性方面存在 Python→Go 迁移、Python 分支弃用、配置版本 v1.1.0 与运行时版本耦合，命名与结构仍在演进，给 1；示例与 FAQ 有配置示例、开发者 cookbook、仿真器指南，但缺少集中 FAQ，给 2；已知限制仅零散提及（Python 弃用、部分能力开发中、平台“应该”可运行），无系统化限制清单，给 1；许可证为完整 MIT 文本，给 3；版本与变更日志方面有配置版本校验与 CI 自动生成 release notes，但仓库内无 CHANGELOG，给 1；维护责任方面有 CONTRIBUTING 引用与 CI，但发布者身份未验证、无明确维护者/SLA 说明，给 1。
输出可用性方面提供可运行配置、预编译二进制、验证步骤与监控栈，普通使用可用，给 2；边际价值方面作为模块化机器人 HAL/运行时整合多 LLM、多中间件与仿真器，确有增量价值，给 2；成本效益方面需要 OpenMind API key 与 OMCU 计费、依赖云 LLM、硬件/仿真环境门槛高，免费额度有限，给 1。
声明可追溯性方面 README 大量能力声明（全自主、SLAM、自动充电、人脸匿名化）指向外部文档与 BrainPack 仓库，本仓库内缺少对应实现证据，给 1；交叉印证方面 README、配置文档、go.mod、CI 在构建与配置层面互相印证，但核心自主能力声明无法在给定文件中交叉验证，给 1；事实与推断分离方面文档总体区分了“支持/开发中/应该可运行”，但部分能力表述较绝对且缺少限定，给 1。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 该运行时可直接驱动物理机器人（Unitree Go2/G1 等），LLM 生成的动作缺少确认或审批机制，仅靠游戏手柄覆盖，部署前必须评估物理安全风险。
- MCP 配置示例以 stdio 执行 `npx -y` 并携带 GitHub PAT，权限面较宽，应审查并限制 MCP 服务器与凭据范围。
- README 宣称的全自主、SLAM、自动充电、人脸匿名化等能力主要指向外部文档与 BrainPack 仓库，本仓库内缺少实现证据，不应据此推断已具备。
- 无回滚/撤销机制证据，物理动作一旦执行难以撤回；需自行设计安全停机与恢复流程。
- 发布者身份未经验证，维护责任与更新路径不明确。
- 模拟器排障文档仍引用 Python 3.10/uv，与 Go 运行时不一致，可能误导排障。