ODS 私有 AI 服务器
在个人电脑上部署集推理、对话、智能体、语音、RAG 与工作流于一体的私有 AI 服务。
证据显示默认服务绑定 localhost、Windows 安装建议使用非管理员会话、GitHub 工作流采用受限权限和固定提交的 Actions，并且 APE 测试覆盖 API 密钥、按会话和意图限流、硬拒绝、熔断器及精确到会话、工具、意图和参数的一次性人工批准。README 也说明本地、云端和混合模式以及配置中秘密的遮蔽和卸载路径。扣分原因是这些保护主要由说明和 APE 局部测试支撑，未提供整个代理及扩展栈的统一权限清单、逐服务数据目的地、秘密生命周期或所有外部操作的确认规则；快速安装会执行 main 分支代码，强制卸载可能删除 Docker 资源和运行目录，而整体恢复范围没有完整证明。第三方组件有名称归属，但所给材料没有完整的第三方许可或供应链归属清单。
APE 测试详细覆盖旧版响应契约、状态持久化、损坏状态恢复、并发、严格模式和批准重试，工作流也包含缺少密钥时的明确错误。扣分原因是 README 一方面建议稳定或生产式安装固定 v2.6.0、标签或审计提交，另一方面最醒目的 Linux/macOS 和 Windows 快速安装仍跟随 main；“两分钟内聊天”、广泛平台支持和发布级验证等声明所引用的验证文件未包含在材料中。Docker 等前置条件有说明，但大量服务、模型和 Python 工具的具体版本、可用性及离线失败行为没有展示；安全扫描还用未固定版本的 pip 安装，并通过“|| true”保留发现而不使任务失败。
README 清楚区分家庭、实验室、工作站、新手、维护者和分支作者等受众，提供本地、云端、混合、无 GPU、不同端口、模型配置、硬件层级和扩展服务场景；Linux、Windows、Apple Silicon、NVIDIA、AMD 和 Intel Arc 的适配信息尤其具体，因此受众与环境适配证据充分。扣分原因是能力边界仍有营销式概括，部分平台和后端限制仅指向未提供的支持矩阵；自动模型选择会受架构、内存、既有下载及覆盖项影响，代理工具触发精度仅从 APE 的意图映射和批准键测试得到局部证明，无法覆盖 Hermes、n8n 和其他扩展。
根 README 提供清晰的仓库布局、快速安装、组件目录、硬件表、CLI 示例、扩展结构和文档索引；安装前置条件、端口、平台差异、卸载和恢复命令均较具体。Apache-2.0 全文与元数据一致，稳定版 v2.6.0、main、release/2.6.x、发布说明和升级渠道也被明确区分。扣分原因是已弃用的 OpenClaw 与 Hermes 迁移造成一定命名和产品面不稳定，已知限制多通过未提供的外部文档承载；维护运行手册、私密漏洞报告和问题渠道被指出，但所给文件没有确认具体负责人、响应时限或可验证的发布签署主体，且发布者身份仍为未知。
用户可直接获得安装、访问 UI、查看状态、切换模型、启停服务、遮蔽查看配置、扩展和卸载等可操作输出；将推理、聊天、语音、工作流、RAG、图像生成和运维预接线，若声明成立，相比手工组合组件具有明显实用价值。扣分原因是竞品比较和“两分钟”“全部开箱互通”等收益主要为项目自述，材料没有运行结果或独立对比；虽说明无需订阅、云 API 可选以及 CI 预算，但没有量化模型下载、磁盘、功耗、硬件购置、维护成本或各扩展的资源开销。
许多主张指向命名明确的支持矩阵、发布验证、安装器信任、分支指南和发布说明，并且 APE 的公开 API 行为由细粒度测试与安全政策交叉支撑。README 也明确说明模型选择可能变化、吞吐量需要本地基准，并区分 main 与稳定渠道。扣分原因是多数被引用文档未实际包含在证据包中，无法在本次静态评审中核对；工作流和测试证明了预期实现与检查机制，而不是已经成功运行的结果。广泛的平台、性能、隐私和竞品优势仍主要来自单一仓库自述，事实、目标和营销推断之间只做了部分分隔。
- 最醒目的快速安装路径跟随 main；对生产式或高信任部署，应优先使用 README 所述的固定标签或已审计提交，并在执行前检查安装脚本。
- ODS 可管理 Docker、网络暴露、模型、秘密和自主工具调用。启用 LAN、公网反向代理、云 API、n8n 集成或新扩展前，应单独审查端口、凭据、卷挂载和工具权限。
- 不要把 APE 的测试覆盖等同于整个代理栈都受同一治理层强制保护；应确认 Hermes、工作流及各扩展的所有外部操作确实经过策略引擎。
- 强制卸载会移除带 ODS Compose 项目标记的 Docker 资源并删除运行目录；执行前应备份模型之外的持久数据、配置、工作流和秘密。
- 本次仅进行了所给文本的静态审查，未执行安装、测试、安全扫描、模型推理或发布验证，也未核对被引用但未提供的文档。
这个 Agent 能做什么，适合哪些场景？
ODS（Osmantic Deployment System）把 Linux、Windows 或 Apple Silicon Mac 变成可自托管的 AI 服务器，并以本地模式为默认运行方式。它将 llama-server、Open WebUI、LiteLLM、Hermes Agent、n8n、Whisper、Kokoro、Qdrant、SearXNG 和 ComfyUI 等组件安装并连接成一个服务栈。用户通过浏览器中的 Open WebUI 和控制面板进行对话、管理模型、查看 GPU 与服务状态，也可以通过 ods CLI 操作整个环境。安装器检测硬件和可用内存，从版本化模型目录选择 GGUF 模型，并支持先启动小型引导模型、再在后台下载和热切换完整模型。部署边界通常是用户自己的机器和 Docker 环境；如有需要，也能通过 LiteLLM 切换到 OpenAI、Anthropic 或 Together API 的云端或混合模式。
安装器检测 NVIDIA、AMD Strix Halo、Apple Silicon、Intel Arc 或 CPU 环境，并读取 ods/config/model-library.json，通过 select-model.py 或 Windows PowerShell tier map 选择适合内存范围的 GGUF 模型。它生成凭据和 .env 配置，启动 llama-server 推理、Open WebUI 对话界面、Dashboard、LiteLLM 网关及启用的扩展；默认引导流程先下载 1.5B 模型，随后在后台获取完整模型并进行热切换。Hermes Agent 提供带记忆、技能和浏览器能力的本地优先智能体，n8n 执行自动化工作流，APE 审计和治理自主工具调用。Whisper 与 Kokoro 分别完成语音转文字和文字转语音；Qdrant、TEI Embeddings、SearXNG 与 Perplexica承担文档检索、向量搜索和研究流程；ComfyUI执行本地图像生成。Dashboard 和 ods CLI 用于检查健康状态、GPU、日志、服务和模型，命令还可切换 local、cloud、hybrid 模式以及启用或禁用扩展。
- 希望敏感提示词、文档和聊天记录默认留在本机的个人或小团队，可用 ODS 部署私有对话、检索和智能体环境。
- 拥有 NVIDIA、AMD Strix Halo、Intel Arc 或 Apple Silicon 设备，但不想手工组合推理服务、Web UI、向量数据库和 Docker 配置的工作站用户。
- 需要把语音输入、语音输出、工具调用和外部系统连接成自动化流程的用户，可组合 Hermes Agent、Whisper、Kokoro 与 n8n。
- 需要针对内部文档构建本地 RAG 和私有搜索的实验室或家庭服务器管理员，可使用 Qdrant、TEI Embeddings、SearXNG 和 Perplexica。
- 希望在同一套管理界面中运行本地模型和 ComfyUI，并监控服务健康、GPU 与令牌用量的创作者或开发者。
- 本地硬件不足但仍想保留同一服务栈的用户，可选择 OpenAI、Anthropic 或 Together API 驱动的云端模式。
这个 Agent 有哪些优点和局限？
- 覆盖范围比单独部署推理服务器更完整：同一安装体系包含对话、智能体、n8n 工作流、语音、RAG、搜索、图像生成、隐私代理和可观测性组件。
- 安装器会检测多类 GPU 和统一内存环境，并从统一模型目录选择 GGUF、上下文长度与硬件层级，减少人工匹配模型的工作。
- 引导模式先启动小型模型，再在后台下载和热切换完整模型，降低首次对话前等待大型模型下载的影响。
- 支持本地、云端和混合模式，并明确列出 OpenAI、Anthropic 与 Together API 路径，不强制依赖单一模型提供商。
- 扩展以 manifest.yaml 和 compose.yaml 描述，可由 Dashboard、CLI、健康检查和 Compose 栈自动发现。
- 部署仍依赖 Docker；Windows 还必须使用 Docker Desktop 的 WSL2 后端，macOS 仅明确支持 Apple Silicon 和 Docker Desktop。
- 完整服务栈包含许多独立组件，会带来显著的磁盘、内存、GPU、端口、镜像下载和运维负担，实际吞吐量仍需在本机测试。
- 硬件支持并非完全一致：macOS 的 llama-server 在宿主机原生运行而其他服务在 Docker 中，AMD Strix Halo 也采用平台专用加速路径。
- main 分支变化较快；面向设备、实验室或生产式使用时，需要固定稳定标签或已审计提交，并自行保存验证记录。
- 部分能力是可选扩展或外部服务，例如 Langfuse、Brave Search 以及云端 API；启用后可能需要额外配置、凭据或付费服务。
如何安装或部署这个 Agent？
前提是 Docker 已安装并运行。Linux 或 macOS 可执行：
curl -fsSL https://install.osmantic.com/ods.sh | bash也可手动安装：
git clone https://github.com/Osmantic/ODS.git
cd ODS/ods
./install.shmacOS 还要求 Apple Silicon（M1 或更新）和 Docker Desktop。Windows 要求 Docker Desktop 启用 WSL2 后端，并在普通、非管理员 PowerShell 中执行：
$ProgressPreference = "SilentlyContinue"
$odsSrc = Join-Path $env:TEMP ("ods-install-" + [guid]::NewGuid().ToString("N"))
$odsZip = Join-Path $odsSrc "ods-main.zip"
New-Item -ItemType Directory -Path $odsSrc | Out-Null
Invoke-WebRequest "https://github.com/Osmantic/ODS/archive/refs/heads/main.zip" -OutFile $odsZip
Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force
cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass
.\install.ps1本地模式不要求云端凭据；选择 cloud 或 hybrid 模式时，需要为所选的 OpenAI、Anthropic 或 Together API 提供相应凭据。README 将 v2.6.0 标为稳定版本，并建议生产式安装固定到标签或已审计提交，而不是跟随快速变化的 main。
如何使用这个 Agent？
安装完成后打开 http://localhost:3000，在 Open WebUI 中开始对话。Linux Docker 默认通过 http://localhost:11434 暴露 llama-server；macOS 原生 Metal 和 Windows 原生或 Lemonade 路径默认使用 http://localhost:8080。常用管理命令包括：
ods status
ods list
ods logs llm
ods restart llm
ods model current
ods model list
ods model swap T3
ods enable n8n
ods disable whisper
ods config show通过 ods mode local、ods mode cloud 或 ods mode hybrid 切换推理来源。已有单个 GGUF 文件时，可放入 data/models/，再从 Dashboard 的 Models 页面加载；旧安装或无界面维护也可更新 .env 中的 GGUF_FILE 与 LLM_MODEL，然后执行 ods restart llm。若要直接以云端 API 安装，可运行 ./install.sh --cloud；端口冲突时可在安装命令前设置环境变量，例如 WEBUI_PORT=9090 ./install.sh。
这个 Agent 与同类方案有什么区别？
与 Ollama 或 llama.cpp 相比，ODS增加了对话界面、控制面板、语音、RAG、工作流、智能体、隐私和服务管理。与只部署 Open WebUI 相比，它提供围绕该界面的完整安装器和预连接的本地服务。README 将 AnythingLLM描述为更偏向 RAG，而 ODS还覆盖推理、语音、工作流、图像生成和运维。与 n8n 自托管 AI starter kit 相比，ODS把工作流自动化作为更大私有 AI 服务器的一部分。其对比表还将 LocalAI概括为主要聚焦模型推理，而 ODS提供完整服务栈、硬件自动选择、智能体、语音、RAG和扩展系统。