LocalAI —— 开源 AI 引擎
在任意硬件上运行 LLM、视觉、语音、图像与视频模型，无需 GPU，支持本地部署与 OpenAI/Anthropic 兼容 API。
- Star 数
- ★ 50k
- 最近更新
- 今天
- License
- MIT
- 主语言
- Go
- FA 评分
- 53/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI API · Claude API
- 费用
- 免费，无需付费服务
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 数据隐私敏感的团队：在不将数据发送到外部 API 的情况下，本地运行 LLM 服务，满足合规要求。
- 不适合
- 需要开箱即用、不想管理后端镜像和模型配置的团队
- 没有 GPU 或算力有限、却想跑大模型的用户
- 希望获得官方商业支持与 SLA 保障的企业
- 源码审查
- 53/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
LocalAI 是一个开源、自托管的 AI 推理服务器，采用模块化架构：核心极简，后端按需从 OCI 镜像拉取，每个后端封装一个专用引擎（如 llama.cpp、vLLM、whisper.cpp 等）。它实现了 OpenAI、Anthropic、ElevenLabs 的 API 兼容层，并提供内置 AI 代理、RAG、MCP 支持、用户认证与配额管理。支持文本生成、视觉、语音、图像、视频、嵌入、重排序等多种模型，可通过 Docker 或二进制在 CPU、NVIDIA、AMD、Intel、Apple Silicon 等平台上运行。项目还提供分布式推理模式与多用户管理功能，强调隐私优先，数据可完全留在本地。
LocalAI 作为一个推理服务器，接收 OpenAI、Anthropic 兼容的 API 请求（如 /v1/chat/completions），自动检测硬件并选择恰当的后端引擎进行推理。它支持通过命令行工具 local-ai 运行模型，可从模型画廊、Hugging Face、Ollama OCI 注册表或自定义 YAML 配置加载模型。内置代理可进行工具调用、RAG 和 MCP 交互，并支持实时音视频（WebRTC）与流式输出。它还提供模型量化、格式转换、分布式路由、以及基于角色的访问控制等功能。
- 数据隐私敏感的团队：在不将数据发送到外部 API 的情况下，本地运行 LLM 服务，满足合规要求。
- 边缘设备用户：在没有 GPU 的树莓派或 MacBook 上部署轻量模型，实现文本生成与语音识别。
- 开发者：利用 OpenAI 兼容 API 快速集成到现有应用中，无需修改客户端代码即可切换自托管后端。
- 多模态应用：在一个平台上统一处理图像生成、语音转文字、目标检测等多种任务，简化架构。
- 多用户平台：为团队提供 API 密钥认证、用户配额和用量统计，构建内部分享的 AI 服务。
- 分布式场景：通过 NATS 和 PostgreSQL 实现水平扩展，支持 GPU 集群的智能路由和负载均衡。
如何安装或部署这个 Agent？
- 安装 Docker（或 Podman）。2. 拉取并运行镜像：CPU 版：docker run -ti --name local-ai -p 8080:8080 localai/localai:latest；NVIDIA GPU 版：docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12。3. 也可从 GitHub Releases 下载 macOS DMG 或 Linux 二进制，手动安装。
如何使用这个 Agent？
- 通过 CLI 加载模型：local-ai run llama-3.2-1b-instruct:q4_k_m（或使用 Hugging Face/Ollama 来源）。2. 使用 API 调用：curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "llama-3.2-1b-instruct", "messages": [{"role": "user", "content": "Hello"}]}'。3. 也可启动内置终端代理：local-ai chat --model llama-3.2-1b-instruct:q4_k_m，进行交互式对话和文件操作。
这个 Agent 有哪些优点和局限？
- 无需 GPU 即可运行，支持 CPU、NVIDIA、AMD、Intel、Apple Silicon 等多种硬件
- OpenAI、Anthropic API 兼容，可无缝替换现有服务
- 模块化架构，按需下载后端，避免臃肿安装
- 内置 AI 代理、RAG、MCP 支持，适合构建自主智能体
- 支持多种模态：文本、图像、语音、视频、目标检测等
- 提供分布式推理和集群管理，支持水平扩展
- 后端引擎众多，参数配置复杂，学习曲线较陡
- 部分新功能（如视频生成）仍处于早期阶段，可能存在稳定性问题
- 未签名 DMG 在 macOS 上需要手动豁免隔离
- 分布式模式依赖 PostgreSQL 和 NATS，部署运维成本较高
- 文档以英文为主，部分中文资料缺乏更新
这个 Agent 与同类方案有什么区别？
与 Ollama 相比，LocalAI 提供更广泛的模态支持和更细粒度的后端选择，且不依赖特定模型仓库；与 vLLM 相比，LocalAI 更注重多硬件和多模态，而 vLLM 专注高性能吞吐。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| LocalAI —— 开源 AI 引擎 当前 | 53 · 缺口较多 | 自托管服务免费 | ★ 50k | 今天 | Go | OpenAI API · Claude API |
| ODS 私有 AI 服务器 | 71 · 存在缺口 | 命令行工具免费 | ★ 7.6k | 今天 | Python | OpenAI API · Claude API |
| taOS 自托管智能体操作系统 | 71 · 存在缺口 | 自托管服务免费 | ★ 569 | 5 天前 | Python | Claude Code · OpenAI API · Claude API |
| Manifold | 60 · 存在缺口 | 自托管服务免费 | ★ 502 | 2 个月前 | Go | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：README 提到终端代理在更改状态前会请求批准（user_confirmation），但未提供实现细节；数据流透明度有限，仅提及隐私优先，未详细说明数据流向；敏感数据处理有 PII 脱敏功能，但未深入；依赖安全有安全策略和签名，但未提供漏洞扫描证据；外部影响有分布式模式，但未明确权限控制；回滚有版本发布，但未明确回滚机制；来源归属有明确的作者和维护者。扣分原因：多数信任标准仅有表面提及，缺乏具体实现或证据。
证据显示：README 和测试文件一致，自洽性良好；依赖众多，但未提供可用性保证；失败消息未在文档中详细说明。扣分原因：失败消息标准证据不足。
证据显示：README 明确目标用户和场景（开发者、多硬件）；能力边界有后端列表和兼容性表；触发精度未明确；环境适配有详细的硬件和容器支持。扣分原因：触发精度标准缺乏明确说明。
证据显示：信息架构清晰，有文档链接；安装说明详细；命名稳定，有版本号；示例和 FAQ 有链接；已知限制未明确列出；许可证明确 MIT；版本变更日志有发布说明；维护责任有团队信息。扣分原因：已知限制标准未明确列出。
证据显示：输出可用性有 API 兼容性；边际价值高，功能丰富；成本效益有免费开源和硬件灵活性。扣分原因：无具体性能或成本数据，但静态评估下合理。
证据显示：README 中的声明有部分链接支持，但未提供独立验证；跨来源佐证有限；事实与推断未明确区分。扣分原因：缺乏独立验证和明确区分。
- 终端代理的权限控制需进一步验证，确保最小权限原则。
- 依赖众多，需关注供应链安全，定期进行漏洞扫描。
- 数据流透明度有限，建议查阅文档了解数据流向。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
发布说明摘录
🎉 LocalAI 4.11.0 Release! 🚀 <h1 align="center"> <br> <img height="300" src="https://raw.githubusercontent.com/mudler/LocalAI/refs/heads/master/core/http/static/logo.png"> <br> <br> </h1> LocalAI 4.11.0 is out! This release makes LocalAI more useful for audio understanding, resilient model serving, structured decisions, and day-to-day operation. Audio scenes can now combine transcription, diarization, sound detection, and remembered speaker names. Ordered failover chains keep a public model available across local and remote targets, while new Studio and operations pages expose thes …在 GitHub 查看 ↗ -
发布说明摘录
🎉 LocalAI 4.10.0 Release! 🚀 <h1 align="center"> <br> <img height="300" src="https://raw.githubusercontent.com/mudler/LocalAI/refs/heads/master/core/http/static/logo.png"> <br> <br> </h1> LocalAI 4.10.0 is out! Twenty-eight days and 280 pull requests. The work landed on three fronts: operating a fleet, feeding it models from private sources, and fixing the backends you depend on. A fleet operations dashboard replaces the flat node list with cluster-wide health, capacity, running models, and bulk lifecycle actions. A credentials file lets one credentials.yaml authenticate OCI regi …在 GitHub 查看 ↗ -
发布说明摘录
🎉 LocalAI 4.9.0 Release! 🚀 <h1 align="center"> <br> <img height="300" src="https://raw.githubusercontent.com/mudler/LocalAI/refs/heads/master/core/http/static/logo.png"> <br> <br> </h1> LocalAI 4.9.0 is out! Thirteen days and 146 pull requests, spent on the parts of LocalAI you touch every day rather than on new engines. Authentication is now deny-by-default, chat gained end-to-end context compression, models and backends each have one canonical page instead of three, and vllm-cpp grew a video modality serving MiniMax-H3 with a real audio track. Highlights: …在 GitHub 查看 ↗