OptiLLM 推理优化代理
无需训练的 OpenAI 兼容代理，集成 20+ 推理优化技术，可将推理任务的准确率提升 2-10 倍。
- Star 数
- ★ 4.3k
- 最近更新
- 7 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 45/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI APIClaude API（部分支持）
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 数据科学家在开发数学推理模型时，使用 OptiLLM 的 MARS 技术提高 AIME 基准上的准确率。
- 不适合
- 无法提供 OpenAI、Anthropic 等付费 API 密钥的用户
- 对推理延迟和调用成本极度敏感、无法接受多次模型调用的场景
这个 Agent 能做什么，适合哪些场景？
OptiLLM 是一个开源推理优化代理，作为 OpenAI API 的即插即用替代品，通过 20 多种技术（如 MARS、CePO、MOA、MCTS 等）在推理时增强 LLM 的推理能力，适用于数学、编程和逻辑推理任务，可在无需微调的情况下显著提升准确率。它支持多种提供商（OpenAI、Anthropic、Google、Cerebras 等）和本地模型，可部署在本地或 Docker，并可作为独立服务器运行。项目提供了详细的基准测试结果，展示在 AIME、GPQA 等任务上的显著提升。
OptiLLM 作为代理服务器运行，接收符合 OpenAI API 的 /v1/chat/completions 请求。它根据请求中选择的技术（如 moa, mcts, bon）调用基础模型，通过多次采样、自我反思、规划搜索等方法生成多个候选响应，并选择或组合最佳结果返回。它支持通过环境变量配置 API 密钥，可路由到 OpenAI、Cerebras、Azure OpenAI 等提供商，也支持通过 LiteLLM 集成更多模型。
- 数据科学家在开发数学推理模型时，使用 OptiLLM 的 MARS 技术提高 AIME 基准上的准确率。
- 软件工程师在代码生成任务中，利用 PlanSearch 或 CePO 技术提升代码通过率。
- 企业将 OptiLLM 作为内部 API 网关，为多个 LLM 提供商提供统一的 OpenAI 兼容接口。
- 研究人员在评估多个推理技术时，通过 OptiLLM 快速比较不同技术的性能。
- 开发者利用插件生态（如 web_search, memory）扩展 LLM 的功能，实现长上下文处理。
如何安装或部署这个 Agent？
使用 pip 安装：pip install optillm，或使用 Docker：docker pull ghcr.io/algorithmicsuperintelligence/optillm:latest。也可以从源码安装：克隆仓库后，运行 pip install -r requirements.txt。
如何使用这个 Agent？
安装后，设置环境变量（如 export OPENAI_API_KEY=...），然后运行 optillm 启动服务。之后，修改 OpenAI 客户端的 base_url 为 http://localhost:8000/v1，并在模型名称前添加技术前缀（如 moa-gpt-4o-mini）来选择优化技术。也可以使用 extra_body 或提示词中的特殊标签。
这个 Agent 有哪些优点和局限？
- 无需训练即可获得显著的推理准确率提升（如 AIME 上 +30 分）
- 支持多种优化技术和插件，包括 MCTS、MOA、CePO 等
- 为 OpenAI API 兼容，易于集成到现有工具和框架
- 提供 Docker 镜像和本地推理服务器，支持多提供商
- 推理时计算开销大，可能增加延迟和成本
- 需要额外的 API 密钥和配置环境变量
- 部分技术（如 moa）可能需要多个模型调用，增加调用量
- 文档深入，但某些高级功能（如自定义插件开发）可能需要额外学习
这个 Agent 与同类方案有什么区别？
OptiLLM 与 LiteLLM 类似，但更专注于推理优化。LiteLLM 主要提供统一接口，而 OptiLLM 提供多种推理增强技术。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| OptiLLM 推理优化代理 当前 | 45 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 4.3k | 7 天前 | Python | OpenAI API |
| Lynkr | 62 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 634 | 5 天前 | JavaScript | Codex · Claude Code · OpenAI API |
| Aster | 77 · 表现良好 | 命令行工具免费 + 模型费 | ★ 129 | 今天 | Rust | OpenAI API |
| rpi：Rust 编码代理运行时 | 64 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 116 | 今天 | Rust | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：默认绑定127.0.0.1，提供API密钥认证选项，有隐私插件可匿名化PII，有SSL配置说明。但缺少用户确认机制，数据流透明度有限，依赖未固定版本，外部效果（如代码执行、URL读取）缺乏明确警告，回滚机制未提及，发布者身份未验证。扣分原因：用户确认缺失，数据流描述不完整，依赖安全未充分处理。
证据显示：README和代码中技术名称一致，有测试脚本但依赖外部服务器，失败消息在测试中有错误处理。扣分原因：依赖可用性未验证，失败消息在文档中不充分。
证据显示：面向开发者和研究人员，支持多种场景，技术触发方式多样（前缀、extra_body、提示标签），支持多种环境（pip、docker、本地推理）。扣分原因：能力边界描述不完整，环境适配有警告但未全面。
证据显示：README结构清晰，安装说明详细，命名稳定，有示例和FAQ，许可证明确，版本号存在但无changelog，维护责任未明确。扣分原因：已知限制不充分，版本变更日志缺失，维护责任不明确。
证据显示：输出为OpenAI兼容格式，易于使用，提供多种优化技术有边际价值。扣分原因：成本效益分析不足，基准测试结果未独立验证。
证据显示：README中有基准测试结果，但未提供复现细节，跨来源验证不足，事实与推断未明确分离。扣分原因：声明可追溯性弱，跨来源佐证不足，事实与推断分离不清晰。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 依赖未固定版本，存在供应链风险。
- 外部效果（如代码执行、URL读取）缺乏明确警告，需谨慎使用。
- 发布者身份未验证，需自行评估信任度。
- 基准测试结果未独立验证，需谨慎对待性能声明。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
发布说明摘录
What's Changed Fix: proxy plugin config, logging and agent clients (#330, #331) - Proxy target ignored: without ~/.optillm/proxy_config.yaml, the proxy silently loaded the bundled example config and routed to its sample providers. It now creates an empty template instead. A single failed request no longer sends all later traffic to --base-url: 4xx errors don't mark a provider unhealthy, and unhealthy providers are retried before falling back. - /v1/models lists the configured providers' models (plus model_map aliases) with --approach proxy. …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed Fix: autothink, thinkdeeper and deepconf for transformers >= 5 (#320) Since transformers 5, apply_chat_template(return_tensors="pt") returns a BatchEncoding rather than a plain tensor, so passing the result straight to model(input_ids=...) raised. The tensor is now unwrapped via .input_ids: - optillm/thinkdeeper.py - optillm/autothink/processor.py - optillm/deepconf/processor.py …在 GitHub 查看 ↗ -
发布说明摘录
What's Changed Fix: broken PyPI wheel — import optillm failed with ModuleNotFoundError: No module named 'math_verify' (#318) The published wheel is built from pyproject.toml [project.dependencies], which had drifted from requirements.txt, so pip install optillm shipped a package that couldn't even start: - math-verify was missing from pyproject.toml — optillm/cepo/cepo.py imports it at import time, so importing optillm crashed. (Affected 0.3.16–0.3.20.) …在 GitHub 查看 ↗