一个自托管的 LLM 网关,通过 JSON 压缩、语义缓存和按复杂度分级路由,为 AI 编程工具大幅削减 token 消耗,且无需改动任何代码。
无需训练的 OpenAI 兼容代理,集成 20+ 推理优化技术,可将推理任务的准确率提升 2-10 倍。