LLMix
为 AI 代理和工具提供生产级 LLM 调用层：保留现有 SDK，通过 MDA 预设热切换模型，并叠加缓存、重试、熔断与密钥轮换。
证据显示最小权限设计良好：dispatch 由调用方提供、密钥仅存内存、kill-switch 状态目录由调用方管理权限；密钥轮换与死键驱逐有明确文档。扣分点：无用户确认机制（库无交互面属可接受但仅为1）；依赖安全证据薄弱——提供的文件未展示 lockfile 或依赖清单，无法核实传递依赖；来源归属仅有 org 名，发布者未验证；测试代码中 INTERNAL_SERVICE_SECRET 作为 SNO_LLM_API_KEY 的别名属于轻微的隐蔽回退通道（仅测试环境，但仍需指出）。
CI 对三种语言均有构建、类型检查、测试（见 ci.yml）；测试展示缓存命中、错误分类、快速失败的断言。扣分点：集成测试依赖真实密钥与外部服务（Redis、GPU endpoint），无密钥时大量跳过，环境可用性不可保证；自我一致性方面 README 示例模型名不一致（gpt-5-mini 与 gpt-4o-mini 并存），轻微削弱契约可信度。
受众与场景说明清晰（'What This Is Not' 一节明确边界）；能力边界诚实（Rust 供应商助手标注 beta、非流式框架）。扣分点：环境变量矩阵广泛但触发精度（何时轮换、熔断阈值）只有定性描述无参数默认值；Python 3.14+ 要求极高，可能限制环境适配。
信息架构优秀：README→运行时指南→安全配置 runbook 的阅读顺序、多语言翻译、安装表齐全；License 为完整 Apache-2.0 文本。扣分点：无 CHANGELOG，monorepo package. 无版本号，版本一致性靠脚本声称；维护者责任仅有 SECURITY.md 的 48 小时/14 天 SLA 承诺，无治理文件（GOVERNANCE/MAINTAINERS）佐证。
三语言对等的 Quick Start、响应对象含 content/usage/cache_hit/thinking_content 字段，输出可用性中等偏上；缓存、singleflight、熔断的边际价值主张明确。扣分点：无执行证据证明性能与成本收益，压测数据缺失；核心实现源码未在本次证据中提供，无法确认接口与文档一致。
MDA 签名、Rekor/Sigstore、tamper-rejection 等强安全声明仅有文档描述，本次证据中无实现或独立证明，扣为1；跨源印证方面 README 与 SECURITY.md、CI、测试在密钥处理与测试范围上大体一致，给2；测试注释区分了事实与设计意图（如 total_tokens 说明），事实与推断分离尚可。
- MDA 签名与篡改拒绝仅为文档声明，本次静态审查未提供实现证据，采用前应自行验证注册表校验流程。
- 集成测试在缺少真实 API 密钥、REDIS_URL 或 GPU_BASE_URL 时会静默跳过，CI 通过不代表端到端行为已验证。
- 测试代码中 SNO_LLM_API_KEY 可回退到 INTERNAL_SERVICE_SECRET，部署时不应将该环境变量名用于其他用途。
- 仓库无 CHANGELOG 且根 package. 无版本号，升级前应核对发布包版本与文档一致性。
- Python 3.14+ 的最低版本要求极为激进，纳入前确认自身运行时兼容。
- 发布者身份未经企业注册表验证，供应链信任需自行评估。
这个 Agent 能做什么，适合哪些场景？
LLMix（仓库 sno-ai/llmix）是位于你的产品和模型供应商 SDK 之间的调用层，支持 Python、TypeScript 和 Rust 三种运行时。它不要求重写 OpenAI、Anthropic、Gemini、LiteLLM 或 AI SDK 的客户端代码，而是包裹调用本身，在其外围提供响应缓存（L1 内存 + 可选 Redis L2）、熔断器、密钥池轮换、singleflight 合并请求、抖动指数退避重试和 AIMD 自适应并发。模型配置从硬编码字符串变为数据：MDA 预设经签名后发布为编译注册表，运行时通过 current. 指针读取，切换模型无需重新部署。核心组件包括 CallPipeline、KeyPool、TwoTierCache 和 ConfigRegistryManager。项目采用 Apache-2.0 许可证，以 npm、PyPI 和 crates.io 包形式分发。
LLMix 将一次供应商调用包进 CallPipeline：按配置（provider、model、temperature 等）构造请求，先查 TwoTierCache 缓存，再经过熔断器（按 provider 与 base URL 限定）、singleflight 去重、KeyPool 轮换（429 轮换、401/403 剔除失效密钥）、带 Retry-After 尊重的重试循环，最后经 openaiDispatch、anthropicDispatch、geminiDispatch 等 dispatch 助手发出调用。MDA 预设通过 mda CLI 进行验证、完整性计算、did:web 签名与发布，llmix publish-registry 生成 current. 和 compiled/ 注册表，运行时用 ConfigRegistryManager 加载并用外部信任锚校验防篡改。Rust 版本通过 llmix-rs 的 feature gate（providers-openai、redis）提供同等管线契约。
- 多语言团队：Python 服务、TypeScript 服务和 Rust worker 需要遵循相同的模型调用契约（缓存键、重试、密钥池行为跨运行时对齐）。
- 密钥被限流的团队：需要 round-robin 密钥池，429 时自动轮换、401/403 时剔除失效密钥。
- 高并发产品：大量用户同时请求相同内容时，用 singleflight 将重复请求合并为一个上游调用。
- 频繁切换模型但不想重新部署的服务：通过发布签名注册表并重载服务来热切换 provider 或模型。
- 需要安全配置治理的团队：用 MDA CLI 的签名、完整性校验和 doctor 检查保证生产配置可审计、防篡改。
- 需要跨供应商统一调用姿势的工具开发者：同一管线适配 OpenAI、Anthropic、Gemini、OpenRouter、DeepInfra、Novita、Together、Sno GPU。
这个 Agent 有哪些优点和局限？
- 三语言（Python/TypeScript/Rust）提供对齐的管线契约，缓存键跨运行时规范化，适合多语言微服务共享同一调用层。
- 响应缓存、熔断、密钥池、singleflight、自适应并发等运营性组件开箱即用，且均以具体类名（CallPipeline、KeyPool、TwoTierCache）暴露，可按需组合。
- MDA 签名注册表 + did:web / Sigstore/Rekor 信任链提供生产配置的完整发布、验证与防篡改证明流程。
- 模型切换通过数据（预设与注册表）完成，无需重新部署，明确定位为包裹层而非路由器。
- Python 要求 3.14+，TypeScript 5.0+，Rust 1.83+，版本门槛较高，老旧运行时无法采用。
- Rust 供应商助手明确标注为 beta，仅支持 OpenAI、Anthropic、Gemini 和 Sno GPU，功能完整性不及另外两种语言。
- 不支持流式输出（streaming 留给你的 SDK），也不提供提示词框架，需要自行补充这些层。
- 注册表发布流程涉及 mda CLI 签名、信任策略、did:web 密钥和外部信任锚，配置与运维成本不低；单脚本单密钥场景收益有限。
如何安装或部署这个 Agent？
三种运行时分别安装：TypeScript 执行 npm install @snoai/llmix；Python 执行 pip install sno-llmix（PyPI 名为 sno-llmix，import 路径仍为 llmix；Redis 缓存用 pip install "sno-llmix[redis]"）；Rust 执行 cargo add llmix-rs（OpenAI 助手和 Redis 缓存需 cargo add llmix-rs --features providers-openai,redis）。运行时要求 Python 3.14+、TypeScript 5.0+、Rust 1.83+。供应商 SDK 为可选依赖，只装你实际调用的客户端，并配置 OPENAI_API_KEY / ANTHROPIC_API_KEY / GEMINI_API_KEY 等环境变量（复数形式 _KEYS 支持逗号分隔密钥池；Redis 需 REDIS_URL）。
如何使用这个 Agent？
以 TypeScript 为例：创建 new CallPipeline({ dispatch: openaiDispatch(), responseCache: new TwoTierCache("memory") })，用 pipeline.setKeyPool("openai", new KeyPool([process.env.OPENAI_API_KEY!])) 注册密钥池，然后调用 pipeline.call({ config: { provider: "openai", model: "gpt-4o-mini", common: { temperature: 0.2, maxOutputTokens: 512 }, caching: { strategy: "memory" } }, messages: [...] }) 并读取 response.content。Python 与 Rust 暴露相同的 CallPipeline / KeyPool / TwoTierCache 契约。生产环境使用注册表：用 mda CLI 初始化预设（mda init --template llmix-preset ...）、签名并执行 llmix publish-registry --root config/llm --release-plan release/plan. ...，运行时通过 ConfigRegistryManager.open("config/llm", { signedRoot: ... }) 加载并用 llmix check-registry --tamper-proof 验证。