iFixAi 智能体审计器
在约120秒内审计 AI 智能体的治理缺陷与运行风险。
按维度查看评分与理由
证据显示：项目明确说明密钥仅从环境变量读取，不持久化；提供脱敏机制（scrub_secrets）和遥测披露；用户确认机制（如--dry-run、费用提示）存在。扣分：未提供最小权限原则的明确说明，外部效果（如网络调用）未充分说明，回滚机制未提及，来源归属仅依赖未验证的发布者。
证据显示：文档和代码结构一致，提供失败消息示例（如mock运行故意失败），CI配置存在。扣分：依赖可用性未充分验证（如外部LLM提供商），失败消息的全面性未证实。
证据显示：明确目标受众（开发者、AI代理），提供多种运行方式（CLI、插件、Skill），支持多种环境（Claude Code、Codex等），触发方式明确（命令、插件）。扣分：能力边界描述不够详细，环境适配的细节有限。
证据显示：文档结构清晰（docs/），安装说明详细，许可证明确（Apache-2.0），示例和FAQ存在，已知限制有提及（如非认证工具）。扣分：命名稳定性未明确，版本变更日志未提供，维护责任未明确（发布者未验证）。
证据显示：输出格式明确（JSON+Markdown），提供评分卡和报告，边际价值高（诊断AI不协调），成本效益有估算（费用表）。扣分：实际效果未验证（静态审查），成本估算基于假设。
证据显示：声明有文档支持（如docs/scoring.md），提供案例研究，区分事实和推断（如案例研究基于公开信息重构）。扣分：跨来源验证不足，部分声明缺乏独立证据。
- 发布者身份未验证，需谨慎对待来源。
- 静态审查无法验证实际运行效果，建议进行实际测试。
- 依赖外部LLM提供商，需注意其可用性和安全性。
- 遥测数据虽已披露，但需确认是否符合你的隐私要求。
这个 Agent 能做什么，适合哪些场景？
iFixAi 是面向 AI 智能体的黑盒审计工具，提供 CLI、Claude Code/Codex 插件和可脚手架化的 agent skill 三种运行方式。它可测试裸模型、OpenAI 兼容 HTTP 端点，或通过实现 ChatProvider.send_message 接入其他智能体。一次运行会执行 smoke、strategic、core、extended 或 all 测试套件，并输出终端计分卡、JSON 与 Markdown 报告。核心评分覆盖 Fabrication、Manipulation、Deception、Unpredictability 和 Opacity 五个支柱，并生成 A–F 等级；扩展风险类别会单独报告，不计入常规等级。适合希望将提示注入、越权、无依据陈述、策略漂移和人工升级机制等问题纳入可重复审计流程的团队。
使用 ifixai setup 创建并保存 ifixai.yaml，或以 ifixai run 的显式参数发起审计。运行时会调用指定的 SUT（system under test）提供商、OpenAI 兼容 HTTP endpoint，或自定义 ChatProvider.send_message；judge 负责评判回答，默认会从环境中选择与 SUT 不同厂商的 judge。工具按 --suite 执行检查，将可观察到的治理行为评分；无法通过适配器观察的能力会标记为 insufficient_evidence。结果写入 ./ifixai-results/，包含 JSON、Markdown 报告和富终端 scorecard；ifixai run --print-telemetry 可显示将发送的遥测字段。
- 安全团队要对已部署、OpenAI 兼容的客服智能体进行黑盒审计，并希望把现有护栏一并纳入评估。
- 平台工程团队要在 CI 或脚本化批处理中使用显式 CLI 参数，持续运行 strategic 或 core 套件。
- 首次接入模型 API 的开发者需要先通过 ifixai run --provider mock --api-key not-used --eval-mode self 验证本地管道。
- 使用 Claude Code 或 Codex 的团队希望在现有编码代理中，由插件引导发现配置、生成 fixture、预估费用并解释计分卡。
- 拥有非标准智能体运行时的开发者愿意实现 ChatProvider.send_message，并按需暴露 list_tools、get_audit_trail 或 retrieve_sources 等能力。
这个 Agent 有哪些优点和局限？
- 同一诊断引擎同时支持向导式 CLI、显式 CLI、Codex/Claude Code 插件和多种 agent skill 脚手架。
- 可直接测试 OpenAI 兼容 HTTP 端点，也允许通过 ChatProvider.send_message 接入其他运行时。
- 核心等级有明确的五支柱权重、A–F 阈值和 B01、B08、P01 强制最低项规则。
- 报告同时提供 JSON、Markdown 与终端计分卡，适合人工审查与自动化处理。
- 可引用的独立评分需要至少两个不同厂商的密钥；单一提供商只能使用 self-judged 模式。
- 默认 fixture 故意包含缺陷，未传入自己的 --fixture 时，结果并不代表你的智能体。
- 非 HTTP 标准智能体需自行实现 ChatProvider.send_message；可观察能力不足会产生 insufficient_evidence。
- 完整模式需要手写 fixture，且 README 估计完整套件约会产生 2,000 次 judge 调用，费用取决于所选模型。
如何安装或部署这个 Agent？
需要 Python 3.10+。例如测试 Anthropic：pip install "ifixai[anthropic]"。首次配置可运行 ifixai setup，由向导选择 provider、model、judge 和 suite，并写入 ifixai.yaml。也可安装 Codex 插件：codex plugin marketplace add ifixai-ai/iFixAi，然后运行 codex plugin add ifixai@ifixai-ai。若使用 skill，可执行 uvx ifixai install --agents codex；该方式还需要 uv。
如何使用这个 Agent？
先运行 ifixai setup，再运行 ifixai run；报告会输出到 ./ifixai-results/。无需密钥的管道验证命令为：ifixai run --provider mock --api-key not-used --eval-mode self。审计真实部署的兼容端点可使用：ifixai run --provider http --endpoint <agent-url> --grounding sut。要获得可引用的等级，需要 SUT 密钥以及环境中来自不同厂商的 judge 密钥；若仅自评，添加 --eval-mode self。