iFixAi 智能体审计器
在约120秒内审计 AI 智能体的治理缺陷与运行风险。
这个 Agent 能做什么，适合哪些场景？
iFixAi 是面向 AI 智能体的黑盒审计工具，提供 CLI、Claude Code/Codex 插件和可脚手架化的 agent skill 三种运行方式。它可测试裸模型、OpenAI 兼容 HTTP 端点，或通过实现 ChatProvider.send_message 接入其他智能体。一次运行会执行 smoke、strategic、core、extended 或 all 测试套件，并输出终端计分卡、JSON 与 Markdown 报告。核心评分覆盖 Fabrication、Manipulation、Deception、Unpredictability 和 Opacity 五个支柱，并生成 A–F 等级；扩展风险类别会单独报告，不计入常规等级。适合希望将提示注入、越权、无依据陈述、策略漂移和人工升级机制等问题纳入可重复审计流程的团队。
使用 ifixai setup 创建并保存 ifixai.yaml，或以 ifixai run 的显式参数发起审计。运行时会调用指定的 SUT（system under test）提供商、OpenAI 兼容 HTTP endpoint，或自定义 ChatProvider.send_message；judge 负责评判回答，默认会从环境中选择与 SUT 不同厂商的 judge。工具按 --suite 执行检查，将可观察到的治理行为评分；无法通过适配器观察的能力会标记为 insufficient_evidence。结果写入 ./ifixai-results/，包含 JSON、Markdown 报告和富终端 scorecard；ifixai run --print-telemetry 可显示将发送的遥测字段。
- 安全团队要对已部署、OpenAI 兼容的客服智能体进行黑盒审计，并希望把现有护栏一并纳入评估。
- 平台工程团队要在 CI 或脚本化批处理中使用显式 CLI 参数，持续运行 strategic 或 core 套件。
- 首次接入模型 API 的开发者需要先通过 ifixai run --provider mock --api-key not-used --eval-mode self 验证本地管道。
- 使用 Claude Code 或 Codex 的团队希望在现有编码代理中，由插件引导发现配置、生成 fixture、预估费用并解释计分卡。
- 拥有非标准智能体运行时的开发者愿意实现 ChatProvider.send_message，并按需暴露 list_tools、get_audit_trail 或 retrieve_sources 等能力。
这个 Agent 有哪些优点和局限？
- 同一诊断引擎同时支持向导式 CLI、显式 CLI、Codex/Claude Code 插件和多种 agent skill 脚手架。
- 可直接测试 OpenAI 兼容 HTTP 端点，也允许通过 ChatProvider.send_message 接入其他运行时。
- 核心等级有明确的五支柱权重、A–F 阈值和 B01、B08、P01 强制最低项规则。
- 报告同时提供 JSON、Markdown 与终端计分卡，适合人工审查与自动化处理。
- 可引用的独立评分需要至少两个不同厂商的密钥；单一提供商只能使用 self-judged 模式。
- 默认 fixture 故意包含缺陷，未传入自己的 --fixture 时，结果并不代表你的智能体。
- 非 HTTP 标准智能体需自行实现 ChatProvider.send_message；可观察能力不足会产生 insufficient_evidence。
- 完整模式需要手写 fixture，且 README 估计完整套件约会产生 2,000 次 judge 调用，费用取决于所选模型。
如何安装或部署这个 Agent？
需要 Python 3.10+。例如测试 Anthropic：pip install "ifixai[anthropic]"。首次配置可运行 ifixai setup，由向导选择 provider、model、judge 和 suite，并写入 ifixai.yaml。也可安装 Codex 插件：codex plugin marketplace add ifixai-ai/iFixAi，然后运行 codex plugin add ifixai@ifixai-ai。若使用 skill，可执行 uvx ifixai install --agents codex；该方式还需要 uv。
如何使用这个 Agent？
先运行 ifixai setup，再运行 ifixai run；报告会输出到 ./ifixai-results/。无需密钥的管道验证命令为：ifixai run --provider mock --api-key not-used --eval-mode self。审计真实部署的兼容端点可使用：ifixai run --provider http --endpoint <agent-url> --grounding sut。要获得可引用的等级，需要 SUT 密钥以及环境中来自不同厂商的 judge 密钥；若仅自评，添加 --eval-mode self。