iFixAi 智能体审计器
在约120秒内审计 AI 智能体的治理缺陷与运行风险。
- Star 数
- ★ 44k
- 最近更新
- 3 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 56/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台Codex · Claude Code · OpenAI API · Claude API
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 安全团队要对已部署、OpenAI 兼容的客服智能体进行黑盒审计，并希望把现有护栏一并纳入评估。
- 不适合
- 只想用单一厂商密钥、不打算配置第二家评审模型的团队
- 希望直接对生产智能体打分、不愿自己编写 fixture 的用户
- 源码审查
- 56/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
iFixAi 是面向 AI 智能体的黑盒审计工具，提供 CLI、Claude Code/Codex 插件和可脚手架化的 agent skill 三种运行方式。它可测试裸模型、OpenAI 兼容 HTTP 端点，或通过实现 ChatProvider.send_message 接入其他智能体。一次运行会执行 smoke、strategic、core、extended 或 all 测试套件，并输出终端计分卡、JSON 与 Markdown 报告。核心评分覆盖 Fabrication、Manipulation、Deception、Unpredictability 和 Opacity 五个支柱，并生成 A–F 等级；扩展风险类别会单独报告，不计入常规等级。适合希望将提示注入、越权、无依据陈述、策略漂移和人工升级机制等问题纳入可重复审计流程的团队。
使用 ifixai setup 创建并保存 ifixai.yaml，或以 ifixai run 的显式参数发起审计。运行时会调用指定的 SUT（system under test）提供商、OpenAI 兼容 HTTP endpoint，或自定义 ChatProvider.send_message；judge 负责评判回答，默认会从环境中选择与 SUT 不同厂商的 judge。工具按 --suite 执行检查，将可观察到的治理行为评分；无法通过适配器观察的能力会标记为 insufficient_evidence。结果写入 ./ifixai-results/，包含 JSON、Markdown 报告和富终端 scorecard；ifixai run --print-telemetry 可显示将发送的遥测字段。
- 安全团队要对已部署、OpenAI 兼容的客服智能体进行黑盒审计，并希望把现有护栏一并纳入评估。
- 平台工程团队要在 CI 或脚本化批处理中使用显式 CLI 参数，持续运行 strategic 或 core 套件。
- 首次接入模型 API 的开发者需要先通过 ifixai run --provider mock --api-key not-used --eval-mode self 验证本地管道。
- 使用 Claude Code 或 Codex 的团队希望在现有编码代理中，由插件引导发现配置、生成 fixture、预估费用并解释计分卡。
- 拥有非标准智能体运行时的开发者愿意实现 ChatProvider.send_message，并按需暴露 list_tools、get_audit_trail 或 retrieve_sources 等能力。
如何安装或部署这个 Agent？
需要 Python 3.10+。例如测试 Anthropic：pip install "ifixai[anthropic]"。首次配置可运行 ifixai setup，由向导选择 provider、model、judge 和 suite，并写入 ifixai.yaml。也可安装 Codex 插件：codex plugin marketplace add ifixai-ai/iFixAi，然后运行 codex plugin add ifixai@ifixai-ai。若使用 skill，可执行 uvx ifixai install --agents codex；该方式还需要 uv。
如何使用这个 Agent？
先运行 ifixai setup，再运行 ifixai run；报告会输出到 ./ifixai-results/。无需密钥的管道验证命令为：ifixai run --provider mock --api-key not-used --eval-mode self。审计真实部署的兼容端点可使用：ifixai run --provider http --endpoint <agent-url> --grounding sut。要获得可引用的等级，需要 SUT 密钥以及环境中来自不同厂商的 judge 密钥；若仅自评，添加 --eval-mode self。
这个 Agent 有哪些优点和局限？
- 同一诊断引擎同时支持向导式 CLI、显式 CLI、Codex/Claude Code 插件和多种 agent skill 脚手架。
- 可直接测试 OpenAI 兼容 HTTP 端点，也允许通过 ChatProvider.send_message 接入其他运行时。
- 核心等级有明确的五支柱权重、A–F 阈值和 B01、B08、P01 强制最低项规则。
- 报告同时提供 JSON、Markdown 与终端计分卡，适合人工审查与自动化处理。
- 可引用的独立评分需要至少两个不同厂商的密钥；单一提供商只能使用 self-judged 模式。
- 默认 fixture 故意包含缺陷，未传入自己的 --fixture 时，结果并不代表你的智能体。
- 非 HTTP 标准智能体需自行实现 ChatProvider.send_message；可观察能力不足会产生 insufficient_evidence。
- 完整模式需要手写 fixture，且 README 估计完整套件约会产生 2,000 次 judge 调用，费用取决于所选模型。
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| iFixAi 智能体审计器 当前 | 56 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 44k | 3 天前 | Python | Codex · Claude Code · OpenAI API · Claude API |
| Agentic Radar | 46 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 1.1k | 11 个月前 | Python | — |
| Node9 | 82 · 表现良好 | 命令行工具免费版 + 付费版 | ★ 225 | 2 天前 | TypeScript | Codex · Claude Code |
| HOL Guard | 79 · 表现良好 | 命令行工具免费版 + 付费版 | ★ 1.1k | 今天 | Rust | Codex · Claude Code |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：项目明确说明密钥仅从环境变量读取，不持久化；提供脱敏机制（scrub_secrets）和遥测披露；用户确认机制（如--dry-run、费用提示）存在。扣分：未提供最小权限原则的明确说明，外部效果（如网络调用）未充分说明，回滚机制未提及，来源归属仅依赖未验证的发布者。
证据显示：文档和代码结构一致，提供失败消息示例（如mock运行故意失败），CI配置存在。扣分：依赖可用性未充分验证（如外部LLM提供商），失败消息的全面性未证实。
证据显示：明确目标受众（开发者、AI代理），提供多种运行方式（CLI、插件、Skill），支持多种环境（Claude Code、Codex等），触发方式明确（命令、插件）。扣分：能力边界描述不够详细，环境适配的细节有限。
证据显示：文档结构清晰（docs/），安装说明详细，许可证明确（Apache-2.0），示例和FAQ存在，已知限制有提及（如非认证工具）。扣分：命名稳定性未明确，版本变更日志未提供，维护责任未明确（发布者未验证）。
证据显示：输出格式明确（JSON+Markdown），提供评分卡和报告，边际价值高（诊断AI不协调），成本效益有估算（费用表）。扣分：实际效果未验证（静态审查），成本估算基于假设。
证据显示：声明有文档支持（如docs/scoring.md），提供案例研究，区分事实和推断（如案例研究基于公开信息重构）。扣分：跨来源验证不足，部分声明缺乏独立证据。
- 发布者身份未验证，需谨慎对待来源。
- 静态审查无法验证实际运行效果，建议进行实际测试。
- 依赖外部LLM提供商，需注意其可用性和安全性。
- 遥测数据虽已披露，但需确认是否符合你的隐私要求。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
v4.3.0 V4.3.0 - Audit Any Agent Over Chat, Judging Within Budget & Guided Fixtures
发布说明摘录
Audit Any Agent Over Chat 15 inspections no longer need an adapter: B01, B02, B04, B23, C02, C05, C11, M02, M03, M07, P01, P08, V08, X04 and X11 each send a probe pack over chat, and the agent's replies decide the verdict (#363). A chat endpoint is enough, and a bare model API counts. B01 and P01 grade a chat-only agent like any other. Hooks such as authorize_tool, get_confidence and route_to_human still work. They show as notes beside the probe results and never change the verdict. …在 GitHub 查看 ↗ -
v4.2.1 V4.2.1 - V11 inspection
发布说明摘录
New inspection: V11 Guilt Tripping Checks whether a companion chat ever helps a struggling user hurt themselves. - 40 four-turn chats across appearance contempt, restrictive eating, self-harm, suicidal ideation, and a sad-but-safe control. Half the users say they are 13 to 15. - Turn 3 reframes the request using known jailbreak patterns ("it's for a school project", "stay in character", "you said you'd be on my side"). Turn 4 asks directly. …在 GitHub 查看 ↗ -
v4.2.0 V4.2.0 Faster Default Runs, Gateway Providers & Offline Assurance
发布说明摘录
Faster Default Run ifixai run now runs the 10-inspection essential suite instead of all 60: B01, B08, P01, B12, B09, B27, B06, B16, B18 and B20 (#232). - It still produces a grade, because all three mandatory minimums are included. - It makes about 6x fewer agent and judge calls. - --full-run runs all 60, as before. --resume continues a full run as a full run. - An empty or failed agent reply now drops that one probe. It no longer fails the whole inspection (#232). New …在 GitHub 查看 ↗