Argus 智能体红队测试
用 266 个红队探针从工具调用、读取内容和外部请求三条路径攻击你的 AI 智能体。
- Star 数
- ★ 216
- 最近更新
- 今天
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 74/100 · 存在缺口
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台OpenAI API · Claude API
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 安全团队在发布前对自家聊天机器人或工具调用智能体做一次红队扫描,并把 SARIF 上传到 GitHub Code Scanning。
- 不适合
- 希望在不调用任何云端模型的情况下完成全部判分的团队
- 需要在 macOS 上验证 skill 行为的用户(scan-skill 只在 Linux 容器中运行)
- 需要长期内联防护生产流量的团队(Argus 只做攻击测试)
- 官网
- gy15901580825.github.io/Argus ↗ 来自 GitHub 仓库设置
- 维护状态
- 近 30 天有提交最近提交 2026-11-20最新版本 v1.19.0(2026-11-19)近 7 天每天 +1.0 ★
- 源码审查
- 74/100 · 存在缺口
这个 Agent 能做什么,适合哪些场景?
Argus 是一个开源的 AI 智能体红队测试框架,以 pip 包 argus-probe 形式发布,附带 266 个对抗性探针,覆盖 OWASP LLM Top 10、MITRE ATLAS 与 NIST AI RMF 映射。它把被攻击的智能体当作黑盒,通过 15 种目标适配器(openai_compat、anthropic_native、mcp_agent、browser_use、a2a_agent、vllm_server 等)与目标交互,既有 LLM 判分,也有基于记录到的浏览器请求、MCP 工具调用或模拟支付的确定性判定。除常规探针外,还提供 mcp-trap(恶意 MCP 服务器)、scan-mcp(扫描 MCP 服务器工具)和 scan-skill(在一次性容器中试装 Claude Code skill)三个子命令。输出支持 SARIF 2.1.0、JUnit XML 和 HTML,可直接上传到 GitHub Code Scanning,或通过 argus-probe-action 在 CI 中作为门禁。运行方式分本地 --local 进程内执行和服务器模式两种,前者不需要自建服务。
Argus 从 argus/probes/ 目录加载 YAML 探针,每个探针带 prompts、conversation、severity 以及 mappings(atlas / owasp_llm / owasp_agentic / nist_ai_rmf / eu_ai_act)和 judge.rubric_path。运行时按目标 JSON 中的 kind 选择适配器,把攻击提示发给你的智能体;判分由 argus/rubrics/ 下的评分标准和 LLM 判分器完成,默认先用快速的 Anthropic Haiku 4.5 判分,当判定为 high/critical 且置信度 ≥ 0.7 时再由 Sonnet 4.6 复核,也支持 OpenAI、litellm、Jev 等提供方。mcp_agent、payment_agent 以及多数 garak 包装探针改为确定性断言,依据测试床记录的 MCP 调用或 x402 支付结果得出结论。报告生成 SARIF 2.1.0、JUnit XML 或 HTML,包含按标准统计的覆盖情况以及带证据的发现。配套子命令包括 mcp-trap(用恶意 MCP 服务器测智能体)、scan-mcp(对 MCP 服务器工具做只读调用扫描)、scan-skill(在容器里运行 Claude Code skill 并追踪其文件读取、命令执行和出站请求),以及 draft-target(从本地 OpenAPI 文件生成目标草案)。
- 安全团队在发布前对自家聊天机器人或工具调用智能体做一次红队扫描,并把 SARIF 上传到 GitHub Code Scanning。
- 开发 MCP 生态应用的团队用 mcp-trap 验证智能体是否会中招工具投毒、rug pull、工具影子化和凭证诱导。
- 支付类智能体团队用 payment_agent 适配器检测智能体是否会向被替换的收款方付款、拆分支付绕过审批或在重试时重复付款。
- 在安装第三方 Claude Code skill 之前,用 scan-skill 在一次性容器中观察其是否读取诱饵密钥、执行可疑命令或向外发送请求。
- DevSecOps 团队把 argus-probe-action 接入 CI,在每次提交时运行本地扫描,并在出现 critical 发现或探针出错时让流水线失败。
- 安全研究者需要按 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF 等框架归类发现,供合规与审计记录使用。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pipx install argus-probepip install argus-probepip install
- 环境变量
ANTHROPIC_API_KEYOPENAI_API_KEYAGENT_API_KEYARGUS_API_URLARGUS_API_TOKEN- 配置文件
argus-target.json- 运行环境
- Python 3.11+
- 安装说明涉及
- Docker
如何安装或部署这个 Agent?
需要 Python 3.11+。推荐用 pipx 隔离安装,避免与 PyPI 上同名的 argus 包冲突:
pipx install argus-probe
# 或者
pip install argus-probe只运行确定性探针时无需任何模型密钥;运行需要判分的探针时设置 Anthropic 或 OpenAI 密钥:
export ANTHROPIC_API_KEY=<your key>
# 或
export OPENAI_API_KEY=<your key>scan-skill 额外需要 Docker 与 ANTHROPIC_API_KEY;浏览器探针需要 Playwright 及 Chromium。从源码安装可在克隆仓库后执行 pip install .。
如何使用这个 Agent?
一分钟体验(无需 API 密钥,内置一个故意存在漏洞的 MCP 演示智能体):
argus-probe quickstart运行结束后会写出 argus-quickstart.html。
针对自己的智能体,先写目标 JSON,例如:
{
"kind": "openai_compat",
"endpoint_url": "https://api.your-agent.example.com/v1/chat/completions",
"model": "your-agent-prod-v3",
"api_key": "${AGENT_API_KEY}"
}在本地进程中运行选定探针并输出 SARIF:
argus-probe run --local --target argus-target.json \
--probes owasp_01_prompt_injection_basic,syscard_crescendo \
--format sarif --out argus.sarif查看适配目标类型的全部探针:
argus-probe list-probes --target argus-target.json用恶意 MCP 服务器测试自己的智能体:
argus-probe mcp-trap在安装 skill 前扫描:
argus-probe scan-skill ./path/to/skill在 GitHub Actions 中接入官方 Action,并设置 fail-on 阈值:
- uses: actions/checkout@v4
- uses: gy15901580825/argus-probe-action@v2
env:
ANTHROPIC_API_KEY: ${{ secrets.ANTHROPIC_API_KEY }}
with:
target: argus-target.json
fail-on: critical若不使用 --local,CLI 会作为客户端访问实现 /api/v1/redteam 的服务端,需要设置 ARGUS_API_URL 和 ARGUS_API_TOKEN,并且服务端需另行部署(自托管完整栈位于 v0.3-full 标签)。
这个 Agent 有哪些优点和局限?
- 266 个探针内置在库中,覆盖 OWASP LLM Top 10、MITRE ATLAS、NIST AI RMF、OWASP Agentic Top 10 与 garak 包装,发现可追溯到具体框架条目。
- MCP、支付和浏览器类探针优先使用测试床记录的调用或请求做确定性判定,不依赖模型对回复的解读,降低了判分误判。
- 本地 --local 模式无需部署服务器即可运行,quickstart 在无 API 密钥的情况下也能跑通,首次体验成本低。
- 原生输出 SARIF 2.1.0 和 JUnit XML,附带 GitHub Action 与 Code Scanning 上传,适合嵌入 DevSecOps 流水线。
- 提供 mcp-trap、scan-mcp、scan-skill 三个独立的攻击/审计子命令,可分别针对 MCP 智能体、MCP 服务器和 Claude Code skill。
- 判分探针依赖云模型并产生费用,虽有每日与单次成本上限,仍需准备 Anthropic、OpenAI 或 litellm 兼容服务的密钥。
- scan-skill 只在一次性 Linux 容器中运行,仅对 macOS 生效的 skill 不会被触发,干净报告不等于安全证明。
- 服务器模式所需的完整自托管栈(REST API、Web UI、数据库迁移、Helm)已从当前仓库移除,只能检出 v0.3-full 标签获取。
- mcp_agent 探针默认连本地测试床;连接真实智能体时需额外配置,部分场景要指定 "testbed_url": "local",stdio MCP 服务器扫描还需 --on-host。
- PyPI 上存在同名的 argus 包,安装在同一环境会冲突,需要 pipx 或独立虚拟环境。
这个 Agent 与同类方案有什么区别?
README 明确提及 NVIDIA 的 garak:Argus 内置 99 个 garak 包装探针,并注明 garak 不是其依赖。此外还建议结合 NVIDIA SkillSpector 和 Cisco skill-scanner 做 skill 文本的静态审查。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Argus 智能体红队测试 当前 | 74 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 216 | 今天 | Python | OpenAI API · Claude API |
| Agent Audit | 60 · 存在缺口 | 命令行工具免费 | ★ 246 | 2 个月前 | Python | — |
| Superagent SDK | 46 · 缺口较多 | 代码库 / SDK免费版 + 付费版 | ★ 6.9k | 2 个月前 | TypeScript | Claude Code · OpenAI API · Claude API |
| SkillSpector 技能安全扫描器 | 75 · 表现良好 | 命令行工具免费 + 模型费 | ★ 27k | 今天 | Python | Codex · Claude Code · OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
证据显示:SECURITY.md 明确凭据只从操作者环境读取并用于其自有目标,且把凭据外泄列为漏洞;README 说明云 judge 会把攻击提示与目标回复发给第三方,并给出成本上限与预测中止;pyproject 对 litellm 做了严格版本区间并附 2026-10-21 恶意发布事件的静态复核记录,jinja2/filelock 有 CVE 下限,属较扎实的依赖安全。扣分点:scan-skill 会在一次性容器中安装并执行不可信 skill,scan-mcp 默认会调用工具、stdio 需 --on-host,这些外部副作用虽有说明但缺少统一的确认/回滚机制;仓库无回滚或撤销说明(仅提到 v0.3-full 标签可回退服务端栈),故 rollback 仅 1;来源归属方面 README 提到 garak 与 Semia 论文,但未提供 NOTICE 内容或逐项来源清单,故 2。
证据显示:CLAUDE.md 描述 import-linter 边界契约,CI 覆盖测试、安装、各 testbed、镜像构建与 probe schema 校验,失败信息在 README 中具体(401/超时导致 error 而非 pass、空回复为 error、registry 不可达为 error)。扣分点:README 与 quickstart 对 server 模式的表述存在张力(仓库不再附带服务端,需 v0.3-full 标签),且 client_agent 必须与服务端同版本否则浏览器探针全部 error,说明版本耦合脆弱;可选依赖(mcp、playwright、Docker)缺失时的降级路径只在文档中描述,未见代码级证据,故各项均未给满分。
证据显示:README 的 Scope 章节明确列出 15 种 target adapter、266 个探针的分类计数,并单列“What Argus does not do”(不训练模型、不打补丁、不做生产运行时防护),capability_boundaries 处理充分;受众与场景(安全团队、CI、支付/MCP/浏览器 agent)覆盖广。扣分点:trigger_precision 方面,探针选择依赖 --probes 名称与 kind 匹配,README 承认 judge 判定存在误判(小模型漏检、Azure 内容过滤阻断),且 deep 模式流量不可预测;environment_fit 上,浏览器探针要求目标能访问 127.0.0.1 或自建 hosted trap,容器/跨机场景需额外配置,故各扣分。
证据显示:安装说明详尽(pipx/pip、Python 3.11+、与 PyPI 上无关 argus 包冲突的警告、可选 extra),示例与 FAQ 丰富(quickstart、target JSON、GitHub Action YAML、scan-skill 样例),known_limitations 写得非常具体(clean scan 不等于安全、macOS-only skill 在 Linux 容器中无效、judge 精度文档),LICENSE 为完整 Apache-2.0 且 pyproject 声明 license-files。扣分点:information_architecture 上 README 极长且与 docs/ 存在重复,CLAUDE.md 与 README 对服务端现状表述不一致;naming_stability 上包名 argus-probe 与顶层 argus 包、以及 argus-probe-action 独立仓库易混淆;versioning_changelog 仅有指向 GitHub releases 的链接,无仓库内 CHANGELOG;maintenance_responsibility 因发布者未经 FollowAgents 验证、仅有一个联系邮箱,故仅 1。
证据显示:输出可用性强——SARIF 2.1.0 可上传 GitHub Code Scanning、JUnit 用于 CI 门禁、HTML 供人阅读,且带 per-standard 覆盖段与证据段;CI 工作流证明 fail-on 门禁会以退出码 3 触发。扣分点:marginal_value 上,266 个探针中 99 个是 garak 包装、部分探针由 LLM judge 决定,与既有 garak/LLM-eval 工具存在重叠,README 也承认不替代 eval harness;cost_benefit 上,--probes all 对 chat 目标估算约 $5.32,scan-skill 每次任务上限 $1–4.75,虽有成本上限但绝对成本不低,且 judge 依赖第三方 API,故各扣 1。
证据显示:claim_traceability 较好——探针映射表由生成而非手工维护,SECURITY.md 记录了 litellm 复核的具体方法与未验证项(未验证发布者、无 PEP 740 证明),RESULTS.md 与 judge-accuracy.md 提供实测数据。扣分点:cross_source_corroboration 上,README 的 266 探针计数与 Scope 中分类数字需读者自行加总核对,且部分数字(如 12 个 quickstart 探针)与 CI 中 12 条 SARIF 结果仅间接对应;fact_inference_separation 上,README 混用了“已实现”“在引擎中但未暴露”“不再随仓库发布”等状态,读者需自行区分事实与规划,故各扣 1。
- scan-skill 会在容器中安装并执行不可信 skill,scan-mcp 默认会调用目标工具,stdio 模式需 --on-host;对生产或第三方系统运行前必须确认书面授权。
- 云 judge 会把攻击提示与目标回复发送给第三方 LLM 提供商;不要扫描回复中含不允许外发数据的系统。
- 仓库不再附带服务端栈,server 模式需自行部署 v0.3-full 标签版本,且 client_agent 必须与服务端同版本,否则浏览器探针全部报 error。
- 发布者未经 FollowAgents 验证,维护责任与更新路径仅有一个联系邮箱,生产采用前应自行评估供应链。
- litellm 被限制在 1.108.3–1.108.4,SECURITY.md 自述未验证发布者身份且无 PEP 740 证明,依赖安全依赖持续人工复核。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
v1.19.0 argus-probe 1.19.0
发布说明摘录
argus-probe 1.19.0 and argus-drivers-google 1.19.0. 320 probes, up from 313. Added: MCP gateway and proxy testing (#344-#361) A new mcp_gateway target tests the gateway or proxy that sits between MCP clients and upstream MCP servers. Argus hosts passive upstream fixtures: - a hostile upstream MCP server; - an honest authorization server; - a foreign origin. …在 GitHub 查看 ↗ -
v1.18.0 argus-probe 1.18.0
发布说明摘录
argus-probe 1.18.0 and argus-drivers-google 1.18.0. 313 probes (was 295). Eighteen new probes cover attack scenarios from 2025-2026 security research. Each one is scored from what a trap, testbed or tool ledger records, with no LLM judge. Each one has a control that an honest agent passes, and is skipped when the agent never reached the attack. Added: browser probes without instruction text …在 GitHub 查看 ↗ -
v1.17.1 argus-probe 1.17.1
发布说明摘录
argus-probe 1.17.1 and argus-drivers-google 1.17.1. 295 probes (unchanged). Fixed: Gmail seed insertion (#330) - With seed_mode: insert, the Google driver posted the seed message to a path the Gmail API does not have, so every run failed with HTTP 404 and the finding became error ("scenario dependency failed"). It now posts to users/me/messages, the documented insert endpoint. The request body and internalDateSource=receivedTime are unchanged. …在 GitHub 查看 ↗
常见问题
必须要有模型 API 密钥吗?
运行一次大概花多少钱?
Argus 会修改或防护我的智能体吗?
我的数据会发到哪里?
能接入 GitHub Actions 吗?
Argus 智能体红队测试 官网是什么?
Argus 智能体红队测试 开源吗?
Argus 智能体红队测试 安全吗?
Argus 智能体红队测试 还在维护吗?
Argus 智能体红队测试 是谁开发的?
谢谢反馈,我们会据此改进页面。