DeepTeam - LLM红队测试框架
对LLM和AI智能体进行安全渗透测试的开源框架，模拟越狱、提示注入等多轮攻击，提供生产级防护栏。
- Star 数
- ★ 3k
- 最近更新
- 2 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 29/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 安全工程师评估内部LLM应用对提示注入和越狱攻击的抵抗力，利用CLI或Python API快速扫描漏洞。
- 不适合
- 希望开箱即用、不想编写model_callback接入自己系统的用户
- 不愿注册或付费使用Confident AI平台来管理结果的团队
这个 Agent 能做什么，适合哪些场景？
DeepTeam是一个开源的红队测试框架，用于评估和加固LLM系统、AI智能体、RAG流水线和聊天机器人。它通过50多种现成的漏洞检测（如偏见、PII泄露、SQL注入）和20多种研究支持的对抗性攻击方法（如提示注入、Crescendo越狱）来模拟真实攻击。所有评估均在本地运行，利用LLM-as-a-Judge指标生成二进制的通过/失败评分，并附有推理过程。它还提供7种生产级防护栏，用于实时监控LLM输入和输出，并可对接OWASP、NIST、MITRE等安全框架。DeepTeam支持通过Python API或CLI使用，基于DeepEval构建，且可集成Confident AI平台以管理和监控风险。
DeepTeam接收一个模型回调函数（model_callback），该函数封装了待测的LLM系统。它会根据指定的漏洞（如Bias、Toxicity）和攻击方法（如PromptInjection、Crescendo Jailbreak）动态生成对抗性输入，模拟攻击。然后利用LLM-as-a-Judge指标（如BiasMetric）对模型输出进行二分评分（0或1），计算出漏洞的通过率。所有过程均在本地进行，无需预设数据集。此外，用户可通过CLI（YAML配置）或Python编程方式运行红队测试。它还提供Guardrails类，支持输入和输出安全保护，例如PromptInjectionGuard、PrivacyGuard。最终生成风险评估报告，可保存为JSON格式，并可上传到Confident AI平台进行管理和监控。
- 安全工程师评估内部LLM应用对提示注入和越狱攻击的抵抗力，利用CLI或Python API快速扫描漏洞。
- AI开发者在部署前对RAG流水线进行红队测试，检测PII泄露和提示泄露等数据隐私风险。
- 企业安全团队对照OWASP Top 10或NIST AI RMF框架，确保模型符合行业安全标准。
- 需要生产环境实时防护的团队，通过Guardrails API对LLM输入和输出进行实时分类和拦截。
- 智能体开发者利用Agentic漏洞（如Goal Theft、Excessive Agency）检测多代理系统的安全性。
- 希望集中管理红队测试结果和监控生产环境漏洞的团队，集成Confident AI平台。
如何安装或部署这个 Agent？
使用pip安装：pip install -U deepteam。需要设置OPENAI_API_KEY环境变量（或使用DeepEval支持的自定义模型）。
如何使用这个 Agent？
- 导入模块：
from deepteam import red_team; from deepteam.vulnerabilities import Bias; from deepteam.attacks.single_turn import PromptInjection。2. 定义异步model_callback函数，接收字符串输入并返回字符串输出。3. 调用red_team(model_callback=..., vulnerabilities=[Bias(types=["race"])], attacks=[PromptInjection()])。4. 运行脚本，即可在本地生成风险评估结果。
这个 Agent 有哪些优点和局限？
- 本地运行，无需外部服务，保护数据隐私
- 50+漏洞库和20+攻击方法，覆盖全面
- 与OWASP、NIST等安全框架直接映射
- 提供生产级防护栏，可实时拦截风险
- 支持CLI和Python API，集成灵活
- 依赖LLM作为评判者，评估准确性受模型质量影响
- 需要编写model_callback来集成待测系统，并非开箱即用
- 多轮攻击方法可能消耗较多计算资源和时间
- 部分高级功能（如Confident AI平台）需要额外注册和付费
这个 Agent 与同类方案有什么区别？
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| DeepTeam - LLM红队测试框架 当前 | 29 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 3k | 2 天前 | Python | — |
| AI-Infra-Guard（A.I.G）——腾讯朱雀实验室AI红队平台 | 48 · 缺口较多 | 自托管服务免费版 + 付费版 | ★ 6.9k | 今天 | Python | — |
| Agentic Security | 45 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 2k | 今天 | Python | OpenAI API |
| PentestCode | 55 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 852 | 16 天前 | TypeScript | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示仓库未提供权限管理、用户确认、数据流透明性、敏感数据处理、依赖安全、外部影响、回滚或来源归属的说明。所有信任相关标准均未得到满足，因此评分为0。
自一致性：README和pyproject.toml中的版本号一致（1.0.8），但未提供内部一致性证据，如API文档与代码的一致性。依赖可用性：依赖列表明确，但未提供锁定文件或版本范围验证。失败消息：未提供错误处理或失败消息的文档。
受众与场景：README明确面向LLM安全工程师，提供了多种漏洞和攻击场景。能力边界：未明确说明框架的局限性或适用边界。触发精度：未提供详细的配置选项或触发条件。环境适配：支持Python 3.9-3.14，但未说明操作系统或硬件要求。
信息架构：README结构清晰，包含快速入门、功能列表等。安装说明：提供了pip安装命令。命名稳定性：未提供命名约定或API稳定性说明。示例与FAQ：提供了多个代码示例，但无FAQ。已知限制：未提及。许可证：Apache-2.0许可证文件完整。版本与变更日志：pyproject.toml中有版本号，但无变更日志。维护责任：作者信息明确，但未说明维护政策。
输出可用性：提供了风险评估结果的数据框和JSON保存方式。边际价值：提供了50+漏洞和20+攻击，具有明显价值。成本效益：未提供性能或成本数据。
声明可追溯性：README中的功能声明未提供测试或证据支持。跨来源佐证：未提供外部验证。事实与推断分离：未明确区分事实和推断。
- 源码中未见：最小权限约束只授予完成任务所需的权限：用专用账号或只读令牌，并限定可访问的目录和仓库。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：数据流向说明运行时观察它连接了哪些外部服务（代理或防火墙日志）；弄清数据去向之前不要输入敏感数据。
- 源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
- 源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
- 源码中未见：外部影响披露先弄清它会写入、发送或修改哪些外部系统，用测试账号或测试仓库验证后再接入正式环境。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 源码中未见：来源归属可核验从官方仓库或包源安装，核对发布者和仓库地址，避免同名仿冒包。
- 未提供权限管理或用户确认机制，可能默认执行高权限操作。
- 依赖未锁定版本，存在供应链风险。
- 未说明敏感数据处理方式，可能泄露数据。
- 未提供回滚机制，错误操作难以恢复。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
v1.0.9 First Stable Release 🎉
发布说明摘录
We're excited to announce the stable release of DeepTeam v1.0.0 - a Python framework that orchestrates LLM red teaming. From simulating adversarial, malicious inputs to evaluating how your LLM app responds in those situations, DeepTeam is all you need to uncover vulnerabilities across your AI stack. We've built DeepTeam with modularization in mind - making it easy to build custom LLM security pipelines, combining 20+ single and multi-turn attacks to expose 50+ vulnerabilities across different risk categories. --- Why DeepTeam? 🧩 Modular Architecture …在 GitHub 查看 ↗ -
v0.1.9 🎉 New CLI tool, Agentic Red Teaming
发布说明摘录
🚀 DeepTeam CLI Release We’re excited to release the first version of the DeepTeam CLI – a powerful command-line tool for red teaming and evaluating LLM applications with DeepEval. ✨ Features - Red Team Simulation - Easily specify simulator and evaluation models (gpt-3.5-turbo-0125, gpt-4o, etc.) - Attack LLM systems with predefined vulnerability categories (e.g., Bias, Toxicity) - Target System Configuration - Test both foundational models (like gpt-3.5-turbo) and full LLM applications via custom Python wrappers …在 GitHub 查看 ↗ -
v0.1.4 First Stable Release 🎉
发布说明摘录
DeepTeam v0.1.0 – First Release 🎉 We’re excited to launch the first public release of DeepTeam, the open-source framework for LLM red teaming. 🧠 DeepTeam enables you to simulate real-world attacks on language models, test for failure modes like jailbreaks, and uncover model vulnerabilities using structured, reproducible evaluation. 🚀 Features - ✅ Built-in adversarial attack strategies (jailbreaks, refusal bypasses, prompt injections) - ✅ Automatic generation of adversarial test cases - ✅ Multi-metric evaluation (pass/fail, toxicity, relevance, etc.) …在 GitHub 查看 ↗