Agentic Security
面向 LLM 与智能体工作流的开源漏洞扫描器，用于检测越狱、模糊测试和多模态攻击。
证据显示：工具需要用户提供API密钥（如Bearer token）和访问外部LLM API，但未明确说明权限最小化或用户确认机制。数据流透明度部分：README说明了HTTP请求格式和数据集加载，但未详细说明数据如何被处理或存储。敏感数据处理：未提及如何处理API密钥或用户数据。依赖安全：pyproject.toml列出了依赖，但未提供漏洞扫描或版本锁定信息。外部影响：工具会向外部API发送请求，但未说明用户确认或限制。回滚：未提及。来源归属：作者和许可证已明确，但发布者未验证。扣分原因：缺乏权限最小化、用户确认、数据流透明、敏感数据处理、依赖安全、外部影响、回滚和来源归属的详细说明。
证据显示：README和配置示例一致，但存在一些不一致，如版本号在pyproject.toml为1.0.0而SECURITY.md支持0.0.x。依赖可用性：依赖列表完整，但未提供锁定文件。失败消息：日志输出示例显示了错误和警告，但未提供详细的错误处理文档。扣分原因：版本不一致和依赖锁定缺失。
证据显示：README提供了多种使用场景（CLI、CI、API集成），并说明了能力边界（如支持文本、图像、音频）。触发精度：提供了配置示例和命令行选项。环境适配：支持Python 3.12+，并提供了Docker工作流。扣分原因：未详细说明所有环境限制。
证据显示：信息架构清晰，有README、文档链接和示例。安装说明简单。命名稳定性：版本号在pyproject.toml为1.0.0，但SECURITY.md支持0.0.x，不一致。示例和FAQ：提供了多个示例，但无FAQ。已知限制：未明确列出。许可证：Apache-2.0，完整。版本变更日志：未提供。维护责任：作者明确，但未说明维护计划。扣分原因：版本不一致、无FAQ、无已知限制、无变更日志。
证据显示：输出为表格形式，易于阅读。边际价值：提供了多种攻击模拟功能，但未与其他工具对比。成本效益：未提供成本估算或性能基准。扣分原因：缺乏成本效益分析。
证据显示：README中的声明（如功能列表）未提供具体证据或测试结果。交叉来源：未提供外部验证。事实与推断分离：未明确区分。扣分原因：声明缺乏可追溯性。
- 工具需要用户提供API密钥，但未说明如何安全存储或处理，存在泄露风险。
- 版本号不一致（pyproject.toml为1.0.0，SECURITY.md支持0.0.x），可能引起混淆。
- 依赖未锁定版本，可能引入不兼容或漏洞。
- 未提供已知限制或FAQ，用户可能对工具边界产生误解。
这个 Agent 能做什么，适合哪些场景？
Agentic Security 是一个开源漏洞扫描器，专为 LLM 和智能体工作流设计，帮助开发者、研究人员和安全团队主动识别并降低 AI 系统的安全风险。它支持多模态攻击探测（文本、图像、音频）、多步越狱模拟、综合模糊测试、API 集成和压力测试，以及基于强化学习的自适应攻击。项目采用 Apache 2.0 许可证，可通过 pip 安装，并可通过 CLI 启动，同时提供 Web UI 界面。扫描结果以报告形式呈现，支持通过 CI/CD 集成（如 GitHub Actions）进行自动化安全扫描。该工具与任何 LLM API 兼容，用户可通过自定义 HTTP 规范配置目标模型。
Agentic Security 通过读取自定义的 LLM API 规范（HTTP 请求模板），执行一系列预定义的攻击向量（prompt）来测试目标 LLM 的鲁棒性。它从 Hugging Face 数据集或本地 CSV 文件加载 prompt 集，并通过 fuzzer 模块（如 perform_single_shot_scan）进行扫描，计算失败率并生成包含通过/未通过状态的报告。用户可通过 CLI 命令（如 agentic_security ci）在 CI/CD 中运行扫描。它提供了 /v1/self-probe 端点用于测试，并支持图像和音频模态的探测。工具还支持自定义数据集加载和动态数据集变异（如加密、噪声注入等）。
- 安全工程师在 CI/CD 流水线中集成 agentic_security ci，确保每次部署前 LLM 安全性达标。
- 研究员使用多步越狱模拟测试最新 LLM 的防御机制，评估其对抗复杂攻击的能力。
- 开发者利用模糊测试功能随机输入，发现 LLM 应用中的意外行为或边缘案例。
- 红队成员使用 RL 攻击模块生成自适应探测向量，以模拟真实世界的自适应攻击。
- 质量保障团队通过压力测试验证 LLM API 在高负载下的稳定性和安全响应。
这个 Agent 有哪些优点和局限？
- 支持多模态攻击（文本、图像、音频），覆盖更广的攻击面。
- 提供多步越狱模拟和 RL 攻击，能够模拟复杂攻击场景。
- 易于集成到 CI/CD 流程，提供 CLI 和配置支持。
- 支持自定义数据集和动态变异，扩展性强。
- 需要用户提供 LLM API 的认证信息（如 API Key），存在安全风险。
- 当前集成第三方工具（如 Garak、InspectAI）在文档中标注为计划，可能尚未完全实现。
- 扫描性能受网络延迟和 API 限流影响，大规模扫描可能需要较长时间。
- 依赖外部 Hugging Face 数据集，若数据集被删除或更改可能影响稳定性。
如何安装或部署这个 Agent？
通过 pip 安装：pip install agentic_security。需要 Python 3.9+ 环境。
如何使用这个 Agent？
安装后，直接运行 agentic_security 启动 Web UI（默认端口 8718）。或者通过 agentic_security --port=PORT --host=HOST 指定端口和主机。初始化配置：agentic_security init 生成 agesec.toml 配置文件。编辑该文件，设置 llmSpec 字段（HTTP 请求模板，包含 Authorization 和 Body），并指定要使用的数据集模块。然后运行 agentic_security ci 执行安全扫描，扫描结果会输出通过/失败状态。也可通过 Python API 集成，参考 /v1/self-probe 端点示例。