自动化与运维 observability tracing evaluation prompt-management guardrails red-teaming synthetic-data

RagaAI Catalyst

用 Python SDK 对 LLM 与多智能体应用进行评测、追踪、调试和安全测试。

源仓库: raga-ai-hub/RagaAI-Catalyst
Star 数: ★ 16k
最近更新: 8 个月前
License: Apache-2.0
主语言: Python
FA 评分: 46/100 · 缺口较多

30 秒速览

运行形态: 代码库 / SDK
可在哪里用: 兼容但需适配OpenAI API（部分支持）
费用: 软件免费，模型调用费用自付
上手难度: 中 · 需要几步配置
开始前需要: PythonRagaAI Catalyst 访问密钥和秘密密钥网络访问本地文件系统
典型场景: RAG 应用团队需要从 CSV 建立评测数据集，并用 Faithfulness、Hallucination 等配置检查每次实验结果。
不适合: 不想注册 RagaAI Catalyst 账号并获取访问密钥的用户
希望有完整自托管仪表盘部署文档的运维团队
源码审查: 46/100 · 缺口较多 1 项安全控制未见

这个 Agent 能做什么，适合哪些场景？

RagaAI Catalyst 是面向 LLM 项目的 Python SDK，覆盖项目、数据集、评测、追踪、提示词、合成数据、护栏和红队测试管理。它以 RagaAICatalyst、Dataset、Evaluation、Tracer 等类作为主要接口，并要求使用 RagaAI Catalyst 凭证完成认证。Agentic Tracing 可记录 LLM 调用、工具执行、网络活动、用户反馈和决策过程；Tracer 支持上下文管理器或显式 start/stop 执行方式。评测会返回实验状态和结果，红队测试返回数据框及保存路径，并可选择上传结果到 Catalyst dashboard。README 记录了 pip 安装与 SDK 调用，但未说明本地或自托管 dashboard 的部署步骤。

应用先通过 RagaAICatalyst(access_key, secret_key, base_url) 认证，再以 create_project 创建项目。Dataset 可列出数据集、从 CSV 创建数据集并读取 schema mapping；Evaluation 可列出指标、用 add_metrics 配置 Faithfulness 或 Hallucination 等指标、查询 get_status 与 get_results，并通过 append_metrics 为新增数据计算指标。Tracer 可在 with tracer(): 代码块内运行，或调用 start()、stop() 和 get_upload_status()；使用 tracer_type="Agentic" 并调用 init_tracing(catalyst=catalyst, tracer=tracer) 可启用自动埋点。PromptManager 读取及编译提示词；SyntheticDataGeneration 读取文件路径并生成问答或示例；GuardExecutor 根据部署的护栏执行消息；RedTeaming.run 调用用户提供的 response_model，生成或使用测试案例，输出结果数据框和保存路径。

RAG 应用团队需要从 CSV 建立评测数据集，并用 Faithfulness、Hallucination 等配置检查每次实验结果。
多智能体系统开发者需要通过 Agentic Tracing 查看 LLM 交互、工具调用、网络活动和决策过程。
提示词工程师需要用 PromptManager 获取指定名称或版本的提示词、填充变量后交给 OpenAI 或 LiteLLM 调用。
安全团队需要针对招聘聊天机器人等应用，以 harmful_content、stereotypes 或自定义检测器运行红队案例。
上线负责人需要为已有 deployment 配置 guardrails，并通过 GuardExecutor 评估消息和模型调用参数。

如何安装或部署这个 Agent？

安装：

pip install ragaai-catalyst

随后以直接传参方式认证：

from ragaai_catalyst import RagaAICatalyst
catalyst = RagaAICatalyst(access_key="YOUR_ACCESS_KEY", secret_key="YOUR_SECRET_KEY", base_url="BASE_URL")

README 也允许通过环境变量配置，但没有给出变量名。访问密钥和密钥需在个人资料设置的 Authenticate 中生成。

如何使用这个 Agent？

认证后可先创建项目：

project = catalyst.create_project(project_name="Test-RAG-App-1", usecase="Chatbot")

要记录代码执行，创建 Tracer 后使用：

with tracer():
    # Your code here

或调用 tracer.start()，执行代码后调用 tracer.stop() 和 tracer.get_upload_status()。README 明确说明，执行下述操作需要 RagaAI Catalyst 认证。

这个 Agent 有哪些优点和局限？

优点

一个 SDK 同时提供数据集、评测、追踪、提示词、合成数据、护栏和红队接口，适合将多个 LLM 质量流程集中在同一项目中。
Agentic Tracing 明确覆盖 LLM token 使用、工具执行、网络活动、用户反馈和决策过程，并支持 init_tracing 自动埋点。
评测 API 支持为同一实验添加多个指标、按阈值配置，并查询状态、结果或仅为新增数据追加计算。
RedTeaming 支持内置与自定义检测器、自动生成案例、用户指定案例及可选 dashboard 上传。

局限

README 表明所有操作都需要 RagaAI Catalyst 认证，采用前必须获取 access key、secret key 和 base_url。
虽然 README 提到环境变量配置，但没有提供变量名；也未提供 dashboard 的本地或自托管部署说明。
OpenAI、LiteLLM 和 XAI 仅以示例或模块支持形式出现；接入其他模型或运行时的具体适配范围没有说明。
CSV、文档路径、用户提供的 response_model 与部署 ID 等输入需要由使用方准备，README 未说明输入校验或失败恢复行为。

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

Agent	源码审查	形态 / 费用	Star	最近更新	主语言	完整支持的平台
RagaAI Catalyst 当前	46 · 缺口较多	代码库 / SDK免费 + 模型费	★ 16k	8 个月前	Python	—
Arize Phoenix	61 · 存在缺口	命令行工具免费版 + 付费版	★ 12k	今天	Python	OpenAI API · Claude API
DeepTeam - LLM红队测试框架	29 · 缺口较多	代码库 / SDK免费 + 模型费	★ 3.1k	14 天前	Python	—
Archestra	71 · 存在缺口	自托管服务免费版 + 付费版	★ 4.4k	今天	TypeScript	Codex · Claude Code · OpenAI API · Claude API

FollowAgents 如何评估这个 Agent？

FollowAgents 源码审查 · FARS-2.1

缺口较多

46/ 100 五分制 2.3 / 5

信任安全 8/29

可靠稳定 6/14

适用触发 12/18

规范维护 10/18

有效结果 7/13

证据核验 3/8

查看各维度的扣分理由

信任安全8 / 29 · 1.4/5

证据显示：需要用户提供API密钥（如OpenAI、Anthropic等）和RagaAI凭据，但未明确说明权限最小化原则；有用户确认机制（如显式初始化、手动触发），但未强制确认；数据流透明度部分：有追踪功能，但未说明数据如何传输和存储；敏感数据处理：未明确说明如何处理敏感数据；依赖安全：有依赖版本固定，但未提及漏洞扫描；外部影响：有网络调用，但未说明影响范围；回滚：未提及；来源归属：有作者信息，但发布者未验证。扣分原因：缺乏明确的权限最小化、数据流透明、敏感数据处理、依赖安全、外部影响和回滚的详细说明。

可靠稳定6 / 14 · 2.1/5

证据显示：README和代码示例一致，但存在不一致（如pyproject.toml中版本为2.1.7.4，但README未提及）；依赖可用性：依赖列表完整，但未说明版本兼容性；失败消息：有错误处理示例，但未系统说明。扣分原因：自一致性有轻微不一致，依赖可用性未充分说明，失败消息不全面。

适用触发12 / 18 · 3.3/5

证据显示：面向开发者，有多个使用场景（项目、数据集、评估、追踪等）；能力边界：有模块划分，但未明确边界；触发精度：有API调用示例，但未说明触发条件；环境适配：支持Python 3.10-3.13，但未说明其他环境。扣分原因：能力边界和触发精度不够明确，环境适配信息有限。

规范维护10 / 18 · 2.8/5

证据显示：信息架构清晰，有目录和文档链接；安装说明：有pip安装命令；命名稳定性：有版本号，但未说明命名规则；示例和FAQ：有大量示例，但无FAQ；已知限制：未明确列出；许可证：Apache-2.0；版本变更日志：未提供；维护责任：有作者信息，但未说明维护计划。扣分原因：缺少已知限制、版本变更日志和维护责任说明。

有效结果7 / 13 · 2.7/5

证据显示：输出可用性：有示例输出，但未说明格式；边际价值：功能丰富，但未与其他工具比较；成本效益：未说明成本。扣分原因：输出格式未明确，成本效益未说明。

证据核验3 / 8 · 1.9/5

证据显示：声明有文档支持，但未提供具体证据；交叉来源：有多个文件，但未相互验证；事实与推断分离：未明确区分。扣分原因：声明缺乏可追溯性，交叉验证不足，事实与推断未分离。

风险与缓解建议

源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
发布者身份未验证，需谨慎对待。
依赖安全未明确说明，建议检查依赖漏洞。
数据流和敏感数据处理不透明，需确认数据如何传输和存储。
缺少已知限制和版本变更日志，可能影响升级决策。

证据充分度：低评估于 2026年8月9日审查版本 ab6789331089

评估证据 README.md LICENSE pyproject.toml requirements.txt workflows/ci.yml tests/ai_travel_agent.py tests/unique_decorator_test.py

查看完整评分方法 →

常见问题

是否可以只在本地离线运行？

README 要求认证才能执行所列操作，并使用 base_url；因此无法根据现有资料确认完全离线运行方式。

需要哪些凭证？

需要 RagaAI Catalyst 的 access key、secret key 和 base_url。密钥可在个人资料设置的 Authenticate 中生成。

是否支持 OpenAI？

提示词示例展示了将编译后的提示词传给 OpenAI；评测示例使用 OpenAI 的 gpt-4o-mini。资料没有说明该集成覆盖所有 OpenAI API 场景。

追踪结束后如何确认上传状态？

显式追踪流程中可在 tracer.stop() 后调用 tracer.get_upload_status()。

费用如何计算？

提供的资料没有说明 RagaAI Catalyst、模型提供商或红队扫描的定价。

RagaAI Catalyst

30 秒速览

这个 Agent 能做什么，适合哪些场景？

如何安装或部署这个 Agent？

如何使用这个 Agent？

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

FollowAgents 如何评估这个 Agent？

最近版本

常见问题

相关 Agents

Arize Phoenix

DeepTeam - LLM红队测试框架

Archestra

MLflow