RagaAI Catalyst
用 Python SDK 对 LLM 与多智能体应用进行评测、追踪、调试和安全测试。
按维度查看评分与理由
证据显示：需要用户提供API密钥（如OpenAI、Anthropic等）和RagaAI凭据，但未明确说明权限最小化原则；有用户确认机制（如显式初始化、手动触发），但未强制确认；数据流透明度部分：有追踪功能，但未说明数据如何传输和存储；敏感数据处理：未明确说明如何处理敏感数据；依赖安全：有依赖版本固定，但未提及漏洞扫描；外部影响：有网络调用，但未说明影响范围；回滚：未提及；来源归属：有作者信息，但发布者未验证。扣分原因：缺乏明确的权限最小化、数据流透明、敏感数据处理、依赖安全、外部影响和回滚的详细说明。
证据显示：README和代码示例一致，但存在不一致（如pyproject.toml中版本为2.1.7.4，但README未提及）；依赖可用性：依赖列表完整，但未说明版本兼容性；失败消息：有错误处理示例，但未系统说明。扣分原因：自一致性有轻微不一致，依赖可用性未充分说明，失败消息不全面。
证据显示：面向开发者，有多个使用场景（项目、数据集、评估、追踪等）；能力边界：有模块划分，但未明确边界；触发精度：有API调用示例，但未说明触发条件；环境适配：支持Python 3.10-3.13，但未说明其他环境。扣分原因：能力边界和触发精度不够明确，环境适配信息有限。
证据显示：信息架构清晰，有目录和文档链接；安装说明：有pip安装命令；命名稳定性：有版本号，但未说明命名规则；示例和FAQ：有大量示例，但无FAQ；已知限制：未明确列出；许可证：Apache-2.0；版本变更日志：未提供；维护责任：有作者信息，但未说明维护计划。扣分原因：缺少已知限制、版本变更日志和维护责任说明。
证据显示：输出可用性：有示例输出，但未说明格式；边际价值：功能丰富，但未与其他工具比较；成本效益：未说明成本。扣分原因：输出格式未明确，成本效益未说明。
证据显示：声明有文档支持，但未提供具体证据；交叉来源：有多个文件，但未相互验证；事实与推断分离：未明确区分。扣分原因：声明缺乏可追溯性，交叉验证不足，事实与推断未分离。
- 发布者身份未验证，需谨慎对待。
- 依赖安全未明确说明，建议检查依赖漏洞。
- 数据流和敏感数据处理不透明，需确认数据如何传输和存储。
- 缺少已知限制和版本变更日志，可能影响升级决策。
这个 Agent 能做什么，适合哪些场景？
RagaAI Catalyst 是面向 LLM 项目的 Python SDK，覆盖项目、数据集、评测、追踪、提示词、合成数据、护栏和红队测试管理。它以 RagaAICatalyst、Dataset、Evaluation、Tracer 等类作为主要接口，并要求使用 RagaAI Catalyst 凭证完成认证。Agentic Tracing 可记录 LLM 调用、工具执行、网络活动、用户反馈和决策过程；Tracer 支持上下文管理器或显式 start/stop 执行方式。评测会返回实验状态和结果，红队测试返回数据框及保存路径，并可选择上传结果到 Catalyst dashboard。README 记录了 pip 安装与 SDK 调用，但未说明本地或自托管 dashboard 的部署步骤。
应用先通过 RagaAICatalyst(access_key, secret_key, base_url) 认证，再以 create_project 创建项目。Dataset 可列出数据集、从 CSV 创建数据集并读取 schema mapping；Evaluation 可列出指标、用 add_metrics 配置 Faithfulness 或 Hallucination 等指标、查询 get_status 与 get_results，并通过 append_metrics 为新增数据计算指标。Tracer 可在 with tracer(): 代码块内运行，或调用 start()、stop() 和 get_upload_status()；使用 tracer_type="Agentic" 并调用 init_tracing(catalyst=catalyst, tracer=tracer) 可启用自动埋点。PromptManager 读取及编译提示词；SyntheticDataGeneration 读取文件路径并生成问答或示例；GuardExecutor 根据部署的护栏执行消息；RedTeaming.run 调用用户提供的 response_model，生成或使用测试案例，输出结果数据框和保存路径。
- RAG 应用团队需要从 CSV 建立评测数据集，并用 Faithfulness、Hallucination 等配置检查每次实验结果。
- 多智能体系统开发者需要通过 Agentic Tracing 查看 LLM 交互、工具调用、网络活动和决策过程。
- 提示词工程师需要用 PromptManager 获取指定名称或版本的提示词、填充变量后交给 OpenAI 或 LiteLLM 调用。
- 安全团队需要针对招聘聊天机器人等应用，以 harmful_content、stereotypes 或自定义检测器运行红队案例。
- 上线负责人需要为已有 deployment 配置 guardrails，并通过 GuardExecutor 评估消息和模型调用参数。
这个 Agent 有哪些优点和局限？
- 一个 SDK 同时提供数据集、评测、追踪、提示词、合成数据、护栏和红队接口，适合将多个 LLM 质量流程集中在同一项目中。
- Agentic Tracing 明确覆盖 LLM token 使用、工具执行、网络活动、用户反馈和决策过程，并支持 init_tracing 自动埋点。
- 评测 API 支持为同一实验添加多个指标、按阈值配置，并查询状态、结果或仅为新增数据追加计算。
- RedTeaming 支持内置与自定义检测器、自动生成案例、用户指定案例及可选 dashboard 上传。
- README 表明所有操作都需要 RagaAI Catalyst 认证，采用前必须获取 access key、secret key 和 base_url。
- 虽然 README 提到环境变量配置，但没有提供变量名；也未提供 dashboard 的本地或自托管部署说明。
- OpenAI、LiteLLM 和 XAI 仅以示例或模块支持形式出现；接入其他模型或运行时的具体适配范围没有说明。
- CSV、文档路径、用户提供的 response_model 与部署 ID 等输入需要由使用方准备，README 未说明输入校验或失败恢复行为。
如何安装或部署这个 Agent？
安装：
pip install ragaai-catalyst随后以直接传参方式认证：
from ragaai_catalyst import RagaAICatalyst
catalyst = RagaAICatalyst(access_key="YOUR_ACCESS_KEY", secret_key="YOUR_SECRET_KEY", base_url="BASE_URL")README 也允许通过环境变量配置，但没有给出变量名。访问密钥和密钥需在个人资料设置的 Authenticate 中生成。
如何使用这个 Agent？
认证后可先创建项目：
project = catalyst.create_project(project_name="Test-RAG-App-1", usecase="Chatbot")要记录代码执行，创建 Tracer 后使用：
with tracer():
# Your code here或调用 tracer.start()，执行代码后调用 tracer.stop() 和 tracer.get_upload_status()。README 明确说明，执行下述操作需要 RagaAI Catalyst 认证。