PandaProbe
为 AI Agent 提供追踪、评估与监控的自托管工程平台。
这个 Agent 能做什么，适合哪些场景？
PandaProbe 是 Chirpz AI 开发的开源 Agent 工程平台，用于协作式追踪、评估、监控和调试 AI Agent。系统由 Next.js 仪表盘、FastAPI 应用服务、Celery Worker 与 Beat、PostgreSQL 和 Redis 组成。数据面客户端通过 X-API-Key 和 X-Project-Name 提交追踪或评估任务，服务将任务放入 Redis 后由后台 Worker 处理。追踪及 span 会持久化到 PostgreSQL；评估任务则通过 LiteLLM 驱动的 LLM-as-a-judge 调用生成 verdict 和 score 并保存结果。团队可选择 PandaProbe Cloud，或用 Docker 在本地自行部署服务。
客户端向 FastAPI 发送 POST /traces 或 POST /evaluations。服务先通过 Identity Service 解析组织和项目上下文，再将追踪摄取或评估任务写入 Redis；客户端收到 202 Accepted。Celery Worker 消费任务，将 trace 与 spans 写入 PostgreSQL，或向 LiteLLM LLM Engine 发起 LLM-as-a-judge 调用并保存 verdict 与 score。客户端可通过 GET /traces、GET /sessions 查询带筛选条件的分页结果；管理接口使用 Bearer token，经 Auth Service 与 Supabase 或 Firebase 验证身份。
- 使用 LangGraph 构建 Agent 的工程团队，需要集中记录执行 trace 与 span，并在仪表盘中排查运行问题。
- 使用 CrewAI 编排多 Agent 工作流的开发者，需要异步提交评估任务并保存 LLM-as-a-judge 的评分结果。
- 接入 Claude Agent SDK 的团队，希望在同一套服务中观察 Agent 执行并进行评估。
- 有内部部署要求的组织，需要在 Docker 环境中运行包含 PostgreSQL、Redis、FastAPI 和 Next.js 的观测服务。
- 需要按项目隔离 Agent 数据的平台团队，可通过 X-API-Key 与 X-Project-Name 传递项目上下文。
这个 Agent 有哪些优点和局限？
- 追踪摄取和评估都通过 Redis 与 Celery 异步处理，客户端可在任务入队后获得 202 Accepted。
- 架构同时覆盖 trace/span 持久化、会话与追踪查询，以及 LLM-as-a-judge 的 verdict 和 score 存储。
- 提供云端服务和 Docker 自托管路径，且明确列出了前端、API、Worker、数据库与缓存服务。
- 仓库明确提到 LangGraph、CrewAI 和 Claude Agent SDK 集成。
- 自托管依赖 Docker，并需要运行 Next.js、FastAPI、Celery、PostgreSQL 和 Redis 这一组服务。
- 评估流程依赖 LiteLLM 驱动的 LLM-as-a-judge；材料未说明支持哪些模型提供商、模型配置或费用控制方式。
- 数据写入需要 X-API-Key 和 X-Project-Name，管理面还需要经 Supabase 或 Firebase 验证的 Bearer token；凭证签发流程未在材料中说明。
- 材料没有提供客户端 SDK 的初始化代码、完整 API 请求体或集成配置示例。
如何安装或部署这个 Agent？
前提是 Docker 已安装并正在运行。执行：
git clone https://github.com/chirpz-ai/pandaprobe.git
cd pandaprobe
./start.sh
启动后，仪表盘位于 http://localhost:3000，API reference 位于 http://localhost:8000/scalar。
如何使用这个 Agent？
先按安装步骤启动服务，并打开 http://localhost:3000 查看仪表盘。数据面请求使用 X-API-Key 和 X-Project-Name，调用 POST /traces 提交追踪，或调用 POST /evaluations 提交评估；处理会异步进行并返回 202 Accepted。使用 GET /traces 和 GET /sessions 获取筛选后的分页数据。管理面请求使用 Bearer token；仓库材料未提供 API key、项目创建流程或可直接复制的请求体示例。