开发与工程 distributed-tracing agent-evaluation langgraph crewai claude-agent-sdk fastapi celery self-hosting

PandaProbe

为 AI Agent 提供追踪、评估与监控的自托管工程平台。

源仓库: chirpz-ai/pandaprobe
Star 数: ★ 795
最近更新: 4 天前
License: Apache-2.0
主语言: Python
FA 评分: 59/100 · 缺口较多

30 秒速览

运行形态: 自托管服务云服务 / SaaS
可在哪里用: 兼容但需适配Claude API（部分支持）
费用: 有免费版，另有付费云服务
上手难度: 中 · 需要几步配置
开始前需要: DockerShell / 命令行网络访问本地文件系统
典型场景: 使用 LangGraph 构建 Agent 的工程团队，需要集中记录执行 trace 与 span，并在仪表盘中排查运行问题。
不适合: 需要完全离线或本地部署、数据不出内网的团队
不想维护 Docker 多服务栈（Next.js、FastAPI、Celery、PostgreSQL、Redis）的个人开发者
希望开箱即用、无需自行配置 LLM 评判模型的团队
源码审查: 59/100 · 缺口较多

这个 Agent 能做什么，适合哪些场景？

PandaProbe 是 Chirpz AI 开发的开源 Agent 工程平台，用于协作式追踪、评估、监控和调试 AI Agent。系统由 Next.js 仪表盘、FastAPI 应用服务、Celery Worker 与 Beat、PostgreSQL 和 Redis 组成。数据面客户端通过 X-API-Key 和 X-Project-Name 提交追踪或评估任务，服务将任务放入 Redis 后由后台 Worker 处理。追踪及 span 会持久化到 PostgreSQL；评估任务则通过 LiteLLM 驱动的 LLM-as-a-judge 调用生成 verdict 和 score 并保存结果。团队可选择 PandaProbe Cloud，或用 Docker 在本地自行部署服务。

客户端向 FastAPI 发送 POST /traces 或 POST /evaluations。服务先通过 Identity Service 解析组织和项目上下文，再将追踪摄取或评估任务写入 Redis；客户端收到 202 Accepted。Celery Worker 消费任务，将 trace 与 spans 写入 PostgreSQL，或向 LiteLLM LLM Engine 发起 LLM-as-a-judge 调用并保存 verdict 与 score。客户端可通过 GET /traces、GET /sessions 查询带筛选条件的分页结果；管理接口使用 Bearer token，经 Auth Service 与 Supabase 或 Firebase 验证身份。

使用 LangGraph 构建 Agent 的工程团队，需要集中记录执行 trace 与 span，并在仪表盘中排查运行问题。
使用 CrewAI 编排多 Agent 工作流的开发者，需要异步提交评估任务并保存 LLM-as-a-judge 的评分结果。
接入 Claude Agent SDK 的团队，希望在同一套服务中观察 Agent 执行并进行评估。
有内部部署要求的组织，需要在 Docker 环境中运行包含 PostgreSQL、Redis、FastAPI 和 Next.js 的观测服务。
需要按项目隔离 Agent 数据的平台团队，可通过 X-API-Key 与 X-Project-Name 传递项目上下文。

如何安装或部署这个 Agent？

前提是 Docker 已安装并正在运行。执行：

git clone https://github.com/chirpz-ai/pandaprobe.git
cd pandaprobe
./start.sh

启动后，仪表盘位于 http://localhost:3000，API reference 位于 http://localhost:8000/scalar。

如何使用这个 Agent？

先按安装步骤启动服务，并打开 http://localhost:3000 查看仪表盘。数据面请求使用 X-API-Key 和 X-Project-Name，调用 POST /traces 提交追踪，或调用 POST /evaluations 提交评估；处理会异步进行并返回 202 Accepted。使用 GET /traces 和 GET /sessions 获取筛选后的分页数据。管理面请求使用 Bearer token；仓库材料未提供 API key、项目创建流程或可直接复制的请求体示例。

这个 Agent 有哪些优点和局限？

优点

追踪摄取和评估都通过 Redis 与 Celery 异步处理，客户端可在任务入队后获得 202 Accepted。
架构同时覆盖 trace/span 持久化、会话与追踪查询，以及 LLM-as-a-judge 的 verdict 和 score 存储。
提供云端服务和 Docker 自托管路径，且明确列出了前端、API、Worker、数据库与缓存服务。
仓库明确提到 LangGraph、CrewAI 和 Claude Agent SDK 集成。

局限

自托管依赖 Docker，并需要运行 Next.js、FastAPI、Celery、PostgreSQL 和 Redis 这一组服务。
评估流程依赖 LiteLLM 驱动的 LLM-as-a-judge；材料未说明支持哪些模型提供商、模型配置或费用控制方式。
数据写入需要 X-API-Key 和 X-Project-Name，管理面还需要经 Supabase 或 Firebase 验证的 Bearer token；凭证签发流程未在材料中说明。
材料没有提供客户端 SDK 的初始化代码、完整 API 请求体或集成配置示例。

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

Agent	源码审查	形态 / 费用	Star	最近更新	主语言	完整支持的平台
PandaProbe 当前	59 · 缺口较多	自托管服务免费版 + 付费版	★ 795	4 天前	Python	—
PenguinHarness	67 · 存在缺口	桌面应用免费 + 模型费	★ 3.2k	今天	TypeScript	OpenAI API · Claude API
Open Swarm 智能体集群控制台	证据不足	—	★ 826	1 个月前	JavaScript	Claude API
Agent Systems Handbook	62 · 存在缺口	网页应用免费	★ 313	23 天前	MDX	—

FollowAgents 如何评估这个 Agent？

FollowAgents 源码审查 · FARS-2.1

缺口较多

59/ 100 五分制 3.0 / 5

信任安全 13/29

可靠稳定 8/14

适用触发 12/18

规范维护 12/18

有效结果 9/13

证据核验 5/8

查看各维度的扣分理由

信任安全13 / 29 · 2.2/5

文档说明了管理面使用 IdP Bearer JWT、数据面使用项目 API key，展示了 trace、evaluation 经 Redis、worker、数据库及 LLM 的数据路径；Reflect 说明规则和证据默认持久化在本地工作区，并提到评估会产生 API/model 调用。扣分原因：所给片段未说明租户密钥的权限范围、数据脱敏或保留策略、敏感 trace 的处理，也没有用户确认或回滚机制的充分说明；存在外部服务和模型调用，但密钥管理细节有限。

可靠稳定8 / 14 · 2.9/5

README 与 AGENTS.md 描述的 FastAPI、Redis、worker、数据库及评估路径大体一致；主入口对 Stripe 配置缺失快速失败，并提供结构化领域错误和请求校验错误。扣分原因：服务依赖外部 IdP、Redis、PostgreSQL、Stripe 和 LiteLLM，材料没有可用性保证或完整降级策略；仅凭静态材料无法确认运行可靠性。

适用触发12 / 18 · 3.3/5

README 面向希望追踪、评估和调试 agent 的团队，支持云端和自托管；Reflect quickstart 展示 LangChain 的 Python 与 TypeScript 用法，文档也列明自定义循环、工作区和运行环境限制。扣分原因：给出的集成示例主要集中在 LangChain，未展示其他集成在本材料中的具体配置或场景。

规范维护12 / 18 · 3.3/5

仓库说明清楚区分服务、架构与开发命令，README 给出 Docker 自托管步骤；Reflect 配置文档列出默认值、限额、环境支持及限制，Apache 2.0 LICENSE 文件完整。扣分原因：材料未提供版本发布或变更日志；安装和问答说明虽可用，但没有覆盖所有部署与排障细节。

有效结果9 / 13 · 3.5/5

平台提供 trace、evaluation、monitoring 和调试功能，Reflect quickstart 给出可读的报告输出；配置文档解释采样、并发、调用限额及额外成本。扣分原因：评估和反思会增加延迟及费用，且每日评估次数默认不设上限；材料未量化节省或收益。

证据核验5 / 8 · 3.1/5

README 的架构图、AGENTS.md 的仓库描述、主入口代码和测试环境配置对主要服务组成及错误处理相互印证；Reflect 文档对默认值和适用限制作了具体说明。扣分原因：不少产品功能及边界只由文档描述，给出的材料不足以独立核实运行效果；不能据此视为已执行或独立测试。

风险与缓解建议

Reflect 会把规则和证据持久化到本地工作区；部署前应确认目录权限、备份和保留策略。
评估和反思会增加 API/model 调用、延迟和费用；每日评估次数默认无上限，应按需设置限制。
自托管服务涉及 JWT、API key、数据库、Redis 和外部身份/模型服务；所给材料没有充分说明 trace 脱敏与保留方式。

证据充分度：低评估于 2026年11月8日审查版本 b90adc29d8ef

评估证据 README.md AGENTS.md CLAUDE.md reflect/quickstart.mdx reflect/configuration.mdx app/main.py LICENSE workflows/build.yml workflows/codeql.yml tests/conftest.py

查看完整评分方法 →

你是这个项目的维护者？把 FARS 徽章加到 README

徽章显示当前的评审分数和结论，点击回到本页。重新评审后约一小时内更新。

[![FARS 评测](https://followagents.com/badge/pandaprobe.svg?lang=zh)](https://followagents.com/zh/agents/pandaprobe)

<a href="https://followagents.com/zh/agents/pandaprobe"><img src="https://followagents.com/badge/pandaprobe.svg?lang=zh" alt="FARS 评测"></a>

常见问题

可以自行部署吗？

可以。README 给出了 Docker 前提条件及 git clone、cd pandaprobe、./start.sh 的部署步骤。

追踪和评估请求是同步完成的吗？

不是。POST /traces 和 POST /evaluations 会将任务放入 Redis，并返回 202 Accepted；Celery Worker 在后台处理。

调用数据接口需要什么凭证？

数据面使用 X-API-Key 与 X-Project-Name。管理面使用 Bearer token，并由 Auth Service 通过 Supabase 或 Firebase 验证。

评估会产生什么结果？

Worker 会执行 LLM-as-a-judge 调用，并将 verdict 和 score 持久化。

这页内容对你有帮助吗？

PandaProbe

30 秒速览

这个 Agent 能做什么，适合哪些场景？

如何安装或部署这个 Agent？

如何使用这个 Agent？

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

FollowAgents 如何评估这个 Agent？

最近版本

常见问题

对比同类 Agent

开源编程 Agent 横向对比

PandaProbe

30 秒速览

这个 Agent 能做什么，适合哪些场景？

如何安装或部署这个 Agent？

如何使用这个 Agent？

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

FollowAgents 如何评估这个 Agent？

最近版本

常见问题

对比同类 Agent

开源编程 Agent 横向对比

相关 Agents

PenguinHarness

Open Swarm 智能体集群控制台

Agent Systems Handbook

Aurite Agent Verifier

Paper-Agent 智能论文调研与综述写作工作台

从零构建邮件智能体