Judgeval

这个 Agent 能做什么，适合哪些场景？

Judgeval是Judgment Labs推出的开源Python SDK，为LLM驱动的应用提供追踪与Agent裁判评估能力。它基于OpenTelemetry实现追踪，用@Tracer.observe()装饰器即可捕获函数输入、输出和token用量。内置的Agent裁判可以基于提示词定义评分器，对Agent行为进行结构化评估，生成带标签的评分结果，并累积成可搜索的行为记录。它还支持在线监控，服务端自动对生产流量进行评分，并通过Slack告警暴露回归问题。Judgeval支持OpenAI、Anthropic、Google GenAI、Together AI等模型提供商，以及LangGraph、OpenLit、Claude Agent SDK等框架。该项目由Judgment Labs维护，采用Apache-2.0许可证。

Judgeval提供一个Python包，可通过pip install judgeval安装，并需要配置JUDGMENT_API_KEY和JUDGMENT_ORG_ID环境变量。核心组件包括：Tracer类用于初始化项目（Tracer.init(project_name=...)）、@Tracer.observe()装饰器用于自动捕获函数调用、wrap()函数用于自动检测OpenAI等客户端。用户定义基于提示词的评分器（agent judges）来评估Agent行为，并生成结构化的评分结果。JQL（Judgeval Query Language）接口可通过Judgeval客户端执行查询，例如client.query(traces().where(eq("session", "session-123")).ids())。此外，它还提供CLI工具和MCP服务器，用于管理traces、judges、behaviors和evals。整体流程为：接入追踪→定义评分器→在线或离线运行评估→收集行为信号→触发告警或验证修复。

1. AI工程师在开发Agent时，需要检测生产环境中的失败案例，可以使用Judgeval的追踪功能捕获详细信息并定位根因。
2. 平台团队希望在大规模部署LLM应用前，用历史traces回放新版本，验证修复是否有效，避免回归。
3. 运维人员需要实时监控生产流量的Agent行为，当检测到异常时通过Slack接收告警，及时响应。
4. 数据科学家需要分析Agent的行为模式，利用JQL查询历史traces，筛选特定会话或条件，进行深入分析。
5. 基于LangGraph或LangChain的开发者，可以利用自动检测集成，无需修改业务代码即可获得可观测性。
6. 希望将Agent评估集成到已有可观测性栈的团队，因为Judgeval构建在OpenTelemetry之上，可以兼容现有工具。

如何安装或部署这个 Agent？

使用pip安装：

pip install judgeval

设置环境变量：

export JUDGMENT_API_KEY=...
export JUDGMENT_ORG_ID=...

如何使用这个 Agent？

初始化追踪器并封装OpenAI客户端：

from judgeval import Tracer, wrap
from openai import OpenAI

Tracer.init(project_name="my-project")
client = wrap(OpenAI())

用@Tracer.observe标记需要追踪的函数：

@Tracer.observe(span_type="tool")
def search(query: str) -> str:
    # ...
    return results

@Tracer.observe(span_type="agent")
def run_agent(question: str) -> str:
    # ...
    response = client.chat.completions.create(...)
    return response.choices[0].message.content

运行Agent后，traces会被自动捕获。使用JQL查询：

from judgeval import Judgeval
from judgeval.jql import eq, traces

client = Judgeval(project_name="my-project")
result = client.query(traces().where(eq("session", "session-123")).ids())

更多用法参见官方文档。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. v1.3.3 2026-10-01
   发布说明摘录

   You can find this package release on PyPI: https://pypi.org/project/judgeval/1.3.3/ What's Changed * feat: expose public SQL and schema discovery by @JJwilkin in https://github.com/JudgmentLabs/judgeval/pull/787 Full Changelog: https://github.com/JudgmentLabs/judgeval/compare/v1.3.2...v1.3.3

   在 GitHub 查看 ↗
2. v1.3.2 2026-09-01
   发布说明摘录

   You can find this package release on PyPI: https://pypi.org/project/judgeval/1.3.2/ What's Changed * feat(jql): add query scoping and offline sources by @JJwilkin in https://github.com/JudgmentLabs/judgeval/pull/776 * fix: spec use deployment.enviornment.name by @abhishekg999 in https://github.com/JudgmentLabs/judgeval/pull/770 * chore: update vulnerable dependencies by @abhishekg999 in https://github.com/JudgmentLabs/judgeval/pull/783 Full Changelog: https://github.com/JudgmentLabs/judgeval/compare/v1.3.1...v1.3.2

   在 GitHub 查看 ↗
3. v1.3.1 2026-08-03
   发布说明摘录

   You can find this package release on PyPI: https://pypi.org/project/judgeval/1.3.1/ What's Changed * fix(id_generator): use os.urandom() to prevent fork-safety ID collisions (JUD-9223) by @luna-jl in https://github.com/JudgmentLabs/judgeval/pull/773 Full Changelog: https://github.com/JudgmentLabs/judgeval/compare/v1.3.0...v1.3.1

   在 GitHub 查看 ↗

常见问题