FollowAgents AI AGENTS 目录
首页 / 全部 Agents / TruLens 智能体评测与追踪
自动化与运维 opentelemetry-tracingrag-evaluationllm-judgesmcp-instrumentationbatch-evaluationlangchainllamaindex

TruLens 智能体评测与追踪

用可移植追踪与可解释评测定位智能体质量和成本问题。

在 GitHub 查看 ↗ 快速上手 ↓
源仓库
truera/trulens
Star 数
★ 3.6k
最近更新
4 天前
License
MIT
主语言
Python
FA 评分
61/100 · 存在缺口

30 秒速览

运行形态
代码库 / SDK
可在哪里用
通用 · 跨平台OpenAI APIClaude API（部分支持）
费用
软件免费，模型调用费用自付
上手难度
中 · 需要几步配置
开始前需要
piptrulensShell / 命令行网络访问MCP Server
典型场景
构建 RAG 应用的团队，需要在每次检索和回答后检查上下文相关性与 groundedness，并追溯低质量回答的具体步骤。
不适合
  • 需要开箱即用、无需编写埋点代码的团队
  • 只想用单一供应商、不愿安装多个 trulens-providers-* 包的用户
源码审查
61/100 · 存在缺口

这个 Agent 能做什么，适合哪些场景？

TruLens 是用于 LLM 实验和 AI 智能体的 Python 评测与追踪工具，而非自主执行任务的智能体。它以 OpenTelemetry 为基础，把函数调用、LLM 生成、检索和工具调用记录为结构化 span，并可导出到兼容 OTLP 的后端。评测既可在应用运行时内联执行，也可通过 Run API 对既有数据集进行批量计算。项目提供 LogicalConsistency、ExecutionEfficiency、PlanAdherence、PlanQuality、ToolSelection、ToolCalling 和 ToolQuality 七类智能体评测器。它支持 OpenAI、LiteLLM、Gemini、AWS Bedrock、Snowflake Cortex、HuggingFace 和 LangChain 模型，并提供 LangChain/LangGraph 与 LlamaIndex 集成包。

开发者使用 trulens.core.otel.instrument.instrument 装饰函数，并以 SpanAttributes.SpanType.RETRIEVAL 或 SpanAttributes.SpanType.MCP 等类型标注调用。TruLens 捕获输入、输出、延迟、token、成本、检索上下文、工具参数和工具输出等追踪数据；MCP 调用可记录工具名、参数、输出和延迟。随后可用 Metric 配合 Selector.select_record_input() 和 Selector.select_context() 将评测实现绑定到指定 span 属性。在线模式中，应用在 with tru_recorder as recording: 块内运行；离线模式中，使用 RunConfig、tru_app.add_run()、run.start() 和 run.compute_metrics() 对数据集调用评测指标。结果面向按应用版本比较分数、延迟和成本，以及将追踪导出至 Jaeger、Grafana Tempo、Datadog 或其他 OTLP 兼容后端。

  1. 构建 RAG 应用的团队，需要在每次检索和回答后检查上下文相关性与 groundedness，并追溯低质量回答的具体步骤。
  2. 维护 LangChain、LangGraph 或 LlamaIndex 工作流的工程师，需要为已有应用添加追踪与评测，而不重写整个应用。
  3. 开发会规划和调用工具的智能体团队，需要检查计划遵循度、工具选择、参数调用和执行效率。
  4. 拥有历史评测数据集的 ML 团队，需要用 RunConfig 创建批处理任务，并通过 run.compute_metrics() 重算多项指标。
  5. 已部署 OTLP 可观测性后端的平台团队，需要把 LLM、检索和 MCP 工具调用纳入现有 Jaeger、Tempo 或 Datadog 追踪体系。

如何安装或部署这个 Agent？

安装基础包：pip install trulens。评测使用 OpenAI 或 Azure OpenAI 时：pip install trulens trulens-providers-openai；使用 Anthropic 等 LiteLLM 模型时：pip install trulens trulens-providers-litellm。也可安装 trulens-providers-google、trulens-providers-bedrock、trulens-providers-cortex、trulens-providers-huggingface 或 trulens-providers-langchain；应用框架集成包为 trulens-apps-langchain 和 trulens-apps-llamaindex。提供的材料未说明 Python 版本、各提供商凭据或环境变量的配置方式。

如何使用这个 Agent？

在要观察的函数上添加 @instrument，并设置 span_type 和 SpanAttributes 映射；例如检索函数可使用 SpanAttributes.SpanType.RETRIEVAL，将查询映射到 "query"、返回上下文映射到 "return"。构建 Metric 时，用 selectors 将输入和上下文定位到记录中的字段。在线评测在 with tru_recorder as recording: 中执行应用调用；批量评测则创建 RunConfig，调用 tru_app.add_run(run_config=...)、run.start()，再调用 run.compute_metrics([relevance, groundedness])。提供的材料没有给出可独立运行的 tru_app、tru_recorder、provider、relevance 或 groundedness 初始化代码，因此无法据此构造完整的首个可运行调用。

这个 Agent 有哪些优点和局限？

优点
  • 以 OpenTelemetry span 记录函数、生成、检索和工具调用，可导出至 Jaeger、Grafana Tempo、Datadog 及其他 OTLP 后端。
  • 同时覆盖内联评测和基于 Run API 的离线批评测，适合实时监控与历史数据重算两种流程。
  • 提供七种针对智能体行为的评测器，明确覆盖计划、工具选择、工具调用、工具可靠性与执行效率。
  • 支持多家模型提供商，并为 LangChain/LangGraph 和 LlamaIndex 提供独立集成包。
局限
  • 材料未给出 Python 版本、凭据注入、环境变量或持久化后端配置，首次部署仍需补充这些信息。
  • 完整可运行示例依赖未展示的 tru_app、tru_recorder、provider 和指标对象初始化。
  • 不同模型服务商需要额外安装对应的 trulens-providers-* 包，功能路径和配置会随提供商而变化。
  • 若要在现有应用中获得细粒度追踪，需要为函数补充 @instrument 和 span 属性映射。

这个 Agent 与同类方案有什么区别？

在所列 AIMultiple RAG 评测比较中，TruLens 的 context relevance NDCG@5 被描述为在四项排序指标中的三项领先于 WandB Weave、RAGAS、DeepEval 和 UpTrain；这是一项特定基准结果，并不等同于所有工作负载中的总体优劣。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
TruLens 智能体评测与追踪 当前 61 · 存在缺口 代码库 / SDK免费 + 模型费 ★ 3.6k 4 天前 Python OpenAI API
OpenInference 66 · 存在缺口 代码库 / SDK免费 ★ 1.3k 1 天前 Python OpenAI API · Claude API
traceAI 59 · 缺口较多 代码库 / SDK免费 ★ 266 今天 Python —
Langtrace 48 · 缺口较多 代码库 / SDK免费版 + 付费版 ★ 1.2k 11 个月前 TypeScript OpenAI API · Claude API

FollowAgents 如何评估这个 Agent？

FollowAgents 源码审查 · FARS-2.1
存在缺口
61/ 100 五分制 3.1 / 5
信任安全 14/29
可靠稳定 8/14
适用触发 14/18
规范维护 13/18
有效结果 7/13
证据核验 5/8
查看各维度的扣分理由
信任安全14 / 29 · 2.4/5

工作流和 CI 权限有明确范围：认证工作流只读 contents 且不执行 PR 代码，CLA 写入单独签名分支；但安装及遥测默认记录输入、输出、令牌和成本，资料未说明敏感字段过滤或逐次确认，因此相关项扣分。文档公开 OpenTelemetry 导出路径和外部 LLM 评估，但缺少运行前副作用确认及明确恢复指南；MIT 版权和包作者信息可追溯，发布者身份仍未知。

可靠稳定8 / 14 · 2.9/5

README、安装说明及项目配置对 Python、包拆分和主要功能基本一致，配置列出多个提供方与依赖约束。源码样本有限，未能证明故障提示覆盖充分；主要安装说明对环境和分包有帮助，但对依赖不可用时的处理仍较薄弱。

适用触发14 / 18 · 3.9/5

README 面向 LLM 应用与 agent 开发，涵盖追踪、离线/在线评估、RAG、MCP、多个模型提供方和框架；选择器及自定义插桩体现可配置性。产品边界（例如评估依赖 LLM judge、需配置相应提供方）有部分说明，但触发场景和部署环境的限制未系统列出。

规范维护13 / 18 · 3.6/5

README 按功能、安装、示例和提供方组织清晰，AGENTS.md 的贡献者指引另有目录与代码模式；快速用法、代码示例和安装文档较充分。MIT 许可证文本完整，Python 与 Poetry 要求、弃用兼容包及部分版本限制有说明；但本资料没有变更日志或具体维护责任/更新路径说明，且旧接口仍保留为弃用 shim。

有效结果7 / 13 · 2.7/5

追踪、分步指标、成本/延迟比较和批量评估输出有利于定位问题和比较版本，提供了可直接改用的 Python 示例。其价值主要是观测与评估而非自动修复；LLM judge 和外部提供方会带来配置、调用成本，材料未量化成本或给出成本控制策略，故未给高分。

证据核验5 / 8 · 3.1/5

功能主张与 README 中的示例、包配置及弃用 shim 有一定相互印证；基准数字附带指标、样本规模或引用，便于追查，但部分比较依赖外部材料且样本未覆盖完整实现。评估步骤和一些边界可从说明中识别，不过性能宣传与可直接由代码样本证实的事实并未始终明确区分。

风险与缓解建议
  • 遥测会记录步骤输入、输出、令牌和成本；接入生产数据前，应确认数据留存、导出目标及敏感信息处理方式。
  • 反馈评估需要相应模型提供方，可能产生外部 API 调用和费用；材料未展示完整成本控制或运行时确认流程。
  • AGENTS.md 是贡献者指引，不应视为面向最终用户的产品安全策略；样本也未包含完整实现或依赖审计。
证据充分度：低 评估于 2026年11月8日 审查版本 42daf2eec8db
评估证据 README.mdAGENTS.mdedd/SKILL.mdqdrant-clients-sdk/SKILL.mdqdrant-search-quality/SKILL.mdtrulens-dataset-curation/SKILL.mdgetting_started/install.mdtrulens_eval/app.pyLICENSEpyproject.tomlworkflows/certifications.ymlworkflows/cla.ymltest/snapshots.spec.tstest/takeStorySnapshot.ts
查看完整评分方法 →
你是这个项目的维护者？把 FARS 徽章加到 README

徽章显示当前的评审分数和结论，点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/trulens.svg?lang=zh)](https://followagents.com/zh/agents/trulens)
<a href="https://followagents.com/zh/agents/trulens"><img src="https://followagents.com/badge/trulens.svg?lang=zh" alt="FARS 评测"></a>

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

  1. trulens-2.16.0 TruLens 2.16.0
    发布说明摘录
    TruLens 2.16 This release adds new evaluation metrics and Jury reliability metadata, improves handling of unparsable judge scores, and fixes cost accounting, batch evaluation, and OpenTelemetry tracing. Breaking changes and compatibility - Streamlit-in-Snowflake dashboard support has been removed. ([#2784](https://github.com/truera/trulens/pull/2784)) - All packages now require Python 3.10 or later. The test matrix now includes Python 3.14. ([#2896](https://github.com/truera/trulens/pull/2896)) New features …
    在 GitHub 查看 ↗
  2. trulens-2.15.0 TruLens 2.15.0
    发布说明摘录
    TruLens 2.15.0 OTel-native traces that travel end to end and stay evaluable Three changes in this release work on the same OTel path: the trace now stays whole across the HTTP call to the provider, GenAI message content survives both persistence and export, and the finished trace can reach OTLP backends that only speak HTTP/protobuf. …
    在 GitHub 查看 ↗
  3. trulens-2.14.0 TruLens 2.14.0
    发布说明摘录
    TruLens 2.14.0 Release Notes Headline Features Coding Agent Instrumentation Instrument IDE hooks and coding agent workflows — including Claude Code and Cursor — with TruLens tracing. Capture the full execution trace of agentic coding sessions for evaluation and observability. (#2732) by @joshreini1 Production Trace Curation into Evaluation Datasets …
    在 GitHub 查看 ↗

常见问题

TruLens 会自己执行或编排我的智能体吗？
材料描述的是对应用调用进行追踪、评分和比较的工具；没有说明它会自主规划、执行任务或替代应用运行时。
能否使用 Anthropic 模型？
可以通过 trulens-providers-litellm 路径使用 LiteLLM，材料明确将 Anthropic 列为该路径涵盖的提供商之一。
是否必须使用 TruLens 自己的观测后端？
不是。其追踪以 OpenTelemetry 为基础，材料说明可导出到 Jaeger、Grafana Tempo、Datadog 或其他 OTLP 兼容后端。
MCP 工具调用能评测什么？
MCP span 可捕获工具名、参数、输出和延迟；智能体评测器还包含 ToolSelection、ToolCalling 和 ToolQuality。
安装后如何配置 API 密钥？
提供的材料列出了提供商安装包，但未说明密钥名称、环境变量或认证配置步骤。
这页内容对你有帮助吗？
在 GitHub 查看 ↗ 安装 ↓