DeepEval

这个 Agent 能做什么，适合哪些场景？

DeepEval 是一个开源的 LLM 评测框架，用法类似 Pytest，但专门用于对大语言模型应用做单元测试。它把 G-Eval、答案相关性、幻觉、RAG 指标、Agent 轨迹指标等封装成可直接调用的 Metric 类，通过 LLM-as-a-judge 或本地 NLP 模型在 0-1 区间打分，并给出评分理由。使用时既可以写成 test_ai_agent.py 用 deepeval test run 执行，也可以在 Notebook 中直接调用 evaluate() 或单独调用 metric.measure()。它能对黑盒的端到端应用、完整的 Agent 决策轨迹，以及单步的工具调用与检索做评测，还支持生成单轮与多轮合成数据集。框架本身可接入任意 LLM 后端并集成到 CI/CD；可选的 Confident AI 云平台用于托管测试报告与生产监控。

被测对象是一个 LLMTestCase，包含 input、actual_output、expected_output、retrieval_context 等字段。用户挑选指标类（如 GEval、AnswerRelevancyMetric、TaskCompletionMetric、FaithfulnessMetric），设定 threshold 后调用 assert_test()、evaluate([...], [...]) 或 metric.measure(test_case)；指标会调用所选 LLM 或本地模型打分，返回 0-1 的 score 与 reason。对于 Agent 场景，可以用 @observe() 装饰器或 OpenAI/LangChain/CrewAI 等集成采集轨迹，再用 dataset.evals_iterator(metrics=[...]) 对完整的决策与工具调用序列做轨迹级评测。框架还支持通过 deepeval login 把测试结果同步到云端生成可分享报告，并能在十行代码内对 MMLU、HellaSwag、HumanEval 等基准做模型评测。

1. AI 应用团队在发布前为客服机器人编写回归测试，确保回答不出现幻觉
2. RAG 工程团队用 Contextual Recall、Contextual Precision 定位检索环节的问题
3. Agent 开发者用 TaskCompletionMetric 与 ToolCorrectness 评估多步工具调用轨迹
4. 多轮对话产品团队用 Knowledge Retention、Role Adherence 验证长对话表现
5. 在 CI/CD 流水线中把 deepeval test run 作为质量门禁，防止提示词改动导致指标回退

如何安装或部署这个 Agent？

需要 Python>=3.9，用 pip 安装：

pip install -U deepeval

若使用基于 LLM 的指标，需要设置模型 API Key，例如：

export OPENAI_API_KEY="..."

DeepEval 在 import 时会自动加载当前目录的 .env.local 与 .env，优先级为进程环境变量 > .env.local > .env，可用 DEEPEVAL_DISABLE_DOTENV=1 关闭。

如何使用这个 Agent？

创建一个测试文件并编写第一个端到端用例：

import pytest
from deepeval import assert_test
from deepeval.metrics import GEval
from deepeval.test_case import LLMTestCase, SingleTurnParams

def test_case():
    correctness_metric = GEval(
        name="Correctness",
        criteria="Determine if the 'actual output' is correct based on the 'expected output'.",
        evaluation_params=[SingleTurnParams.ACTUAL_OUTPUT, SingleTurnParams.EXPECTED_OUTPUT],
        threshold=0.5
    )
    test_case = LLMTestCase(
        input="What if these shoes don't fit?",
        actual_output="You have 30 days to get a full refund at no extra cost.",
        expected_output="We offer a 30-day full refund at no extra costs.",
    )
    assert_test(test_case, [correctness_metric])

随后在命令行执行：

deepeval test run test_ai_agent.py

也可以在 Notebook 中不经 Pytest 直接评测：

from deepeval import evaluate
from deepeval.metrics import AnswerRelevancyMetric
from deepeval.test_case import LLMTestCase

answer_relevancy_metric = AnswerRelevancyMetric(threshold=0.7)
test_case = LLMTestCase(
    input="What if these shoes don't fit?",
    actual_output="We offer a 30-day full refund at no extra costs.",
    retrieval_context=["All customers are eligible for a 30 day full refund at no extra costs."]
)
evaluate([test_case], [answer_relevancy_metric])

如需云端报告，运行 deepeval login 并粘贴 API Key。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题