Strands Evals SDK

这个 Agent 能做什么，适合哪些场景？

Strands Evals SDK 是一个面向 AI Agent 和大模型应用的 Python 评测框架，可检查最终输出、工具调用轨迹、多智能体交互、技能使用、图文回答和完整会话。其核心对象包括 Case、Experiment、EvaluationReport 以及输出级、轨迹级、工具级、会话级和多模态 Evaluator，并允许实现自定义 Evaluator。评测任务以 Python callable 或 Agent 工厂运行，既能直接处理返回值，也能通过 OpenTelemetry trace 映射成 Session 后分析。框架还提供对话与工具模拟、实验用例生成、故障检测、根因分析、确定性混沌注入和实验 JSON 序列化。用户既可通过 Python API 集成，也可使用 strands-evals 命令行执行、校验、展示、诊断或生成实验；它是评测 SDK 和 CLI，而不是独立托管的 Agent 服务。

用户先用 Case 定义输入、期望输出、期望轨迹和元数据，再把案例及 OutputEvaluator、TrajectoryEvaluator、HelpfulnessEvaluator、GoalSuccessRateEvaluator 等评测器交给 Experiment。Experiment.run_evaluations() 调用用户提供的任务函数，并生成可显示或序列化的 EvaluationReport。轨迹评测可以读取原始消息列表，也能借助 StrandsEvalsTelemetry 捕获 OpenTelemetry spans，再由 StrandsInMemorySessionMapper 转换为 Session。ActorSimulator 可驱动目标导向的多轮对话；ToolSimulator 用大模型生成符合 Pydantic schema 的模拟工具响应，并可在相关工具间共享状态。ExperimentGenerator 根据上下文生成测试用例；detect_failures、analyze_root_cause 和 diagnose_session 检测会话故障并给出修复建议。ChaosPlugin 通过 Strands 插件钩子注入超时、网络错误、执行错误、校验错误或响应字段损坏；实验也可以保存为 JSON 并由 CLI 校验、运行和展示。

1. 负责 Agent 发布质量的工程团队，在 CI 中先用 strands-evals validate 检查实验 JSON，再运行回归评测并通过 --fail-on 规则控制退出状态。
2. 开发工具调用型助手的工程师，用 TrajectoryEvaluator、ToolSelectionAccuracyEvaluator 和 ToolParameterAccuracyEvaluator 检查工具选择、调用顺序及参数。
3. 构建客服或任务型对话系统的团队，用 ActorSimulator 生成动态多轮用户交互，再用 HelpfulnessEvaluator 和 GoalSuccessRateEvaluator 判断会话效果。
4. 没有可用测试 API、数据库或设备环境的开发者，用 ToolSimulator 生成 schema 校验且可共享状态的模拟工具响应。
5. 可靠性工程师用 ChaosPlugin 注入工具超时、网络故障或响应损坏，并评估 Agent 的故障沟通、部分完成和恢复策略。
6. 安全与质量团队使用多模态评测、技能选择评测、失败诊断或内置红队攻击策略检查特定风险。

如何安装或部署这个 Agent？

需要 Python 3.10 或更高版本。直接安装发布包：

pip install strands-agents-evals

若从源码开发，先创建虚拟环境，再按需要安装基础、测试或开发依赖：

python -m venv .venv
source .venv/bin/activate
pip install -e .

pip install -e ".[test]"

pip install -e ".[test,dev]"

Windows 的虚拟环境激活命令是 .venv\Scripts\activate。文档示例会导入 strands.Agent，但来源没有说明模型服务凭据、环境变量或默认模型配置；采用前需按所选模型和 Strands 运行环境补齐这些配置。

如何使用这个 Agent？

最小 Python 流程是创建 Case、配置 OutputEvaluator、运行 Experiment，并展示报告：

from strands import Agent
from strands_evals import Case, Experiment
from strands_evals.evaluators import OutputEvaluator

test_cases = [
    Case[str, str](
        name="knowledge-1",
        input="What is the capital of France?",
        expected_output="The capital of France is Paris.",
        metadata={"category": "knowledge"}
    )
]

evaluators = [
    OutputEvaluator(
        rubric="""
        Evaluate based on:
        1. Accuracy - Is the information correct?
        2. Completeness - Does it fully answer the question?
        3. Clarity - Is it easy to understand?

        Score 1.0 if all criteria are met excellently.
        Score 0.5 if some criteria are partially met.
        Score 0.0 if the response is inadequate.
        """
    )
]

experiment = Experiment[str, str](cases=test_cases, evaluators=evaluators)

def get_response(case: Case) -> str:
    agent = Agent(callback_handler=None)
    return str(agent(case.input))

report = experiment.run_evaluations(get_response)
report.run_display()

CLI 可校验并运行已序列化的实验，其中 --agent 接受 MODULE:CALLABLE 形式的 Agent 工厂：

strands-evals validate experiments/customer_service.json
strands-evals run experiments/customer_service.json \
  --agent my_pkg.agents:build_agent \
  --display

也可运行单个临时案例：

strands-evals run \
  --input "What is the capital of France?" \
  --expected-output "Paris" \
  --agent my_pkg.agents:build_agent

诊断 Session JSON 或根据上下文生成实验：

strands-evals diagnose session.json --confidence medium

strands-evals generate --context "$(cat tools.txt)" --num-cases 10 \
  --evaluator TrajectoryEvaluator -o experiments/generated.json

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

1. v1.9.0 2026-11-04
   发布说明摘录

   v1.9.0 _Auto-drafted from commits in v1.8.0..v1.9.0, grouped by conventional-commit type. Edit on the release page after publish if you want a polished writeup; the canonical release notes live on the website._ 🚀 Features - feat(skills): suggest evaluators and write experiment file in session-converter (#496) (8fcc8e0) - feat(skills): add extraction steps to session-converter skill (#491) (b44ce38) - feat(cli): add --case selector to run command (#492) (32e72bb) 🔧 Chores - chore(ci): relax CI gate on workstream/optimizer-workflow branch (#499) (69d85c5)

   在 GitHub 查看 ↗
2. v1.8.0 2026-10-30
   发布说明摘录

   v1.8.0 _Auto-drafted from commits in v1.7.0..v1.8.0, grouped by conventional-commit type. Edit on the release page after publish if you want a polished writeup; the canonical release notes live on the website._ 🚀 Features - feat(redteam): add CrescendoStrategy(stop_on_tool_call=) (#472) (8275e0f) ⚡ Performance - perf(experiment): run a case's evaluators concurrently (#467) (f6b894f) 📚 Documentation - docs: update README nav and examples (#470) (6511807) 📦 Build - build: drop unused strands-agents-tools dependency (#471) (2ce9b78) 👷 CI …

   在 GitHub 查看 ↗
3. v1.7.0 2026-10-21
   发布说明摘录

   v1.7.0 _Auto-drafted from commits in v1.6.0..v1.7.0, grouped by conventional-commit type. Edit on the release page after publish if you want a polished writeup; the canonical release notes live on the website._ 🚀 Features - feat(redteam)!: graduate red teaming out of experimental (#465) (064a5e5) 🐛 Fixes - fix: judge EventLoopException by its original cause (#464) (b59a389) - fix: replace retired Sonnet 4 model ID in integ tests (#441) (7e7a23e)

   在 GitHub 查看 ↗

常见问题