AI 评测技能集

帮助编码代理为具体产品构建评测,减少常见评测错误。

Star 数
★ 1.8k
最近更新
1 个月前
License
Apache-2.0

30 秒速览

运行形态
Agent 插件 / 技能
可在哪里用
通用 · 跨平台
上手难度
低 · 几分钟可跑通
开始前需要
npx skillsPython 标准库Shell / 命令行网络访问本地文件系统
典型场景
已有产品评测流水线、希望找出设置问题并按严重程度安排改进的工程团队。
不适合
  • 需要直接运行托管评测服务的团队
  • 只想做基础模型基准测试的团队
维护状态
近半年有提交最近提交 2026-09-24近 7 天每天 +6.3 ★

这个 Agent 能做什么,适合哪些场景?

Eval Skills 是一组供 AI 编码代理使用的技能,面向产品特定的 AI 评测,而非基础模型基准测试。入口技能 evals-start 会根据现状将用户引导到合适的工作流程。已有评测流水线的团队可使用 eval-audit 检查设置并获取分级建议;已有 traces 但尚未分析的团队可用 error-discovery 进行错误分析。其他技能涵盖合成测试数据、代码检查、LLM-as-Judge、评估器校准、RAG 质量评估和人工审阅界面。错误发现流程可读取 JSONL、CSV 或 JSON 数据,生成由 Python 标准库服务器提供的单文件 HTML 审阅应用;部署和模型提供商支持范围未在说明中明确。

evals-start 根据用户的评测状况路由到相应技能。eval-audit 检查现有评测流水线并提出带优先级的改进建议;error-discovery 读取 LLM 输出或 traces 的 JSONL、CSV 或 JSON 文件,判断内容类型,设计可视化编码,聚类并抽取多样样本,再生成由 Python 标准库服务器提供的单文件 HTML 审阅应用。用户可在应用中留下自由文本注释,代理据此整理失败模式、跟踪覆盖情况并建议后续样本。其余技能分别生成合成输入、编写客观代码检查、设计主观评估器提示、用数据切分及 TPR/TNR 和偏差校正校准评估器、评估 RAG 检索与生成质量,以及构建人工 trace 标注界面。

  1. 已有产品评测流水线、希望找出设置问题并按严重程度安排改进的工程团队。
  2. 积累了 LLM 输出或 agent traces、需要先发现失败模式再编写评测的产品团队。
  3. 需要按多个维度组合生成多样合成测试输入的评测工程师。
  4. 希望将明确的失败条件实现为代码检查的开发者。
  5. 需要为主观质量标准设计 LLM-as-Judge 提示并用人工标签校准的评测团队。
  6. 需要分别检查 RAG 检索质量和生成质量,或为 trace 审阅构建标注界面的团队。

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

安装 / 启动命令
  • npx skills

如何安装或部署这个 Agent?

README 通过 npx skills 安装技能集,并展示了安装全部技能和只安装 error-discovery 的命令。使用该安装方式需要可运行 npx 的环境;README 未说明具体 Node.js 版本、模型凭据要求或各编码代理的适配范围。

如何使用这个 Agent?

安装后,将数据集交给支持这些技能的 AI 编码代理,并请求进行错误分析。README 给出的首个任务示例为:

这个 Agent 有哪些优点和局限?

优点
  • 从 evals-start 入口按现状路由,区分已有评测流水线和待分析 traces 的工作流。
  • error-discovery 覆盖抽样、聚类、人工注释、失败模式归纳和后续样本建议的分析循环。
  • 技能覆盖代码检查、LLM-as-Judge 校准和 RAG 评估等不同评测任务。
  • 错误发现流程使用单文件 HTML 审阅应用和 Python 标准库服务器,README 明确说明无需额外依赖。
局限
  • 这是供 AI 编码代理使用的技能集,不是独立托管评测服务;具体代理产品的兼容性未说明。
  • README 未注明模型提供商、凭据、费用或网络数据处理要求。
  • Python 标准库服务器只在错误发现流程中有说明,其他技能的运行时和部署方式未详述。
  • 除安装与更新命令外,README 未给出逐项技能的完整参数、配置或输出格式。

这个 Agent 与同类方案有什么区别?

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
AI 评测技能集 当前 59 · 缺口较多 Agent 插件 / 技能 ★ 1.8k 1 个月前 — —
DeepEval 69 · 存在缺口 命令行工具免费 + 模型费 ★ 20k 2 天前 Python OpenAI API · Claude API
Giskard 57 · 缺口较多 代码库 / SDK免费 + 模型费 ★ 6k 2 天前 Python OpenAI API · Claude API
AgentEvals 轨迹评测 67 · 存在缺口 命令行工具免费 ★ 171 2 天前 Python —

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
59/ 100 五分制 3.0 / 5
信任安全 12/29
可靠稳定 5/14
适用触发 15/18
规范维护 12/18
有效结果 10/13
证据核验 5/8
查看各维度的扣分理由
信任安全12 / 29 · 2.1/5

技能说明了读取 JSONL/CSV/JSON 数据、生成本地审阅界面和保存标注,且要求清理渲染内容、禁用可能追踪的图片;因此数据流有一定透明度,来源与插件清单中的作者信息也相互印证。扣分原因:材料没有统一规定最小文件访问范围、敏感数据脱敏、外部操作确认或回滚流程;安装命令使用 npx,但未展示依赖安全或固定版本措施。

可靠稳定5 / 14 · 1.8/5

路由技能把用户导向专用工作流,多个技能的目标大体一致。扣分原因:提供的技能节选不完整,且没有版本兼容、依赖可用性处理或清晰的错误恢复与失败消息规范;不能据此判断实际运行结果。

适用触发15 / 18 · 4.2/5

README 和技能覆盖已有评测审计、追踪数据错误分析、代码评测、LLM 裁判、RAG 以及人工审阅等明确场景;路由规则要求优先使用匹配的专用技能。扣分原因:运行环境适配主要限于本地文件或可用的可观测性 MCP,企业环境与其他数据源的指导有限。

规范维护12 / 18 · 3.3/5

README 提供技能目录、用途说明、安装单技能和更新命令;技能名称稳定且与路由表一致,许可证文件完整标明 Apache-2.0。扣分原因:材料未见变更日志、维护责任或已知限制说明;FAQ 和实例覆盖也有限。

有效结果10 / 13 · 3.8/5

技能给出可执行的工作步骤和审阅界面要求,包括抽样、标注、进度与键盘操作,预期输出具有实用结构。扣分原因:实际效益主要由提示指导来支撑,缺少材料内的结果证据;自定义界面和人工审阅仍可能带来实现与时间成本。

证据核验5 / 8 · 3.1/5

README、插件清单和技能文档在产品用途与技能路由上有一定交叉印证,描述大多可追溯到具体工作流。扣分原因:宣传中的使用规模和课程经验没有在材料中提供独立佐证;缺少来源级别的证据标注,也未总是清楚区分经验判断与事实。

风险与缓解建议
  • 评审基于所给静态材料,置信度为低;未执行技能,也未验证其产出。
  • 技能会处理用户提供的追踪数据并指导构建本地审阅应用;使用前应确认数据适合本地处理并检查生成界面的渲染与保存行为。
证据充分度:低 评估于 2026年11月8日 审查版本 80d5f7b0127c
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/evals-skills.svg?lang=zh)](https://followagents.com/zh/agents/evals-skills)
<a href="https://followagents.com/zh/agents/evals-skills"><img src="https://followagents.com/badge/evals-skills.svg?lang=zh" alt="FARS 评测"></a>

常见问题

它能用于基础模型基准测试吗?
README 将其范围明确限定为产品特定 AI 评测,并说明这不是基础模型基准测试。
我应该先运行哪项技能?
从 evals-start 开始;它会根据现状路由。如果已有评测流水线,可使用 eval-audit;如果有 traces 但尚未分析,可使用 error-discovery。
错误发现支持哪些输入数据?
README 指出可处理 JSONL、CSV 或 JSON 文件中的 LLM 输出或 traces,并会判断内容类型。
审阅界面需要安装额外依赖吗?
README 说明错误发现会构建由 Python 标准库服务器提供的单文件 HTML 审阅应用,无需依赖;未列出其他技能的运行时要求。
使用是否需要付费模型或 API 密钥?
README 未说明模型提供商、API 密钥或费用,无法据此判断。
AI 评测技能集 开源吗?
开源。源码在 GitHub(ai-evals-course/evals-skills),许可证是 Apache-2.0。
AI 评测技能集 安全吗?
FollowAgents 的 FARS 评审(2026年11月8日)给 AI 评测技能集 的“信任与安全”打了 12/29 分。评审检查的 8 项安全措施没有完全缺失的。
AI 评测技能集 还在维护吗?
更新变慢了:GitHub 上最近一次提交是 2026-09-24,在最近半年内,但不在最近 30 天内。
AI 评测技能集 是谁开发的?
AI 评测技能集 由 GitHub 账号 ai-evals-course 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓

对比同类 Agent

用同一套 FARS 评审,横向比较这个 Agent 所属的短名单。

相关核心概念