AI 评测技能集
帮助编码代理为具体产品构建评测,减少常见评测错误。
- Star 数
- ★ 1.8k
- 最近更新
- 1 个月前
- License
- Apache-2.0
- FA 评分
- 59/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 已有产品评测流水线、希望找出设置问题并按严重程度安排改进的工程团队。
- 不适合
- 需要直接运行托管评测服务的团队
- 只想做基础模型基准测试的团队
- 维护状态
- 近半年有提交最近提交 2026-09-24近 7 天每天 +6.3 ★
- 源码审查
- 59/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
Eval Skills 是一组供 AI 编码代理使用的技能,面向产品特定的 AI 评测,而非基础模型基准测试。入口技能 evals-start 会根据现状将用户引导到合适的工作流程。已有评测流水线的团队可使用 eval-audit 检查设置并获取分级建议;已有 traces 但尚未分析的团队可用 error-discovery 进行错误分析。其他技能涵盖合成测试数据、代码检查、LLM-as-Judge、评估器校准、RAG 质量评估和人工审阅界面。错误发现流程可读取 JSONL、CSV 或 JSON 数据,生成由 Python 标准库服务器提供的单文件 HTML 审阅应用;部署和模型提供商支持范围未在说明中明确。
evals-start 根据用户的评测状况路由到相应技能。eval-audit 检查现有评测流水线并提出带优先级的改进建议;error-discovery 读取 LLM 输出或 traces 的 JSONL、CSV 或 JSON 文件,判断内容类型,设计可视化编码,聚类并抽取多样样本,再生成由 Python 标准库服务器提供的单文件 HTML 审阅应用。用户可在应用中留下自由文本注释,代理据此整理失败模式、跟踪覆盖情况并建议后续样本。其余技能分别生成合成输入、编写客观代码检查、设计主观评估器提示、用数据切分及 TPR/TNR 和偏差校正校准评估器、评估 RAG 检索与生成质量,以及构建人工 trace 标注界面。
- 已有产品评测流水线、希望找出设置问题并按严重程度安排改进的工程团队。
- 积累了 LLM 输出或 agent traces、需要先发现失败模式再编写评测的产品团队。
- 需要按多个维度组合生成多样合成测试输入的评测工程师。
- 希望将明确的失败条件实现为代码检查的开发者。
- 需要为主观质量标准设计 LLM-as-Judge 提示并用人工标签校准的评测团队。
- 需要分别检查 RAG 检索质量和生成质量,或为 trace 审阅构建标注界面的团队。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
npx skills
如何安装或部署这个 Agent?
README 通过 npx skills 安装技能集,并展示了安装全部技能和只安装 error-discovery 的命令。使用该安装方式需要可运行 npx 的环境;README 未说明具体 Node.js 版本、模型凭据要求或各编码代理的适配范围。
如何使用这个 Agent?
安装后,将数据集交给支持这些技能的 AI 编码代理,并请求进行错误分析。README 给出的首个任务示例为:
这个 Agent 有哪些优点和局限?
- 从
evals-start入口按现状路由,区分已有评测流水线和待分析 traces 的工作流。 error-discovery覆盖抽样、聚类、人工注释、失败模式归纳和后续样本建议的分析循环。- 技能覆盖代码检查、LLM-as-Judge 校准和 RAG 评估等不同评测任务。
- 错误发现流程使用单文件 HTML 审阅应用和 Python 标准库服务器,README 明确说明无需额外依赖。
- 这是供 AI 编码代理使用的技能集,不是独立托管评测服务;具体代理产品的兼容性未说明。
- README 未注明模型提供商、凭据、费用或网络数据处理要求。
- Python 标准库服务器只在错误发现流程中有说明,其他技能的运行时和部署方式未详述。
- 除安装与更新命令外,README 未给出逐项技能的完整参数、配置或输出格式。
这个 Agent 与同类方案有什么区别?
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| AI 评测技能集 当前 | 59 · 缺口较多 | Agent 插件 / 技能 | ★ 1.8k | 1 个月前 | — | — |
| DeepEval | 69 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 20k | 2 天前 | Python | OpenAI API · Claude API |
| Giskard | 57 · 缺口较多 | 代码库 / SDK免费 + 模型费 | ★ 6k | 2 天前 | Python | OpenAI API · Claude API |
| AgentEvals 轨迹评测 | 67 · 存在缺口 | 命令行工具免费 | ★ 171 | 2 天前 | Python | — |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
技能说明了读取 JSONL/CSV/JSON 数据、生成本地审阅界面和保存标注,且要求清理渲染内容、禁用可能追踪的图片;因此数据流有一定透明度,来源与插件清单中的作者信息也相互印证。扣分原因:材料没有统一规定最小文件访问范围、敏感数据脱敏、外部操作确认或回滚流程;安装命令使用 npx,但未展示依赖安全或固定版本措施。
路由技能把用户导向专用工作流,多个技能的目标大体一致。扣分原因:提供的技能节选不完整,且没有版本兼容、依赖可用性处理或清晰的错误恢复与失败消息规范;不能据此判断实际运行结果。
README 和技能覆盖已有评测审计、追踪数据错误分析、代码评测、LLM 裁判、RAG 以及人工审阅等明确场景;路由规则要求优先使用匹配的专用技能。扣分原因:运行环境适配主要限于本地文件或可用的可观测性 MCP,企业环境与其他数据源的指导有限。
README 提供技能目录、用途说明、安装单技能和更新命令;技能名称稳定且与路由表一致,许可证文件完整标明 Apache-2.0。扣分原因:材料未见变更日志、维护责任或已知限制说明;FAQ 和实例覆盖也有限。
技能给出可执行的工作步骤和审阅界面要求,包括抽样、标注、进度与键盘操作,预期输出具有实用结构。扣分原因:实际效益主要由提示指导来支撑,缺少材料内的结果证据;自定义界面和人工审阅仍可能带来实现与时间成本。
README、插件清单和技能文档在产品用途与技能路由上有一定交叉印证,描述大多可追溯到具体工作流。扣分原因:宣传中的使用规模和课程经验没有在材料中提供独立佐证;缺少来源级别的证据标注,也未总是清楚区分经验判断与事实。
- 评审基于所给静态材料,置信度为低;未执行技能,也未验证其产出。
- 技能会处理用户提供的追踪数据并指导构建本地审阅应用;使用前应确认数据适合本地处理并检查生成界面的渲染与保存行为。
常见问题
它能用于基础模型基准测试吗?
我应该先运行哪项技能?
evals-start 开始;它会根据现状路由。如果已有评测流水线,可使用 eval-audit;如果有 traces 但尚未分析,可使用 error-discovery。错误发现支持哪些输入数据?
审阅界面需要安装额外依赖吗?
使用是否需要付费模型或 API 密钥?
AI 评测技能集 开源吗?
AI 评测技能集 安全吗?
AI 评测技能集 还在维护吗?
AI 评测技能集 是谁开发的?
谢谢反馈,我们会据此改进页面。