Coder Eval

面向编码 Agent 的“Playwright”:用声明式 YAML 任务在沙箱里跑真实 Agent,给出可加权评分并接入 CI 门禁。

Star 数
★ 160
最近更新
2 天前
License
Apache-2.0
主语言
Python

30 秒速览

运行形态
命令行工具Agent 插件 / 技能
可在哪里用
通用 · 跨平台Codex · Claude Code · OpenAI API · Claude API
费用
软件免费,模型调用费用自付
上手难度
中 · 需要几步配置
开始前需要
Python 3.13+uv 0.8+Claude Code CLINode.js 20Docker(仅容器隔离驱动需要)Shell / 命令行网络访问本地文件系统MCP Server
典型场景
要在自己业务领域的任务集上对比 Claude Code、Codex、Gemini(Antigravity)、OpenCode、Pi 哪个更靠谱的基准测试作者。
不适合
  • 只想直接跑一套固定榜单、不想自己写任务和评分标准的人
  • 不愿安装并单独配置 agent 运行时(如 Claude Code、OpenCode)的用户
官网
coder-eval.com ↗ 来自 GitHub 仓库设置
维护状态
近 30 天有提交最近提交 2026-11-19最新版本 v0.12.18(2026-11-09)

这个 Agent 能做什么,适合哪些场景?

Coder Eval 是 UiPath 开源的、与 Agent 无关的编码 Agent 评估与基准框架,以 PyPI 包 coder-eval 发布,可用 pip install coder-eval 或 uv tool install coder-eval 安装,要求 Python 3.13+。它把评测定义写成 YAML 任务文件:一段 initial_prompt、一个 agent 配置、一个 sandbox 驱动,以及一组 success_criteria;运行时真正启动一个编码 Agent(Claude Code、OpenAI Codex、Google Antigravity/Gemini、OpenCode、Pi)在隔离环境里执行任务,然后对它实际产出的文件和命令打分。评分是 0.0–1.0 的连续加权分,支持 file_exists、run_command、代码相似度、LLM 评分量表等多种判据,并额外提供 skill_triggered 激活检查,用来验证某个 Skill 是否真的被触发。框架还包含 A/B 实验层、逐次工具调用的 token 与成本遥测、run.json/variant.json/task.json 报告,以及 GitHub Actions 复合 Action 和 Claude Code 插件市场两种交付形态;它不提供模型访问,Agent 运行时和模型凭证由使用者自备。

使用者先写一个 YAML 任务(task_id、description、initial_prompt、agent、sandbox、success_criteria),再用 CLI 执行 coder-eval plan tasks/hello_date.yaml 做不消耗 token 的校验,用 coder-eval run tasks/hello_date.yaml 在 tempdir 或 Docker 沙箱中启动指定 Agent 完成任务,最后用 coder-eval report runs/latest 查看结果。agent.type 是唯一与 harness 相关的字段,切换成 codex、antigravity、opencode 即可换运行时,也可以用 -D agent.type=opencode 在单次运行中覆盖。判定阶段按 success_criteria 逐条评估沙箱内实际生成的文件与命令,输出加权分数和通过/失败阈值。A/B 实验层让同一批任务并行跑不同模型、工具或提示词;遥测记录每次工具调用、token 数与成本并以流式方式输出。CI 侧通过 UiPath/coder_eval 复合 Action 安装固定版本的 CLI、执行任务、写出 JUnit XML 和 run.md,并在任一任务失败时让步骤退出码非零。在 Claude Code 中,仓库同时是插件市场,安装后提供 /coder-eval:init、/coder-eval:check-skill、/coder-eval:task、/coder-eval:lint-tasks、/coder-eval:analyze、/coder-eval:ci 六个斜杠命令来驱动同一个 CLI。

  1. 要在自己业务领域的任务集上对比 Claude Code、Codex、Gemini(Antigravity)、OpenCode、Pi 哪个更靠谱的基准测试作者。
  2. 发布 Claude Code Skill 或插件的团队,想用 skill_triggered 判据确认技能在目标 Agent 中真的会被触发。
  3. 想让技能在上游模型或提示词变化后不再悄悄失效,用定时 GitHub Actions 任务持续回归验证的 Skill 维护者。
  4. 需要把编码 Agent 的质量做成 CI 门禁、在回归时直接让构建失败的平台或基础设施团队。
  5. 做 A/B 实验比较模型 vs 模型、工具开 vs 关、提示词 A vs B,并希望拿到逐工具 token 与成本数据的研究或产品团队。
  6. 已经有一定量任务数据、想通过 Bring Your Own Dataset 把单个任务在多行数据上展开成更大评测集的团队。

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

安装 / 启动命令
  • uv tool install coder-eval
  • uv tool install "coder-eval[codex,antigravity]" # 带上 agent extras
  • brew install claude # Claude Code
  • npm install -g opencode-ai # OpenCode
环境变量
ANTHROPIC_API_KEY
配置文件
.env.example .env tasks/hello_date.yaml tasks/hello_world.yaml
运行环境
Python 3.13+
安装说明涉及
macOS

如何安装或部署这个 Agent?

前置条件:Python 3.13+、uv 0.8+,以及至少一个编码 Agent 的运行时和它自己的模型凭证。开发用克隆安装:

uv sync                      # 安装框架(需要 codex / antigravity 时追加 --extra codex / --extra antigravity)
cp .env.example .env         # 设置 ANTHROPIC_API_KEY;已有 claude login 时会自动复用

只要 CLI、不克隆仓库时:

uv tool install coder-eval
uv tool install "coder-eval[codex,antigravity]"   # 带上 agent extras
coder-eval --version                              # 验证安装

作为项目依赖时用 uv add coder-eval 或 pip install coder-eval。两种 Agent 需要自行安装运行时:

brew install claude                     # Claude Code
npm install -g opencode-ai              # OpenCode

如何使用这个 Agent?

第一个完整流程(默认 claude-code Agent):

uv run coder-eval plan tasks/hello_date.yaml   # 只校验、不消耗 token
uv run coder-eval run  tasks/hello_date.yaml   # 运行第一次评测
uv run coder-eval report runs/latest           # 查看结果

一个最小任务定义 tasks/hello_world.yaml:

task_id: "hello_world"
description: "Create a Python script that prints Hello, World!"
initial_prompt: "Create hello.py that prints 'Hello, World!'"

agent:
  type: "claude-code"
  permission_mode: "acceptEdits"
  allowed_tools: ["Read", "Write", "Bash"]

sandbox:
  driver: "tempdir"
  python: {}

success_criteria:
  - type: "file_exists"
    path: "hello.py"
    description: "hello.py must be created"
  - type: "run_command"
    command: "python hello.py"
    timeout: 10
    description: "Script must execute successfully"

在 Claude Code 内安装插件前端(六个斜杠命令):

/plugin marketplace add UiPath/coder_eval
/plugin install coder-eval@coder-eval

作为 GitHub Actions 门禁(默认 claude-code Agent 需要先准备 claude CLI):

- uses: actions/setup-node@v4
  with: { node-version: '20' }
- run: npm install -g @anthropic-ai/claude-code

- uses: UiPath/coder_eval@v0
  id: eval
  with:
    args: |
      tests/tasks/**/*.yaml
      --model
      claude-sonnet-5
    env: |
      ANTHROPIC_API_KEY=${{ secrets.ANTHROPIC_API_KEY }}

- if: always()
  run: cat "${{ steps.eval.outputs.run-md-path }}" >> "$GITHUB_STEP_SUMMARY"
- uses: mikepenz/action-junit-report@v5
  if: always()
  with:
    report_paths: ${{ steps.eval.outputs.junit-path }}

不要在使用 pull_request_target 且把密钥暴露给不可信 fork PR 的场景下运行该 Action。使用遥测时如需关闭,在 .env 或环境中设置 TELEMETRY_ENABLED=false。

这个 Agent 有哪些优点和局限?

优点
  • 任务、判据、评分、遥测和报告与 harness 解耦:agent.type 是唯一 Agent 相关行,换 Claude Code/Codex/Antigravity/OpenCode/Pi 不用改任务。
  • 评分是带分数与阈值的连续加权分(0.0–1.0),还提供 skill_triggered 判据,专门验证技能是否真被触发。
  • 同时提供 CLI、GitHub Actions 复合 Action(JUnit XML + run.md 输出)和 Claude Code 插件市场三种落地方式,CI 门禁开箱可用。
  • 逐次工具调用、token 数与成本的完整遥测,加上 A/B 实验层,可直接对比模型、工具开关与提示词。
  • 沙箱支持 tempdir 与 Docker 容器驱动,任务依赖可固定版本,便于复现。
局限
  • 只支持 Python 3.13+,对仍停留在旧版本 Python 的团队是硬性门槛。
  • 不提供模型访问:Agent 运行时(Claude Code、OpenCode 等)和模型凭证需自备,实际使用会产生 API 费用。
  • 默认开启匿名使用遥测,需要在 .env 或环境中显式设置 TELEMETRY_ENABLED=false 才能关闭。
  • 任务会执行 Agent 生成的代码,官方明确 tempdir 驱动不是安全边界,运行不可信任务必须改用容器驱动。
  • GitHub Action 有 8 个输入但都不是 run 的 CLI 标志位,标志和任务 glob 必须全部走 args;引用 tag 未定义的输入会被 GitHub 静默忽略,容易造成“测了别的东西却仍返回 0”。

这个 Agent 与同类方案有什么区别?

官方文档明确对比了若干替代方案:相对 SWE-bench、SkillsBench 这类固定榜单,它们跑一份标准数据集,而 Coder Eval 评的是你自己的任务,用 0.0–1.0 连续加权判据(也可通过 Bring Your Own Dataset 包一层固定数据集);相对 Harbor 这类大规模/RL harness,Harbor 面向规模化与 RL rollout,Coder Eval 面向可加权的 skill-aware 套件并在 CI 中门禁;相对 OpenAI Evals 这类模型输出评测工具,后者给模型文本打分,Coder Eval 在沙箱里跑完整 Agent 并对它产出的文件和命令打分;相对手写脚本,它自带可复现沙箱、加权判据、成本/token 遥测、A/B 实验与 CI 通过的失败门禁。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
Coder Eval 当前 79 · 表现良好 命令行工具免费 + 模型费 ★ 160 2 天前 Python Codex · Claude Code · OpenAI API · Claude API
Yardlet 80 · 表现良好 桌面应用免费 ★ 46 今天 Swift Codex · Claude Code
wsp 59 · 缺口较多 桌面应用免费 + 模型费 ★ 15 8 天前 TypeScript Codex · Claude Code
Loop Engineering 65 · 存在缺口 命令行工具免费 + 模型费 ★ 12k 1 天前 TypeScript Codex · Claude Code

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
表现良好
79/ 100 五分制 4.0 / 5
本评测基于 2026年11月8日 的源码;此后该项目发布了 1 个正式版本,尚未复审。分数与结论只代表评测时的版本。 最近版本 ↓
信任安全 19/29
可靠稳定 11/14
适用触发 15/18
规范维护 16/18
有效结果 12/13
证据核验 6/8
查看各维度的扣分理由
信任安全19 / 29 · 3.3/5

文档说明容器隔离、资源限制、任务执行真实代码的风险,以及 tempdir 不是安全边界;CI 示例采用只读权限,并说明 secrets 不应暴露给不可信 fork。遥测默认开启但披露了字段和关闭方式,安全政策也指出 agent_judge 使用评估者凭据。扣分原因:权限和确认流程主要由使用方配置,材料没有充分呈现产品级的敏感数据保护与结果回滚机制;发布者身份按要求视为未知。

可靠稳定11 / 14 · 3.9/5

README、pyproject 和源码对 Python 3.13+、CLI、支持的 harness 与可选依赖大体一致;缺少 CLI 或 harness 时文档称会给出提示,错误源码也定义了明确的配置错误、超时和崩溃类型。扣分原因:部分安装要求依赖独立 CLI、模型凭据或可选 extra,且所给材料不足以核对所有文档与实现细节。

适用触发15 / 18 · 4.2/5

材料明确面向基准作者、CLI/skill 构建者及 CI 使用者,列出多种评估场景、harness、扩展 SPI,并区分 docker 与 tempdir 的隔离边界。扣分原因:技能样本集中于 Claude Code 插件,而运行环境要求 Python 3.13+,若干 agent 还需单独安装运行时与凭据。

规范维护16 / 18 · 4.4/5

README 提供分层文档索引、安装与快速开始、任务 YAML、CI 示例、技能说明、限制、安全报告渠道;LICENSE 与包元数据均标明 Apache-2.0。扣分原因:样本显示版本为 0.12.17、行动示例仍使用移动标签 @v0,CHANGELOG 未提供正文供本次核实;维护联系方式和更新路径明确,但不代表发布者身份已验证。

有效结果12 / 13 · 4.6/5

产品把任务定义、运行隔离、评分、A/B 比较、遥测和 CI 门禁组合成可供团队使用的输出,并提供报告与 JUnit 路径;文档明确提醒成本、真实代码执行及运行时前置条件。扣分原因:价值依赖用户编写合适任务、准备 agent 与凭据,且真实运行模型会带来成本。

证据核验6 / 8 · 3.8/5

README 的主要功能说明可由 pyproject 的入口、依赖与 extras、Agent 抽象源码、错误类型、技能文件、工作流和安全政策交叉印证;测试样本还展示了具体断言设计。扣分原因:材料包含营销性功能主张和局部文件摘录,未执行测试,也无法仅凭样本确认全部实现或发布行为。

风险与缓解建议
  • 评估任务会执行 agent 生成的代码;文档指出 tempdir 不是安全边界。运行不可信任务时应使用容器隔离,并避免在不可信 PR 上暴露凭据。
  • 遥测默认开启;如不接受文档所述的匿名使用数据传输,需设置 TELEMETRY_ENABLED=false。
  • 这是静态审查,未运行测试或验证运行结果;发布者身份未知。
证据充分度:低 评估于 2026年11月8日 审查版本 68cd17f3ca19 评估后仓库已有新提交,评分可能未覆盖最新改动
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/coder-eval.svg?lang=zh)](https://followagents.com/zh/agents/coder-eval)
<a href="https://followagents.com/zh/agents/coder-eval"><img src="https://followagents.com/badge/coder-eval.svg?lang=zh" alt="FARS 评测"></a>

最近版本

来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。

  1. v0.12.18
    发布说明摘录
    Bug Fixes - deps: Cap typer below 0.29 ([#255](https://github.com/UiPath/coder_eval/pull/255), [bf4e638](https://github.com/UiPath/coder_eval/commit/bf4e6382eb1eed65243ff26253f50caf6b8bb89b)) - evalboard: Keep a null arm pass rate null and cap Series run.json loads ([#255](https://github.com/UiPath/coder_eval/pull/255), [bf4e638](https://github.com/UiPath/coder_eval/commit/bf4e6382eb1eed65243ff26253f50caf6b8bb89b)) Features - evalboard: Add a Scheduled tab with per-pipeline trends and fold Scribe into it …
    在 GitHub 查看 ↗
  2. v0.12.17
    发布说明摘录
    Bug Fixes - Address grading recovery before-merge feedback ([#248](https://github.com/UiPath/coder_eval/pull/248), [bc45225](https://github.com/UiPath/coder_eval/commit/bc45225fe4b836ae9376a66fc5864f5b49e6851f)) - Align Delegate smoke prompt with automation use ([#248](https://github.com/UiPath/coder_eval/pull/248), [bc45225](https://github.com/UiPath/coder_eval/commit/bc45225fe4b836ae9376a66fc5864f5b49e6851f)) - Make grading failure and budget returns explicit ([#248](https://github.com/UiPath/coder_eval/pull/248), …
    在 GitHub 查看 ↗
  3. v0.12.16
    发布说明摘录
    Bug Fixes - codex: Crash a turn codex ended as failed instead of grading it ([#230](https://github.com/UiPath/coder_eval/pull/230), [30c62ce](https://github.com/UiPath/coder_eval/commit/30c62ce212efd1bf517332497422327cf34bf7a7))
    在 GitHub 查看 ↗

常见问题

它自带模型或榜单数据吗?
不带。Coder Eval 从不提供模型访问,Agent 运行时只在有 extra 时才附带(codex、antigravity),Claude Code 和 OpenCode 是需自行安装的独立 CLI;模型凭证和费用由使用者负责。它也不是固定榜单,任务与评分都由你提供,仓库只附带示例任务。
跑一次评测大概要花多少钱?
软件本身免费(Apache-2.0),成本来自 Agent 调用模型的 API 费用,框架会通过遥测记录每次工具调用、token 数和成本,便于核算。先用 coder-eval plan <task>.yaml 校验任务可以不消耗 token。
任务里的代码会被真的执行吗?会不会有安全风险?
会。任务执行的是 Agent 生成的代码,官方明确说明 tempdir 驱动不是安全边界,不可信任务必须使用 Docker 容器隔离驱动;在 GitHub Actions 中也不要在 pull_request_target 下把密钥暴露给不可信 fork PR。
怎么在不改任务的情况下换 Agent 或模型?
改 agent.type 字段即可(claude-code、codex、antigravity、opencode、pi),或在单次运行时用 -D agent.type=opencode 覆盖;任务、判据、评分、遥测和报告都保持不变。
它和 Claude Code 是什么关系?
Claude Code 既是可被评测的 Agent 之一(默认 agent.type),也是仓库提供的作者前端:本仓库同时是 Claude Code 插件市场,安装后提供 init、check-skill、task、lint-tasks、analyze、ci 六个斜杠命令来驱动同一个 coder-eval CLI,但这些命令需要额外安装 CLI 才能工作。
Coder Eval 官网是什么?
Coder Eval 的 GitHub 仓库填写的官网是 https://coder-eval.com。这个链接由仓库作者设置;源码在 GitHub(UiPath/coder_eval)。
Coder Eval 开源吗?
开源。源码在 GitHub(UiPath/coder_eval),许可证是 Apache-2.0。
Coder Eval 还在维护吗?
在维护。GitHub 上最近一次提交是 2026-11-19,在最近 30 天内。最新版本是 v0.12.18(2026-11-09)。
Coder Eval 是谁开发的?
Coder Eval 由 GitHub 账号 UiPath 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓

所属宿主生态

对比同类 Agent

用同一套 FARS 评审,横向比较这个 Agent 所属的短名单。

相关核心概念