Coder Eval
面向编码 Agent 的“Playwright”:用声明式 YAML 任务在沙箱里跑真实 Agent,给出可加权评分并接入 CI 门禁。
- Star 数
- ★ 160
- 最近更新
- 2 天前
- License
- Apache-2.0
- 主语言
- Python
- FA 评分
- 79/100 · 表现良好
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台Codex · Claude Code · OpenAI API · Claude API
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 要在自己业务领域的任务集上对比 Claude Code、Codex、Gemini(Antigravity)、OpenCode、Pi 哪个更靠谱的基准测试作者。
- 不适合
- 只想直接跑一套固定榜单、不想自己写任务和评分标准的人
- 不愿安装并单独配置 agent 运行时(如 Claude Code、OpenCode)的用户
- 官网
- coder-eval.com ↗ 来自 GitHub 仓库设置
- 维护状态
- 近 30 天有提交最近提交 2026-11-19最新版本 v0.12.18(2026-11-09)
- 源码审查
- 79/100 · 表现良好
这个 Agent 能做什么,适合哪些场景?
Coder Eval 是 UiPath 开源的、与 Agent 无关的编码 Agent 评估与基准框架,以 PyPI 包 coder-eval 发布,可用 pip install coder-eval 或 uv tool install coder-eval 安装,要求 Python 3.13+。它把评测定义写成 YAML 任务文件:一段 initial_prompt、一个 agent 配置、一个 sandbox 驱动,以及一组 success_criteria;运行时真正启动一个编码 Agent(Claude Code、OpenAI Codex、Google Antigravity/Gemini、OpenCode、Pi)在隔离环境里执行任务,然后对它实际产出的文件和命令打分。评分是 0.0–1.0 的连续加权分,支持 file_exists、run_command、代码相似度、LLM 评分量表等多种判据,并额外提供 skill_triggered 激活检查,用来验证某个 Skill 是否真的被触发。框架还包含 A/B 实验层、逐次工具调用的 token 与成本遥测、run.json/variant.json/task.json 报告,以及 GitHub Actions 复合 Action 和 Claude Code 插件市场两种交付形态;它不提供模型访问,Agent 运行时和模型凭证由使用者自备。
使用者先写一个 YAML 任务(task_id、description、initial_prompt、agent、sandbox、success_criteria),再用 CLI 执行 coder-eval plan tasks/hello_date.yaml 做不消耗 token 的校验,用 coder-eval run tasks/hello_date.yaml 在 tempdir 或 Docker 沙箱中启动指定 Agent 完成任务,最后用 coder-eval report runs/latest 查看结果。agent.type 是唯一与 harness 相关的字段,切换成 codex、antigravity、opencode 即可换运行时,也可以用 -D agent.type=opencode 在单次运行中覆盖。判定阶段按 success_criteria 逐条评估沙箱内实际生成的文件与命令,输出加权分数和通过/失败阈值。A/B 实验层让同一批任务并行跑不同模型、工具或提示词;遥测记录每次工具调用、token 数与成本并以流式方式输出。CI 侧通过 UiPath/coder_eval 复合 Action 安装固定版本的 CLI、执行任务、写出 JUnit XML 和 run.md,并在任一任务失败时让步骤退出码非零。在 Claude Code 中,仓库同时是插件市场,安装后提供 /coder-eval:init、/coder-eval:check-skill、/coder-eval:task、/coder-eval:lint-tasks、/coder-eval:analyze、/coder-eval:ci 六个斜杠命令来驱动同一个 CLI。
- 要在自己业务领域的任务集上对比 Claude Code、Codex、Gemini(Antigravity)、OpenCode、Pi 哪个更靠谱的基准测试作者。
- 发布 Claude Code Skill 或插件的团队,想用 skill_triggered 判据确认技能在目标 Agent 中真的会被触发。
- 想让技能在上游模型或提示词变化后不再悄悄失效,用定时 GitHub Actions 任务持续回归验证的 Skill 维护者。
- 需要把编码 Agent 的质量做成 CI 门禁、在回归时直接让构建失败的平台或基础设施团队。
- 做 A/B 实验比较模型 vs 模型、工具开 vs 关、提示词 A vs B,并希望拿到逐工具 token 与成本数据的研究或产品团队。
- 已经有一定量任务数据、想通过 Bring Your Own Dataset 把单个任务在多行数据上展开成更大评测集的团队。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
uv tool install coder-evaluv tool install "coder-eval[codex,antigravity]" # 带上 agent extrasbrew install claude # Claude Codenpm install -g opencode-ai # OpenCode
- 环境变量
ANTHROPIC_API_KEY- 配置文件
.env.example.envtasks/hello_date.yamltasks/hello_world.yaml- 运行环境
- Python 3.13+
- 安装说明涉及
- macOS
如何安装或部署这个 Agent?
前置条件:Python 3.13+、uv 0.8+,以及至少一个编码 Agent 的运行时和它自己的模型凭证。开发用克隆安装:
uv sync # 安装框架(需要 codex / antigravity 时追加 --extra codex / --extra antigravity)
cp .env.example .env # 设置 ANTHROPIC_API_KEY;已有 claude login 时会自动复用只要 CLI、不克隆仓库时:
uv tool install coder-eval
uv tool install "coder-eval[codex,antigravity]" # 带上 agent extras
coder-eval --version # 验证安装作为项目依赖时用 uv add coder-eval 或 pip install coder-eval。两种 Agent 需要自行安装运行时:
brew install claude # Claude Code
npm install -g opencode-ai # OpenCode如何使用这个 Agent?
第一个完整流程(默认 claude-code Agent):
uv run coder-eval plan tasks/hello_date.yaml # 只校验、不消耗 token
uv run coder-eval run tasks/hello_date.yaml # 运行第一次评测
uv run coder-eval report runs/latest # 查看结果一个最小任务定义 tasks/hello_world.yaml:
task_id: "hello_world"
description: "Create a Python script that prints Hello, World!"
initial_prompt: "Create hello.py that prints 'Hello, World!'"
agent:
type: "claude-code"
permission_mode: "acceptEdits"
allowed_tools: ["Read", "Write", "Bash"]
sandbox:
driver: "tempdir"
python: {}
success_criteria:
- type: "file_exists"
path: "hello.py"
description: "hello.py must be created"
- type: "run_command"
command: "python hello.py"
timeout: 10
description: "Script must execute successfully"在 Claude Code 内安装插件前端(六个斜杠命令):
/plugin marketplace add UiPath/coder_eval
/plugin install coder-eval@coder-eval作为 GitHub Actions 门禁(默认 claude-code Agent 需要先准备 claude CLI):
- uses: actions/setup-node@v4
with: { node-version: '20' }
- run: npm install -g @anthropic-ai/claude-code
- uses: UiPath/coder_eval@v0
id: eval
with:
args: |
tests/tasks/**/*.yaml
--model
claude-sonnet-5
env: |
ANTHROPIC_API_KEY=${{ secrets.ANTHROPIC_API_KEY }}
- if: always()
run: cat "${{ steps.eval.outputs.run-md-path }}" >> "$GITHUB_STEP_SUMMARY"
- uses: mikepenz/action-junit-report@v5
if: always()
with:
report_paths: ${{ steps.eval.outputs.junit-path }}不要在使用 pull_request_target 且把密钥暴露给不可信 fork PR 的场景下运行该 Action。使用遥测时如需关闭,在 .env 或环境中设置 TELEMETRY_ENABLED=false。
这个 Agent 有哪些优点和局限?
- 任务、判据、评分、遥测和报告与 harness 解耦:agent.type 是唯一 Agent 相关行,换 Claude Code/Codex/Antigravity/OpenCode/Pi 不用改任务。
- 评分是带分数与阈值的连续加权分(0.0–1.0),还提供 skill_triggered 判据,专门验证技能是否真被触发。
- 同时提供 CLI、GitHub Actions 复合 Action(JUnit XML + run.md 输出)和 Claude Code 插件市场三种落地方式,CI 门禁开箱可用。
- 逐次工具调用、token 数与成本的完整遥测,加上 A/B 实验层,可直接对比模型、工具开关与提示词。
- 沙箱支持 tempdir 与 Docker 容器驱动,任务依赖可固定版本,便于复现。
- 只支持 Python 3.13+,对仍停留在旧版本 Python 的团队是硬性门槛。
- 不提供模型访问:Agent 运行时(Claude Code、OpenCode 等)和模型凭证需自备,实际使用会产生 API 费用。
- 默认开启匿名使用遥测,需要在 .env 或环境中显式设置 TELEMETRY_ENABLED=false 才能关闭。
- 任务会执行 Agent 生成的代码,官方明确 tempdir 驱动不是安全边界,运行不可信任务必须改用容器驱动。
- GitHub Action 有 8 个输入但都不是 run 的 CLI 标志位,标志和任务 glob 必须全部走 args;引用 tag 未定义的输入会被 GitHub 静默忽略,容易造成“测了别的东西却仍返回 0”。
这个 Agent 与同类方案有什么区别?
官方文档明确对比了若干替代方案:相对 SWE-bench、SkillsBench 这类固定榜单,它们跑一份标准数据集,而 Coder Eval 评的是你自己的任务,用 0.0–1.0 连续加权判据(也可通过 Bring Your Own Dataset 包一层固定数据集);相对 Harbor 这类大规模/RL harness,Harbor 面向规模化与 RL rollout,Coder Eval 面向可加权的 skill-aware 套件并在 CI 中门禁;相对 OpenAI Evals 这类模型输出评测工具,后者给模型文本打分,Coder Eval 在沙箱里跑完整 Agent 并对它产出的文件和命令打分;相对手写脚本,它自带可复现沙箱、加权判据、成本/token 遥测、A/B 实验与 CI 通过的失败门禁。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Coder Eval 当前 | 79 · 表现良好 | 命令行工具免费 + 模型费 | ★ 160 | 2 天前 | Python | Codex · Claude Code · OpenAI API · Claude API |
| Yardlet | 80 · 表现良好 | 桌面应用免费 | ★ 46 | 今天 | Swift | Codex · Claude Code |
| wsp | 59 · 缺口较多 | 桌面应用免费 + 模型费 | ★ 15 | 8 天前 | TypeScript | Codex · Claude Code |
| Loop Engineering | 65 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 12k | 1 天前 | TypeScript | Codex · Claude Code |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
文档说明容器隔离、资源限制、任务执行真实代码的风险,以及 tempdir 不是安全边界;CI 示例采用只读权限,并说明 secrets 不应暴露给不可信 fork。遥测默认开启但披露了字段和关闭方式,安全政策也指出 agent_judge 使用评估者凭据。扣分原因:权限和确认流程主要由使用方配置,材料没有充分呈现产品级的敏感数据保护与结果回滚机制;发布者身份按要求视为未知。
README、pyproject 和源码对 Python 3.13+、CLI、支持的 harness 与可选依赖大体一致;缺少 CLI 或 harness 时文档称会给出提示,错误源码也定义了明确的配置错误、超时和崩溃类型。扣分原因:部分安装要求依赖独立 CLI、模型凭据或可选 extra,且所给材料不足以核对所有文档与实现细节。
材料明确面向基准作者、CLI/skill 构建者及 CI 使用者,列出多种评估场景、harness、扩展 SPI,并区分 docker 与 tempdir 的隔离边界。扣分原因:技能样本集中于 Claude Code 插件,而运行环境要求 Python 3.13+,若干 agent 还需单独安装运行时与凭据。
README 提供分层文档索引、安装与快速开始、任务 YAML、CI 示例、技能说明、限制、安全报告渠道;LICENSE 与包元数据均标明 Apache-2.0。扣分原因:样本显示版本为 0.12.17、行动示例仍使用移动标签 @v0,CHANGELOG 未提供正文供本次核实;维护联系方式和更新路径明确,但不代表发布者身份已验证。
产品把任务定义、运行隔离、评分、A/B 比较、遥测和 CI 门禁组合成可供团队使用的输出,并提供报告与 JUnit 路径;文档明确提醒成本、真实代码执行及运行时前置条件。扣分原因:价值依赖用户编写合适任务、准备 agent 与凭据,且真实运行模型会带来成本。
README 的主要功能说明可由 pyproject 的入口、依赖与 extras、Agent 抽象源码、错误类型、技能文件、工作流和安全政策交叉印证;测试样本还展示了具体断言设计。扣分原因:材料包含营销性功能主张和局部文件摘录,未执行测试,也无法仅凭样本确认全部实现或发布行为。
- 评估任务会执行 agent 生成的代码;文档指出 tempdir 不是安全边界。运行不可信任务时应使用容器隔离,并避免在不可信 PR 上暴露凭据。
- 遥测默认开启;如不接受文档所述的匿名使用数据传输,需设置 TELEMETRY_ENABLED=false。
- 这是静态审查,未运行测试或验证运行结果;发布者身份未知。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
发布说明摘录
Bug Fixes - deps: Cap typer below 0.29 ([#255](https://github.com/UiPath/coder_eval/pull/255), [bf4e638](https://github.com/UiPath/coder_eval/commit/bf4e6382eb1eed65243ff26253f50caf6b8bb89b)) - evalboard: Keep a null arm pass rate null and cap Series run.json loads ([#255](https://github.com/UiPath/coder_eval/pull/255), [bf4e638](https://github.com/UiPath/coder_eval/commit/bf4e6382eb1eed65243ff26253f50caf6b8bb89b)) Features - evalboard: Add a Scheduled tab with per-pipeline trends and fold Scribe into it …在 GitHub 查看 ↗ -
发布说明摘录
Bug Fixes - Address grading recovery before-merge feedback ([#248](https://github.com/UiPath/coder_eval/pull/248), [bc45225](https://github.com/UiPath/coder_eval/commit/bc45225fe4b836ae9376a66fc5864f5b49e6851f)) - Align Delegate smoke prompt with automation use ([#248](https://github.com/UiPath/coder_eval/pull/248), [bc45225](https://github.com/UiPath/coder_eval/commit/bc45225fe4b836ae9376a66fc5864f5b49e6851f)) - Make grading failure and budget returns explicit ([#248](https://github.com/UiPath/coder_eval/pull/248), …在 GitHub 查看 ↗ -
发布说明摘录
Bug Fixes - codex: Crash a turn codex ended as failed instead of grading it ([#230](https://github.com/UiPath/coder_eval/pull/230), [30c62ce](https://github.com/UiPath/coder_eval/commit/30c62ce212efd1bf517332497422327cf34bf7a7))在 GitHub 查看 ↗
常见问题
它自带模型或榜单数据吗?
跑一次评测大概要花多少钱?
coder-eval plan <task>.yaml 校验任务可以不消耗 token。任务里的代码会被真的执行吗?会不会有安全风险?
怎么在不改任务的情况下换 Agent 或模型?
-D agent.type=opencode 覆盖;任务、判据、评分、遥测和报告都保持不变。它和 Claude Code 是什么关系?
Coder Eval 官网是什么?
Coder Eval 开源吗?
Coder Eval 还在维护吗?
Coder Eval 是谁开发的?
谢谢反馈,我们会据此改进页面。