Coder Eval

这个 Agent 能做什么，适合哪些场景？

Coder Eval 是 UiPath 开源的、与 Agent 无关的编码 Agent 评估与基准框架，以 PyPI 包 coder-eval 发布，可用 pip install coder-eval 或 uv tool install coder-eval 安装，要求 Python 3.13+。它把评测定义写成 YAML 任务文件：一段 initial_prompt、一个 agent 配置、一个 sandbox 驱动，以及一组 success_criteria；运行时真正启动一个编码 Agent（Claude Code、OpenAI Codex、Google Antigravity/Gemini、OpenCode、Pi）在隔离环境里执行任务，然后对它实际产出的文件和命令打分。评分是 0.0–1.0 的连续加权分，支持 file_exists、run_command、代码相似度、LLM 评分量表等多种判据，并额外提供 skill_triggered 激活检查，用来验证某个 Skill 是否真的被触发。框架还包含 A/B 实验层、逐次工具调用的 token 与成本遥测、run.json/variant.json/task.json 报告，以及 GitHub Actions 复合 Action 和 Claude Code 插件市场两种交付形态；它不提供模型访问，Agent 运行时和模型凭证由使用者自备。

使用者先写一个 YAML 任务（task_id、description、initial_prompt、agent、sandbox、success_criteria），再用 CLI 执行 coder-eval plan tasks/hello_date.yaml 做不消耗 token 的校验，用 coder-eval run tasks/hello_date.yaml 在 tempdir 或 Docker 沙箱中启动指定 Agent 完成任务，最后用 coder-eval report runs/latest 查看结果。agent.type 是唯一与 harness 相关的字段，切换成 codex、antigravity、opencode 即可换运行时，也可以用 -D agent.type=opencode 在单次运行中覆盖。判定阶段按 success_criteria 逐条评估沙箱内实际生成的文件与命令，输出加权分数和通过/失败阈值。A/B 实验层让同一批任务并行跑不同模型、工具或提示词；遥测记录每次工具调用、token 数与成本并以流式方式输出。CI 侧通过 UiPath/coder_eval 复合 Action 安装固定版本的 CLI、执行任务、写出 JUnit XML 和 run.md，并在任一任务失败时让步骤退出码非零。在 Claude Code 中，仓库同时是插件市场，安装后提供 /coder-eval:init、/coder-eval:check-skill、/coder-eval:task、/coder-eval:lint-tasks、/coder-eval:analyze、/coder-eval:ci 六个斜杠命令来驱动同一个 CLI。

1. 要在自己业务领域的任务集上对比 Claude Code、Codex、Gemini(Antigravity)、OpenCode、Pi 哪个更靠谱的基准测试作者。
2. 发布 Claude Code Skill 或插件的团队，想用 skill_triggered 判据确认技能在目标 Agent 中真的会被触发。
3. 想让技能在上游模型或提示词变化后不再悄悄失效，用定时 GitHub Actions 任务持续回归验证的 Skill 维护者。
4. 需要把编码 Agent 的质量做成 CI 门禁、在回归时直接让构建失败的平台或基础设施团队。
5. 做 A/B 实验比较模型 vs 模型、工具开 vs 关、提示词 A vs B，并希望拿到逐工具 token 与成本数据的研究或产品团队。
6. 已经有一定量任务数据、想通过 Bring Your Own Dataset 把单个任务在多行数据上展开成更大评测集的团队。

如何安装或部署这个 Agent？

前置条件：Python 3.13+、uv 0.8+，以及至少一个编码 Agent 的运行时和它自己的模型凭证。开发用克隆安装：

uv sync                      # 安装框架（需要 codex / antigravity 时追加 --extra codex / --extra antigravity）
cp .env.example .env         # 设置 ANTHROPIC_API_KEY；已有 claude login 时会自动复用

只要 CLI、不克隆仓库时：

uv tool install coder-eval
uv tool install "coder-eval[codex,antigravity]"   # 带上 agent extras
coder-eval --version                              # 验证安装

作为项目依赖时用 uv add coder-eval 或 pip install coder-eval。两种 Agent 需要自行安装运行时：

brew install claude                     # Claude Code
npm install -g opencode-ai              # OpenCode

如何使用这个 Agent？

第一个完整流程（默认 claude-code Agent）：

uv run coder-eval plan tasks/hello_date.yaml   # 只校验、不消耗 token
uv run coder-eval run  tasks/hello_date.yaml   # 运行第一次评测
uv run coder-eval report runs/latest           # 查看结果

一个最小任务定义 tasks/hello_world.yaml：

task_id: "hello_world"
description: "Create a Python script that prints Hello, World!"
initial_prompt: "Create hello.py that prints 'Hello, World!'"

agent:
  type: "claude-code"
  permission_mode: "acceptEdits"
  allowed_tools: ["Read", "Write", "Bash"]

sandbox:
  driver: "tempdir"
  python: {}

success_criteria:
  - type: "file_exists"
    path: "hello.py"
    description: "hello.py must be created"
  - type: "run_command"
    command: "python hello.py"
    timeout: 10
    description: "Script must execute successfully"

在 Claude Code 内安装插件前端（六个斜杠命令）：

/plugin marketplace add UiPath/coder_eval
/plugin install coder-eval@coder-eval

作为 GitHub Actions 门禁（默认 claude-code Agent 需要先准备 claude CLI）：

- uses: actions/setup-node@v4
  with: { node-version: '20' }
- run: npm install -g @anthropic-ai/claude-code

- uses: UiPath/coder_eval@v0
  id: eval
  with:
    args: |
      tests/tasks/**/*.yaml
      --model
      claude-sonnet-5
    env: |
      ANTHROPIC_API_KEY=${{ secrets.ANTHROPIC_API_KEY }}

- if: always()
  run: cat "${{ steps.eval.outputs.run-md-path }}" >> "$GITHUB_STEP_SUMMARY"
- uses: mikepenz/action-junit-report@v5
  if: always()
  with:
    report_paths: ${{ steps.eval.outputs.junit-path }}

不要在使用 pull_request_target 且把密钥暴露给不可信 fork PR 的场景下运行该 Action。使用遥测时如需关闭，在 .env 或环境中设置 TELEMETRY_ENABLED=false。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题