PinchBench 智能体基准测试
用 53 个真实任务衡量大模型作为 OpenClaw 编码智能体的实际表现。
- Star 数
- ★ 1.4k
- 最近更新
- 6 个月前
- License
- MIT
- 主语言
- Python
- FA 评分
- 50/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配OpenAI API · Claude API
- 费用
- 软件免费,模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 想评估某个模型在真实编码智能体场景下工具调用与多步推理能力的研究者或工程团队
- 不适合
- 不想部署并运行 OpenClaw 实例的用户
- 只想看排行榜结果、不打算自己跑任务的读者
- 官网
- pinchbench.com ↗ 来自 GitHub 仓库设置
- 维护状态
- 超过半年没有提交最近提交 2026-05-22最新版本 v2.0.0(2026-05-06)
- 源码审查
- 50/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
PinchBench 是一套面向 AI 编码智能体的真实任务基准测试系统,衡量的是模型作为 OpenClaw 智能体“大脑”时的表现,而不是孤立的合成能力测试。仓库本身包含基准技能与任务集合,官方排行榜位于 pinchbench.com,二者是分开的。任务划分为 Productivity、Research、Writing、Coding、Analysis、Email、Memory、Skills 八大类,共 53 个,每个任务通过自动判定、LLM judge 或两者结合评分。运行由 ./scripts/run.sh 驱动,需要 Python 3.10+、uv 包管理器以及一个运行中的 OpenClaw 实例。结果既可以只保存在本地 results/ 目录,也可以注册 API token 后自动上传到排行榜;标记为 official 的提交需要额外的 official key。任务会话记录会以 JSONL 形式保存在 results/{run_id}_transcripts/ 中,便于事后分析。
PinchBench 读取 tasks/ 下的任务定义,按类别(日历安排、股票查询、会议检索、博客写作、天气脚本、电子表格与 PDF 分析、邮件分诊、记忆检索、ClawHub 技能发现等)组织测试用例。执行入口是 ./scripts/run.sh:它接受 --model、--judge、--suite、--runs、--timeout-multiplier、--thinking、--output-dir、--no-upload、--register、--upload、--official-key 等参数,把模型接入 OpenClaw 智能体会话中,让它调用工具、多步推理并真正产出文件、邮件或日程。每个任务结束后由自动判定、由 judge 模型评定,或两者并行;未指定 --judge 时 judge 以 OpenClaw 智能体会话方式运行,指定后则直连模型 API(OpenRouter、Kilo Gateway、Anthropic、OpenAI 或本地 claude CLI),绕过 OpenClaw 的人格注入。结果写入 results/ JSON,并在提供 token 时上传至 pinchbench.com 排行榜;会话转录同步落盘为 JSONL。
- 想评估某个模型在真实编码智能体场景下工具调用与多步推理能力的研究者或工程团队
- 需要为自家模型在公开排行榜上提交成绩、并区分普通提交与 official 提交的厂商
- 准备为 OpenClaw 智能体挑选主力模型、希望用真实任务而非合成题做对比的开发者
- 想通过 ./scripts/run.sh --suite 只跑日历、股票等特定任务做局部回归验证的团队
- 希望参考 tasks/TASK_TEMPLATE.md 提交新任务、扩展基准覆盖面的贡献者
- 需要通过 results/{run_id}_transcripts/ 的 JSONL 转录复盘智能体每一步行为与失败原因的调试者
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 环境变量
OPENROUTER_API_KEYKILO_API_KEYANTHROPIC_API_KEYOPENAI_API_KEYPINCHBENCH_OFFICIAL_KEY- 运行环境
- Python 3.10+
如何安装或部署这个 Agent?
前置条件:Python 3.10+、uv 包管理器,以及一个正在运行的 OpenClaw 实例。克隆仓库后即可使用脚本,仓库未提供额外的 pip/uv 安装步骤。
git clone https://github.com/pinchbench/skill.git
cd skill使用 OpenRouter 作为默认路由时需要配置 API 密钥;指定 --judge 直连某个厂商时,需按 judge 模型前缀准备对应环境变量(OPENROUTER_API_KEY、KILO_API_KEY、ANTHROPIC_API_KEY 或 OPENAI_API_KEY)。
如何使用这个 Agent?
用指定模型跑完整套件,模型 ID 必须带服务商前缀:
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4只跑特定任务,或为慢模型放大超时、多次运行取平均:
./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_calendar,task_stock
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --runs 3 --timeout-multiplier 2注册上传 token,让结果自动进入排行榜;只想本地留档时加 --no-upload:
./scripts/run.sh --register
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --no-upload提交 official 成绩,或改用直连 API 的 judge:
export PINCHBENCH_OFFICIAL_KEY=your_official_key
./scripts/run.sh --model anthropic/claude-sonnet-4
./scripts/run.sh --model openai/gpt-4o --judge openrouter/anthropic/claude-sonnet-4-5
./scripts/run.sh --model openai/gpt-4o --judge claude这个 Agent 有哪些优点和局限?
- 以真实任务而非合成题评测:日历、邮件分诊、文件管理、PDF 与电子表格分析等 53 个任务覆盖八大类别
- 评分方式灵活:自动判定、LLM judge 或两者结合,未指定 --judge 时默认走 OpenClaw 会话,也可直连 OpenRouter、Kilo、Anthropic、OpenAI 或本地 claude CLI
- 模型可插拔,模型 ID 带服务商前缀即可切换,默认经 OpenRouter 路由
- 结果可本地留存或上传至 pinchbench.com 公开排行榜,并区分普通提交与 official 提交
- 每次运行自动保存 JSONL 会话转录,便于逐任务复盘智能体行为
- 有 TASK_TEMPLATE.md 与明确任务质量标准,便于社区贡献新任务
- 强依赖运行中的 OpenClaw 实例,没有该运行时无法执行评测
- 需要第三方模型 API 密钥并按其计费产生费用,不是零成本本地工具
- 仓库本身不是官方排行榜结果来源,官方结果需修改 pinchbench/scripts/default-models.yml
- judge 行为取决于所选模型与厂商,不同 judge 之间可比性需要自行控制
- 文档未给出独立安装包或容器镜像,环境准备依赖手工克隆与自备 Python/uv/OpenClaw
- 仓库未列出 Topics,也没有额外的仓库指导文件,元信息较少
这个 Agent 与同类方案有什么区别?
README 明确把自己与“测试孤立能力的多数 LLM 基准”对立起来,但未点名任何具体竞品,因此不做具名对比。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| PinchBench 智能体基准测试 当前 | 50 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 1.4k | 6 个月前 | Python | OpenAI API · Claude API |
| Up.computer 编码工作台 | 65 · 存在缺口 | 桌面应用免费 + 模型费 | ★ 252 | 1 天前 | TypeScript | Codex · Claude Code |
| Nightshift 编码班次 | 62 · 存在缺口 | Agent 插件 / 技能免费 + 模型费 | ★ 551 | 1 天前 | Shell | Codex · Claude Code |
| Multica — 多智能体任务协作平台 | 61 · 存在缺口 | 网页应用免费版 + 付费版 | ★ 57k | 今天 | Go | ChatGPT · Codex · Claude Code |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README 和 SKILL 明示可运行基准、保存完整会话转录,并可向公开排行榜上传结果;提供 --no-upload 和官方密钥选项,因此数据流有一定说明,但默认上传、转录敏感内容处理和执行具体权限均未充分说明,最小权限、确认、敏感数据、外部影响及回滚仅部分覆盖。pyproject 列出依赖,但未提供安全审查证据。仓库与作者信息可追溯,但发布者身份仍未知。
README 与 SKILL 的任务数量分别为 53 和 23,命令入口也分别指向 scripts/run.sh 和 benchmark.py,显示文档内部存在版本或范围不一致,故自洽性偏低。Python、uv 和 OpenClaw 前置条件清楚;样本有 lint 工作流,但未见面向用户的故障排查或错误说明。
README 说明基准面向 OpenClaw 编码代理,并列举多类真实任务;SKILL 提供任务选择、运行数、超时和推理深度等选项。触发描述相对明确,但目标环境要求 OpenClaw 和 Python/uv,适用边界及不支持场景说明有限。
README、SKILL、命令表和任务模板提供了较清晰的信息入口、安装前置条件及可复制示例;MIT 许可证完整。README 与 SKILL 的任务清单和运行入口不一致,版本标注为 2.0.0-rc1,而样本未见变更日志或明确维护责任,因此命名稳定性、限制说明、版本历史和维护责任只获部分分。
该项目将多步工具使用和现实任务组织为可运行基准,并提供 JSON 结果、逐任务评分及排行榜提交,输出具有一定可操作性且相较孤立能力测试有明确增量价值。运行成本、API 费用及上传前的隐私影响没有量化或充分讨论,故成本收益只部分覆盖。
README 对任务类别、评分方式和上传选项作出可定位的说明,SKILL 也给出结果查询示例;但两份产品文档在任务数与入口上不一致,样本未提供可交叉核对的基准实现、评分器或结果来源。此静态审查只复述文件明示内容,并将未说明事项作为扣分理由。
- README 与 SKILL 对任务数量和运行入口的说明不一致;使用前应以仓库中的实际脚本和任务文件核实。
- 运行会保存完整会话转录,并可能上传结果;转录内容可能包含敏感信息,提交前请检查配置和数据。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
发布说明摘录
PinchBench 2.0.0 🦀 A major release with significant expansion of the benchmark suite and infrastructure improvements. Highlights - 148 tasks (up from ~25 in v1.x) — nearly 6x more comprehensive benchmark coverage - Parallel judge execution — overlaps grading with task execution for faster benchmarks - Haiku judge by default — faster grading without sacrificing accuracy - Thinking-level support — benchmark models at different reasoning intensities - Axiom observability — detailed logging for benchmark runs …在 GitHub 查看 ↗ -
发布说明摘录
Fix The model was responding correctly all along! gpt-oss-120b said 'Hello, I'm ready!' — we just weren't looking in the right place. The grader was checking for type='message' entries but OpenClaw trajectory format uses type='model.completed' with data.assistantTexts. Changes in this release: - Grader now checks type='model.completed' and data.assistantTexts - rc4-rc10 fixed the bootstrap preamble issue (BOOTSTRAP.md now correctly missing) - rc11 fixes the grader to actually find the response Full fix chain: …在 GitHub 查看 ↗ -
发布说明摘录
Fix rc9 tried to delete workspace-state.json, but that doesn't work because shutil.rmtree already clears the workspace. By the time our delete code runs, workspace-state.json doesn't exist yet — it gets created when openclaw agent is invoked. The actual fix: CREATE a workspace-state.json with bootstrapSeededAt set BEFORE OpenClaw runs. This tells OpenClaw that bootstrap has already been seeded, so it won't create BOOTSTRAP.md. Verified: when workspace-state.json with bootstrapSeededAt exists, openclaw agents add does NOT create BOOTSTRAP.md.在 GitHub 查看 ↗
常见问题
运行 PinchBench 要花多少钱?
必须自己跑才有结果吗?
普通提交和 official 提交有什么区别?
能不能不把结果上传?
怎么新增任务?
PinchBench 智能体基准测试 官网是什么?
PinchBench 智能体基准测试 开源吗?
PinchBench 智能体基准测试 安全吗?
PinchBench 智能体基准测试 还在维护吗?
PinchBench 智能体基准测试 是谁开发的?
谢谢反馈,我们会据此改进页面。