PinchBench 智能体基准测试

用 53 个真实任务衡量大模型作为 OpenClaw 编码智能体的实际表现。

Star 数
★ 1.4k
最近更新
6 个月前
License
MIT
主语言
Python

30 秒速览

运行形态
命令行工具
可在哪里用
兼容但需适配OpenAI API · Claude API
费用
软件免费,模型调用费用自付
上手难度
中 · 需要几步配置
开始前需要
Python 3.10+uv运行中的 OpenClaw 实例OpenRouter API 密钥(可选,默认服务商)KILO_API_KEY / ANTHROPIC_API_KEY / OPENAI_API_KEY(取决于 judge)Shell / 命令行网络访问本地文件系统
典型场景
想评估某个模型在真实编码智能体场景下工具调用与多步推理能力的研究者或工程团队
不适合
  • 不想部署并运行 OpenClaw 实例的用户
  • 只想看排行榜结果、不打算自己跑任务的读者
官网
pinchbench.com ↗ 来自 GitHub 仓库设置
维护状态
超过半年没有提交最近提交 2026-05-22最新版本 v2.0.0(2026-05-06)

这个 Agent 能做什么,适合哪些场景?

PinchBench 是一套面向 AI 编码智能体的真实任务基准测试系统,衡量的是模型作为 OpenClaw 智能体“大脑”时的表现,而不是孤立的合成能力测试。仓库本身包含基准技能与任务集合,官方排行榜位于 pinchbench.com,二者是分开的。任务划分为 Productivity、Research、Writing、Coding、Analysis、Email、Memory、Skills 八大类,共 53 个,每个任务通过自动判定、LLM judge 或两者结合评分。运行由 ./scripts/run.sh 驱动,需要 Python 3.10+、uv 包管理器以及一个运行中的 OpenClaw 实例。结果既可以只保存在本地 results/ 目录,也可以注册 API token 后自动上传到排行榜;标记为 official 的提交需要额外的 official key。任务会话记录会以 JSONL 形式保存在 results/{run_id}_transcripts/ 中,便于事后分析。

PinchBench 读取 tasks/ 下的任务定义,按类别(日历安排、股票查询、会议检索、博客写作、天气脚本、电子表格与 PDF 分析、邮件分诊、记忆检索、ClawHub 技能发现等)组织测试用例。执行入口是 ./scripts/run.sh:它接受 --model、--judge、--suite、--runs、--timeout-multiplier、--thinking、--output-dir、--no-upload、--register、--upload、--official-key 等参数,把模型接入 OpenClaw 智能体会话中,让它调用工具、多步推理并真正产出文件、邮件或日程。每个任务结束后由自动判定、由 judge 模型评定,或两者并行;未指定 --judge 时 judge 以 OpenClaw 智能体会话方式运行,指定后则直连模型 API(OpenRouter、Kilo Gateway、Anthropic、OpenAI 或本地 claude CLI),绕过 OpenClaw 的人格注入。结果写入 results/ JSON,并在提供 token 时上传至 pinchbench.com 排行榜;会话转录同步落盘为 JSONL。

  1. 想评估某个模型在真实编码智能体场景下工具调用与多步推理能力的研究者或工程团队
  2. 需要为自家模型在公开排行榜上提交成绩、并区分普通提交与 official 提交的厂商
  3. 准备为 OpenClaw 智能体挑选主力模型、希望用真实任务而非合成题做对比的开发者
  4. 想通过 ./scripts/run.sh --suite 只跑日历、股票等特定任务做局部回归验证的团队
  5. 希望参考 tasks/TASK_TEMPLATE.md 提交新任务、扩展基准覆盖面的贡献者
  6. 需要通过 results/{run_id}_transcripts/ 的 JSONL 转录复盘智能体每一步行为与失败原因的调试者

安装与配置要点

摘自下方的安装和使用说明,以项目 README 的最新说明为准。

环境变量
OPENROUTER_API_KEY KILO_API_KEY ANTHROPIC_API_KEY OPENAI_API_KEY PINCHBENCH_OFFICIAL_KEY
运行环境
Python 3.10+

如何安装或部署这个 Agent?

前置条件:Python 3.10+、uv 包管理器,以及一个正在运行的 OpenClaw 实例。克隆仓库后即可使用脚本,仓库未提供额外的 pip/uv 安装步骤。

git clone https://github.com/pinchbench/skill.git
cd skill

使用 OpenRouter 作为默认路由时需要配置 API 密钥;指定 --judge 直连某个厂商时,需按 judge 模型前缀准备对应环境变量(OPENROUTER_API_KEY、KILO_API_KEY、ANTHROPIC_API_KEY 或 OPENAI_API_KEY)。

如何使用这个 Agent?

用指定模型跑完整套件,模型 ID 必须带服务商前缀:

./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4

只跑特定任务,或为慢模型放大超时、多次运行取平均:

./scripts/run.sh --model openrouter/openai/gpt-4o --suite task_calendar,task_stock
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --runs 3 --timeout-multiplier 2

注册上传 token,让结果自动进入排行榜;只想本地留档时加 --no-upload:

./scripts/run.sh --register
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4
./scripts/run.sh --model openrouter/anthropic/claude-sonnet-4 --no-upload

提交 official 成绩,或改用直连 API 的 judge:

export PINCHBENCH_OFFICIAL_KEY=your_official_key
./scripts/run.sh --model anthropic/claude-sonnet-4
./scripts/run.sh --model openai/gpt-4o --judge openrouter/anthropic/claude-sonnet-4-5
./scripts/run.sh --model openai/gpt-4o --judge claude

这个 Agent 有哪些优点和局限?

优点
  • 以真实任务而非合成题评测:日历、邮件分诊、文件管理、PDF 与电子表格分析等 53 个任务覆盖八大类别
  • 评分方式灵活:自动判定、LLM judge 或两者结合,未指定 --judge 时默认走 OpenClaw 会话,也可直连 OpenRouter、Kilo、Anthropic、OpenAI 或本地 claude CLI
  • 模型可插拔,模型 ID 带服务商前缀即可切换,默认经 OpenRouter 路由
  • 结果可本地留存或上传至 pinchbench.com 公开排行榜,并区分普通提交与 official 提交
  • 每次运行自动保存 JSONL 会话转录,便于逐任务复盘智能体行为
  • 有 TASK_TEMPLATE.md 与明确任务质量标准,便于社区贡献新任务
局限
  • 强依赖运行中的 OpenClaw 实例,没有该运行时无法执行评测
  • 需要第三方模型 API 密钥并按其计费产生费用,不是零成本本地工具
  • 仓库本身不是官方排行榜结果来源,官方结果需修改 pinchbench/scripts/default-models.yml
  • judge 行为取决于所选模型与厂商,不同 judge 之间可比性需要自行控制
  • 文档未给出独立安装包或容器镜像,环境准备依赖手工克隆与自备 Python/uv/OpenClaw
  • 仓库未列出 Topics,也没有额外的仓库指导文件,元信息较少

这个 Agent 与同类方案有什么区别?

README 明确把自己与“测试孤立能力的多数 LLM 基准”对立起来,但未点名任何具体竞品,因此不做具名对比。

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
PinchBench 智能体基准测试 当前 50 · 缺口较多 命令行工具免费 + 模型费 ★ 1.4k 6 个月前 Python OpenAI API · Claude API
Up.computer 编码工作台 65 · 存在缺口 桌面应用免费 + 模型费 ★ 252 1 天前 TypeScript Codex · Claude Code
Nightshift 编码班次 62 · 存在缺口 Agent 插件 / 技能免费 + 模型费 ★ 551 1 天前 Shell Codex · Claude Code
Multica — 多智能体任务协作平台 61 · 存在缺口 网页应用免费版 + 付费版 ★ 57k 今天 Go ChatGPT · Codex · Claude Code

FollowAgents 如何评估这个 Agent?

FollowAgents 源码审查 · FARS-2.1
缺口较多
50/ 100 五分制 2.5 / 5
信任安全 12/29
可靠稳定 5/14
适用触发 12/18
规范维护 10/18
有效结果 7/13
证据核验 4/8
查看各维度的扣分理由
信任安全12 / 29 · 2.1/5

README 和 SKILL 明示可运行基准、保存完整会话转录,并可向公开排行榜上传结果;提供 --no-upload 和官方密钥选项,因此数据流有一定说明,但默认上传、转录敏感内容处理和执行具体权限均未充分说明,最小权限、确认、敏感数据、外部影响及回滚仅部分覆盖。pyproject 列出依赖,但未提供安全审查证据。仓库与作者信息可追溯,但发布者身份仍未知。

可靠稳定5 / 14 · 1.8/5

README 与 SKILL 的任务数量分别为 53 和 23,命令入口也分别指向 scripts/run.sh 和 benchmark.py,显示文档内部存在版本或范围不一致,故自洽性偏低。Python、uv 和 OpenClaw 前置条件清楚;样本有 lint 工作流,但未见面向用户的故障排查或错误说明。

适用触发12 / 18 · 3.3/5

README 说明基准面向 OpenClaw 编码代理,并列举多类真实任务;SKILL 提供任务选择、运行数、超时和推理深度等选项。触发描述相对明确,但目标环境要求 OpenClaw 和 Python/uv,适用边界及不支持场景说明有限。

规范维护10 / 18 · 2.8/5

README、SKILL、命令表和任务模板提供了较清晰的信息入口、安装前置条件及可复制示例;MIT 许可证完整。README 与 SKILL 的任务清单和运行入口不一致,版本标注为 2.0.0-rc1,而样本未见变更日志或明确维护责任,因此命名稳定性、限制说明、版本历史和维护责任只获部分分。

有效结果7 / 13 · 2.7/5

该项目将多步工具使用和现实任务组织为可运行基准,并提供 JSON 结果、逐任务评分及排行榜提交,输出具有一定可操作性且相较孤立能力测试有明确增量价值。运行成本、API 费用及上传前的隐私影响没有量化或充分讨论,故成本收益只部分覆盖。

证据核验4 / 8 · 2.5/5

README 对任务类别、评分方式和上传选项作出可定位的说明,SKILL 也给出结果查询示例;但两份产品文档在任务数与入口上不一致,样本未提供可交叉核对的基准实现、评分器或结果来源。此静态审查只复述文件明示内容,并将未说明事项作为扣分理由。

风险与缓解建议
  • README 与 SKILL 对任务数量和运行入口的说明不一致;使用前应以仓库中的实际脚本和任务文件核实。
  • 运行会保存完整会话转录,并可能上传结果;转录内容可能包含敏感信息,提交前请检查配置和数据。
证据充分度:低 评估于 2026年11月8日 审查版本 819384ae8304
查看完整评分方法 →
你是这个项目的维护者?把 FARS 徽章加到 README

徽章显示当前的评审分数和结论,点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/skill.svg?lang=zh)](https://followagents.com/zh/agents/skill)
<a href="https://followagents.com/zh/agents/skill"><img src="https://followagents.com/badge/skill.svg?lang=zh" alt="FARS 评测"></a>

最近版本

来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。

  1. v2.0.0
    发布说明摘录
    PinchBench 2.0.0 🦀 A major release with significant expansion of the benchmark suite and infrastructure improvements. Highlights - 148 tasks (up from ~25 in v1.x) — nearly 6x more comprehensive benchmark coverage - Parallel judge execution — overlaps grading with task execution for faster benchmarks - Haiku judge by default — faster grading without sacrificing accuracy - Thinking-level support — benchmark models at different reasoning intensities - Axiom observability — detailed logging for benchmark runs …
    在 GitHub 查看 ↗
  2. v2.0.0-rc11
    发布说明摘录
    Fix The model was responding correctly all along! gpt-oss-120b said 'Hello, I'm ready!' — we just weren't looking in the right place. The grader was checking for type='message' entries but OpenClaw trajectory format uses type='model.completed' with data.assistantTexts. Changes in this release: - Grader now checks type='model.completed' and data.assistantTexts - rc4-rc10 fixed the bootstrap preamble issue (BOOTSTRAP.md now correctly missing) - rc11 fixes the grader to actually find the response Full fix chain: …
    在 GitHub 查看 ↗
  3. v2.0.0-rc10
    发布说明摘录
    Fix rc9 tried to delete workspace-state.json, but that doesn't work because shutil.rmtree already clears the workspace. By the time our delete code runs, workspace-state.json doesn't exist yet — it gets created when openclaw agent is invoked. The actual fix: CREATE a workspace-state.json with bootstrapSeededAt set BEFORE OpenClaw runs. This tells OpenClaw that bootstrap has already been seeded, so it won't create BOOTSTRAP.md. Verified: when workspace-state.json with bootstrapSeededAt exists, openclaw agents add does NOT create BOOTSTRAP.md.
    在 GitHub 查看 ↗

常见问题

运行 PinchBench 要花多少钱?
仓库本身以 MIT 许可免费,但评测需要调用第三方模型,费用由所选模型的 API 按用量计费;judge 若使用独立模型还会产生额外调用成本。
必须自己跑才有结果吗?
可以直接查看 pinchbench.com 上的公开排行榜。本地运行适合验证自有模型或特定任务表现;README 也说明本仓库不是官方排行榜结果的来源。
普通提交和 official 提交有什么区别?
使用 --register 获取 token 后结果会自动上传,属于普通提交;带上 PINCHBENCH_OFFICIAL_KEY 环境变量或 --official-key 参数才会被标记为 official 成绩。
能不能不把结果上传?
可以,加上 --no-upload 参数即可只保留本地结果,脚本仍会把 JSON 与 results/{run_id}_transcripts/ 下的 JSONL 会话转录写入磁盘。
怎么新增任务?
按 tasks/TASK_TEMPLATE.md 的格式编写任务,要求真实、可度量、可复现且具有挑战性,然后通过 GitHub Issues 或 PR 提交给项目。
PinchBench 智能体基准测试 官网是什么?
PinchBench 智能体基准测试 的 GitHub 仓库填写的官网是 https://pinchbench.com。这个链接由仓库作者设置;源码在 GitHub(pinchbench/skill)。
PinchBench 智能体基准测试 开源吗?
开源。源码在 GitHub(pinchbench/skill),许可证是 MIT。
PinchBench 智能体基准测试 安全吗?
FollowAgents 的 FARS 评审(2026年11月8日)给 PinchBench 智能体基准测试 的“信任与安全”打了 12/29 分。评审检查的 8 项安全措施没有完全缺失的。
PinchBench 智能体基准测试 还在维护吗?
GitHub 仓库自 2026-05-22 以来没有新提交,已超过半年。可能是项目已经完成,也可能已经停更,用之前建议先看看 issue 区。最新版本是 v2.0.0(2026-05-06)。
PinchBench 智能体基准测试 是谁开发的?
PinchBench 智能体基准测试 由 GitHub 账号 pinchbench 发布。FollowAgents 没有核实这个账号背后是哪个人或公司。
这页内容对你有帮助吗?
在 GitHub 查看 ↗ 安装 ↓

所属宿主生态

对比同类 Agent

用同一套 FARS 评审,横向比较这个 Agent 所属的短名单。

相关核心概念