SWE-Bench Pro
评测模型与编码智能体解决长周期软件工程任务的能力。
- Star 数
- ★ 569
- 最近更新
- 1 个月前
- License
- MIT
- 主语言
- Python
- FA 评分
- 48/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台
- 费用
- 免费,无需付费服务
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 模型研发团队需要比较不同模型或编码 harness 在长周期仓库级任务上的补丁解决率。
- 不适合
- 需要开箱即用编码助手的开发者
- 无法运行容器化评测的团队
- 只想评测短小、孤立代码题的用户
- 维护状态
- 近半年有提交最近提交 2026-09-22最新版本 v2.0.0(2026-09-22)近 7 天每天 +1.4 ★
- 源码审查
- 48/100 · 缺口较多
这个 Agent 能做什么,适合哪些场景?
SWE-Bench Pro 是面向长周期软件工程任务的基准、数据集与评测工具集,而不是直接面向开发者的编码助手。每个任务向模型提供代码库和 issue,并要求其生成解决问题的补丁。V2 提供跨 11 个仓库的 642 个已验证任务、HARD-51 子集,以及采用 Harbor 格式的任务目录、验证器、参考解法和公开容器镜像。仓库还保留原有的 v1 流程,包括 swe_bench_pro_eval.py、运行脚本、Dockerfile 和 Docker Hub 镜像。用户可通过 Hugging Face 加载数据,使用自选 harness 或仓库中的 SWE-agent 子模块生成 .pred 文件,再汇总成 JSON 并执行容器化评测。
它从 Hugging Face 的 ScaleAI/SWE-bench_Pro 数据集中读取任务,让所选模型或 harness 针对代码库与 issue 生成补丁。SWE-agent 子模块提供补丁生成脚手架,也可使用其他 harness;生成结果保存为每个实例的 .pred 文件。helper_code/gather_patches.py 将这些文件汇总为包含 instance_id、patch 和 prefix 的 JSON 数组。v1 的 swe_bench_pro_eval.py 使用任务样本、补丁 JSON、run_scripts 和容器镜像执行并行评测;V2 则把任务封装为 v2/tasks/ 下的 Harbor 目录,并随附验证器、参考解法及 GHCR 镜像。V2 还提供 HARD-51 和锁定协议工具,用于离线智能体阶段与全新沙箱中的重新评分。
- 模型研发团队需要比较不同模型或编码 harness 在长周期仓库级任务上的补丁解决率。
- 智能体开发者希望使用公开、可复现的容器环境验证补丁,而不是只做文本质量判断。
- 研究人员需要分析完整 V2、HARD-51 或原始 v1 数据集上的性能差异。
- 排行榜参赛团队需要复现 SWE-agent 或 mini-swe-agent 的实验流程并整理提交结果。
- 评测基础设施工程师需要研究离线智能体执行和全新沙箱复评的锁定协议。
安装与配置要点
摘自下方的安装和使用说明,以项目 README 的最新说明为准。
- 安装 / 启动命令
pip install -r requirements.txt
- 配置文件
~/.modal.tomlsample1_patches.json- 安装说明涉及
- Docker
如何安装或部署这个 Agent?
先安装仓库声明的 Python 依赖:
pip install -r requirements.txt安装 Docker,以便运行可复现的容器化评测。v1 流程推荐配置 Modal:
modal setup # Follow the prompts to generate your token随后确认 ~/.modal.toml 包含:
token_id = <token id>
token_secret = <token secret>
active = true如果使用 v1 的本地 Docker Beta 路径,则不需要额外的 Modal 配置,运行评测时加入 --use_local_docker。V2 评测使用 Harbor;README 展示了 harbor run 调用,但没有给出 Harbor 的安装命令。
如何使用这个 Agent?
加载默认的 V2 测试集、HARD-51 或原始 v1 数据集:
from datasets import load_dataset
v2 = load_dataset('ScaleAI/SWE-bench_Pro', split='test') # V2, 642 tasks (default config)
hard = load_dataset('ScaleAI/SWE-bench_Pro', 'hard', split='test') # HARD-51
v1 = load_dataset('ScaleAI/SWE-bench_Pro', 'v1', split='test') # original 731 tasks使用自选 harness 生成 .pred 补丁文件;如采用 SWE-agent,应先按 SWE-agent git 子模块中的说明配置并运行脚手架。然后汇总预测:
python helper_code/gather_patches.py \
--directory swe_bench_pro_results/sample1 \
--prefix sample1 \
--output sample1_patches.json使用 v1 评测器执行评测:
python swe_bench_pro_eval.py \
--raw_sample_path=swe_bench_pro_full.csv \
--patch_path=<your_patches>.json \
--output_dir=<output_directory> \
--scripts_dir=run_scripts \
--num_workers=100 \
--dockerhub_username=jefzdaV2 可通过 Harbor 执行任务;以下命令用参考补丁运行 50 个并发任务:
harbor run -p v2/tasks -e modal -n 50 -a oracle这个 Agent 有哪些优点和局限?
- V2 包含 642 个经过验证、覆盖 11 个仓库的任务,并提供更具挑战性的 HARD-51 子集。
- 每个 V2 任务都附带验证器、参考解法和无需登录即可拉取的公开 GHCR 容器镜像。
- 锁定协议将离线智能体阶段与全新沙箱复评分开,有助于保持评测边界一致。
- 既支持自选补丁生成 harness,也提供 SWE-agent 和 mini-swe-agent 相关流程。
- v1 与 V2 都被保留,便于复现旧结果并迁移到新格式。
- 它是基准与评测基础设施,不会直接充当日常编码助手或自动修复产品。
- 完整流程涉及 Python 依赖、Docker、数据下载、补丁汇总和评测命令,配置成本高于单命令工具。
- v1 推荐使用 Modal;本地 Docker 路径被明确标为 Beta。
- v1 与 V2 使用不同的任务格式、镜像来源和评测流程,迁移时需要区分两套管线。
- README 提到排行榜存在已识别的问题并正在处理,采用排行榜数据时需要留意其状态。
这个 Agent 与同类方案有什么区别?
相较于其灵感来源 SWE-Bench,SWE-Bench Pro 明确聚焦更具挑战性的长周期软件工程任务。仓库同时展示 SWE-agent 与 mini-swe-agent 作为补丁生成脚手架;README 称 mini-swe-agent 在 Sonnet 4.5 上的结果与 SWE-agent 可比,但未提供更广泛的直接比较。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| SWE-Bench Pro 当前 | 48 · 缺口较多 | 命令行工具免费 | ★ 569 | 1 个月前 | Python | — |
| SWE-bench 软件修复基准 | 48 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 6.2k | 2 个月前 | Python | — |
| Multi-SWE-bench | 48 · 缺口较多 | 命令行工具免费 | ★ 364 | 11 个月前 | Python | — |
| OSWorld 2.1 计算机使用智能体评测台 | 70 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 428 | 7 天前 | Python | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent?
查看各维度的扣分理由
README 说明评测流程、数据集和 Docker/Modal 选项,run_script.sh 与 test.sh 展示测试执行和日志产出,因而数据流有一定可见性。权限、外部影响和回滚控制较弱:测试脚本会启动 Redis、安装 npm 依赖、修改配置并清理或恢复测试文件;README 提及 Modal 凭据及其存放位置,但样本未显示凭据保护、执行前确认或失败后的通用恢复机制。来源链接和数据集/论文归属有说明,但发布者身份未知,维护责任也不明确。
README 同时说明 V2 默认配置、V1 旧流程和结果复现步骤,但样本未包含足够的主评测实现来验证端到端一致性。依赖仅列出最低版本或开放式版本范围,未见锁定文件;脚本含超时和错误输出,但 run_script.sh 在测试命令失败时可能输出空测试结果,错误诊断因此有限。未因缺少运行证据扣分,因为该项不要求执行评测。
README 将适用任务描述为给定代码库和 issue 生成补丁,并提供 SWE-agent、其他 harness、vLLM、Modal 和本地 Docker 的使用路径,受众和场景较明确。它将自身定位为基准与评测工具而非通用编码代理,边界较清楚;但 v1 被标为 legacy,部分本地 Docker 路径为 Beta,环境适配能力因此只获部分分数。
README 按概览、安装、镜像、使用和复现组织,并提供命令示例、参数说明及 V1/V2 区分;MIT 许可证文本完整。版本说明列出 V2 发布、V1 配置和若干更新,但样本未明确维护负责人、支持期限或依赖策略;对 Beta、本地运行和排行榜问题有所披露,限制说明仍不完整。
仓库提供任务数据、容器环境、补丁收集和评测说明,可支持比较软件工程代理并复现基准流程。输出格式示例清晰,但样本中的 parser.py 只处理 stdout 中匹配的 JSON 对象,stderr 参数未参与解析,测试失败时运行脚本还可能写出空结果;这些实现细节降低输出可靠性。Modal、Docker 和大量任务评测带来明显设置与资源成本,样本没有量化成本或提供精简方案。
README 将主要主张关联到论文、数据集、公开榜单及 V2 文档,并给出任务数和配置示例,部分主张可追溯。代码样本展示解析器与运行脚本,但没有独立证据佐证 642/642 或复现 Sonnet 4.5 的声明;README 的结果性陈述与代码可审查事实也未明确区分,因此交叉佐证和事实/推断分离只获低分。
- 这是基准与评测仓库,不是可直接作为通用代理使用的产品;复现流程依赖 Docker/Modal、外部数据和模型 harness。
- 测试脚本会修改工作区并执行环境准备操作;应只在专用容器或沙箱中按文档流程运行。
- 样本中的解析器和运行脚本在失败路径上可能产生不完整或空的测试结果;本次为静态审查,未执行验证。
最近版本
来自该项目 GitHub Releases 的最新发布记录,说明为上游原文摘录,未经本站改写或测试。
-
v2.0.0 SWE-bench Pro V2 (v2.0.0)
发布说明摘录
SWE-bench Pro V2 (v2.0.0) The validated public split of SWE-bench Pro: 642 tasks across 11 repositories, shipped as Harbor task directories under v2/tasks/ with verifier, reference solution and public container image, plus the HARD-51 subset (v2/hard51_ids.txt) and the locked-protocol tooling (v2/tooling/). See v2/README.md for the run recipe. Highlights - 731 -> 642 tasks: 89 dropped after review; 529 instructions rewritten and validated blind by a second engineer; 214 test patches and 38 gold patches revised; test lists regenerated against repaired parsers. …在 GitHub 查看 ↗
常见问题
它是可以直接处理代码库的编码智能体吗?
V2 与 v1 有什么区别?
swe_bench_pro_eval.py、运行脚本及 Docker Hub 镜像。运行评测必须使用 Modal 吗?
--use_local_docker 的本地 Docker Beta 路径。V2 示例则通过 Harbor 的 Modal 环境运行。容器镜像需要登录才能下载吗?
docker pull 无需登录。v1 使用 jefzda/sweap-images Docker Hub 仓库中的预构建镜像。能否使用自己的模型或运行框架?
vllm。具体适配工作取决于所选 harness。SWE-Bench Pro 免费吗?
SWE-Bench Pro 开源吗?
SWE-Bench Pro 安全吗?
SWE-Bench Pro 还在维护吗?
SWE-Bench Pro 是谁开发的?
谢谢反馈,我们会据此改进页面。