FollowAgents AI AGENTS 目录
首页 / 全部 Agents / SciPIvot 科研判断基准
数据与分析 scientific-researchresearch-benchmarkevaluation-datasetllm-agentsscientific-reasoning

SciPIvot 科研判断基准

用真实项目记录评估研究代理在关键决策点上的科研判断。

在 GitHub 查看 ↗ 快速上手 ↓
源仓库
AutoResearch-Factory/SciPIvot
Star 数
★ 14
最近更新
20 天前
License
CC-BY-4.0
主语言
Python
FA 评分
51/100 · 缺口较多

30 秒速览

运行形态
命令行工具
可在哪里用
兼容但需适配Codex · Claude Code（部分支持）
上手难度
高 · 需要较重的基础设施
开始前需要
Python 3.12+huggingface_hubzstandardbubblewrapClaude Code CLI 或 Codex CLIShell / 命令行网络访问本地文件系统
典型场景
研究代理团队希望用真实项目的历史记录检查模型能否识别研究计划中的关键错误。
不适合
  • 只需要通用科研资料检索或自动实验执行的团队
  • 无法使用 Hugging Face 数据集的评测团队
源码审查
51/100 · 缺口较多

这个 Agent 能做什么，适合哪些场景？

SciPIvot 是一个包含 248 个案例的基准，用于评估科学研究代理在研究关键节点上的判断能力。每个案例比较研究代理原先提出的计划与资深研究者修正后的方案，评测者依据修正前的项目记录判断哪一个更能推进科学问题。仓库提供问题集、230 份项目记录索引、评测提示词、结果，以及用于生成提示词和评分的 Python 脚本。项目条件需要从 Hugging Face 下载项目记录；README 提供用 Claude Code 或 Codex 在 bubblewrap 沙箱中运行案例的脚本。它适合评估研究代理或复现实验结果，不是用于执行完整科研流程的通用研究代理。

评测者可用 scripts/make_prompt.py 为案例生成 project 或 options-only 提示词，并选择选项顺序；project 条件还需提供对应的项目记录。评测者将提示词交给模型，要求返回含 argument 和 response 的 JSON，再用 scripts/score.py 按参考答案评分。也可通过 scripts/run_project.py 在沙箱中调用 Claude Code 或 Codex，运行两种选项顺序并保存逐次输出和 transcript。scripts/fetch_records.py 从 Hugging Face 下载、校验并解包记录。

  1. 研究代理团队希望用真实项目的历史记录检查模型能否识别研究计划中的关键错误。
  2. 基准研究者需要比较模型在 project 与 options-only 条件下的科研判断表现。
  3. 评测团队希望复现 README 所述的 Claude Code 或 Codex 中等推理强度运行，并对答案评分。
  4. 研究者需要分析模型对人类修正方案的偏好，或使用提供的结果表查看不同评测条件。

如何安装或部署这个 Agent？

仓库提供 Python 脚本，而非独立安装包。使用 project 条件时，需要 Python 3.12+、huggingface_hub、zstandard，并先在 Hugging Face 数据集页面接受访问条款；若用 run_project.py，还需要 Linux、bubblewrap，以及 PATH 中的 Claude Code 或 Codex CLI。

如何使用这个 Agent？

先创建环境并安装项目记录下载依赖：

python3 -m venv .venv && . .venv/bin/activate
pip install huggingface_hub zstandard
hf auth login

下载一个案例的记录并生成 project 条件提示词：

python scripts/fetch_records.py --id case_000 --out records
python scripts/make_prompt.py --id case_000 --condition project --order ab

将提示词交给模型后，把答案保存为 predictions.json，再评分：

python scripts/score.py predictions.json

若要由脚本运行 Claude Code，设置 API 密钥后执行：

export ANTHROPIC_API_KEY=...
python scripts/run_project.py --id case_000 --condition project --engine claude --model claude-opus-5 --effort medium --records records --out runs/opus.jsonl
python scripts/score.py runs/opus.jsonl

Codex 路径使用 OPENAI_API_KEY 和 --engine codex。

这个 Agent 有哪些优点和局限？

优点
  • 248 个案例来自六个月真实前沿研究中的人工纠正，覆盖 26 个博士级项目和六个科学领域。
  • 每个案例可提供修正前项目记录，且仓库说明包含记录校验和、精确评测提示词与评分脚本。
  • 支持 options-only 与 project 条件、五档推理强度以及两阶段复议评测；README 提供了汇总结果。
局限
  • 完整项目记录归档约 21 GB，全部解包约需 91 GB；访问 Hugging Face 数据集还需先接受条款。
  • 复现运行依赖 Linux、bubblewrap、Claude Code 或 Codex CLI，并需相应 API 密钥；模型 API 网络连接保持开启。
  • 基准衡量的是在二选一计划中识别人工修正方案的能力，不能据此推断代理能独立开展完整科研。

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

Agent 源码审查 形态 / 费用 Star 最近更新 主语言 完整支持的平台
SciPIvot 科研判断基准 当前 51 · 缺口较多 命令行工具 ★ 14 20 天前 Python —
XScientist 80 · 表现良好 命令行工具免费 + 模型费 ★ 127 7 天前 Python OpenAI API · Claude API
Sotopia 46 · 缺口较多 代码库 / SDK免费 + 模型费 ★ 342 10 个月前 Python OpenAI API
自主智能体研究论文库 24 · 缺口较多 代码库 / SDK免费 ★ 1.4k 4 个月前 — —

FollowAgents 如何评估这个 Agent？

FollowAgents 源码审查 · FARS-2.1
缺口较多
51/ 100 五分制 2.6 / 5
信任安全 17/29
可靠稳定 6/14
适用触发 9/18
规范维护 8/18
有效结果 7/13
证据核验 4/8
查看各维度的扣分理由
信任安全17 / 29 · 2.9/5

README 明确描述了沙箱设计：bubblewrap 隔离、只读挂载 /project、空 HOME、Claude Code 预批准 Read/Grep/Glob 并拒绝 Bash/Write/Edit/WebFetch 等，Codex 在沙箱内使用 danger-full-access 但受 bubblewrap 约束，网络因需访问 API 而保持开启——最小权限有实质证据但 Codex 的 full-access 与开放网络削弱了强度，故 least_privilege 记 2。用户确认方面，run_project.py 会消耗 API 密钥并运行模型，但未见交互式确认或成本提示，仅记 1。数据流透明：README 说明记录来自 Hugging Face、缓存位置、91GB 解包体积、--remove-after-verify 行为，较透明，记 2。敏感数据处理：发布前对问题集与提示做了匿名化与标识符替换（19 例），并保留原始摘要，记 2。依赖安全：仅列出 huggingface_hub、zstandard、bubblewrap 等，无版本锁定或哈希校验说明，记 1。外部效应：脚本仅下载、解包、评分，无破坏性默认，记 2。回滚：--remove-after-verify 保留已验证树、失败会话被丢弃重跑、可恢复运行，记 2。来源归属：README 提供 arXiv、HF 数据集、引用 BibTeX 与作者联系方式，记 2。

可靠稳定6 / 14 · 2.1/5

自洽性：README 中 248 案例、230 记录、12 条件、评分规则（双顺序平均、解析失败计错）描述一致，记 2。依赖可用性：未提供 requirements/lock 文件，仅 README 内 pip 命令，Python 3.12+ 与 bubblewrap 要求明确但无版本约束，记 1。失败信息：仅提及 Codex 日志中无害的 'failed to install system skills' 行与 score.py 拒绝混合文件，未见系统性错误处理说明，记 1。

适用触发9 / 18 · 2.5/5

受众与场景：面向基准评测研究者，提供 project 与 options-only 两种条件及多引擎运行，记 2。能力边界：明确说明记录不含 .git、外部链接未挂载、run_project 需 Linux+bubblewrap、仅支持 claude/codex，边界清晰，记 2。触发精度：作为基准而非技能型 Agent，无触发机制描述，脚本参数（--id、--condition、--order）有说明但无错误输入处理证据，记 1。环境适配：强依赖 Linux、bubblewrap、特定 CLI 与 API 密钥，跨平台适配有限，记 1。

规范维护8 / 18 · 2.2/5

信息架构：README 含路径表、任务说明、快速开始、协议、结果表、数据模式，结构清晰，记 2。安装说明：给出 venv、pip、hf auth、bubblewrap 安装步骤，记 2。命名稳定性：case id 匿名化且格式统一（case_000），选项 A/B 与 order ab/ba 命名一致，记 2。示例与 FAQ：有 predictions.json 示例与命令示例，但无 FAQ 或故障排查，记 1。已知局限：提及记录不含历史、外部链接缺失、模型低于随机水平等，但未系统列出基准局限（如案例构造偏差），记 1。许可证：CC-BY-4.0 全文与 README 声明一致，记 2。版本与变更日志：未见 CHANGELOG 或版本号，记 0。维护责任：列出通讯作者邮箱，但无治理、issue 流程或更新承诺，且发布者身份未经验证，记 1。

有效结果7 / 13 · 2.7/5

输出可用性：提供 make_prompt.py、score.py、run_project.py 与结构化 JSON 输出格式，可直接用于评测，记 2。边际价值：248 例人工纠正构建的科学判断基准，填补 PI 判断评测空白，具独特价值，记 2。成本效益：解包需 91GB、21GB 缓存、需付费 API 与多条件运行，成本较高且未提供轻量替代路径，记 1。

证据核验4 / 8 · 2.5/5

主张可追溯：README 引用 arXiv 论文、HF 数据集、results/ 目录与 prompts/sources.json 摘要，主张有出处，记 2。跨源佐证：仅 README 与 LICENSE 在包内，未见 results 或 prompts 实际文件佐证数字，记 1。事实与推断分离：README 区分了论文结果与仓库内容，但部分主张（如“四分之五模型低于随机”）未在包内附数据，记 1。

风险与缓解建议
  • 发布者身份未经验证，维护责任与更新路径不明确，使用前应自行核实。
  • Codex 引擎在沙箱内使用 danger-full-access 且网络保持开启，隔离强度依赖 bubblewrap 配置正确。
  • 无依赖锁定文件，huggingface_hub、zstandard 等版本未固定，存在可复现性与供应链风险。
  • 完整评测需约 91GB 磁盘与付费 API，成本较高，建议先用少量案例验证流程。
  • 包内仅有 README 与 LICENSE，结果表与提示文件未随包提供，数字无法在包内交叉核对。
证据充分度：低 评估于 2026年11月7日 审查版本 7756ba0ed221
评估证据 README.mdLICENSE
查看完整评分方法 →
你是这个项目的维护者？把 FARS 徽章加到 README

徽章显示当前的评审分数和结论，点击回到本页。重新评审后约一小时内更新。

FARS

[![FARS 评测](https://followagents.com/badge/scipivot.svg?lang=zh)](https://followagents.com/zh/agents/scipivot)
<a href="https://followagents.com/zh/agents/scipivot"><img src="https://followagents.com/badge/scipivot.svg?lang=zh" alt="FARS 评测"></a>

最近版本

来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。

  1. v1.0.0 SciPIvot v1.0.0 — 248 cases, prompts, results, and project-record access
    发布说明摘录
    First complete release of SciPIvot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents. - Question set — 248 cases (data/questions.json, plain text twin): both plans in exact wording, reference answers, and a snapshot pointer to the frozen project record each case is asked against - Project records — 230 frozen records (26 projects, 21 GB compressed) on [Hugging Face](https://huggingface.co/datasets/sun1245/SciPIvot), byte-for-byte as mounted for the paper's models; scripts/fetch_records.py downloads and verifies them …
    在 GitHub 查看 ↗

常见问题

是否需要下载项目记录？
options-only 条件只评估两个计划；project 条件需要从 Hugging Face 获取对应记录。
能否直接用脚本运行模型？
可以。scripts/run_project.py 支持 Claude Code 或 Codex，但需要相应 CLI、API 密钥及 README 所述沙箱环境。
评分如何处理选项顺序？
每个案例以 ab 和 ba 两种顺序评测；有两种顺序时先在案例内平均，再对案例等权汇总。
仓库提供的是可自主做研究的代理吗？
不是。它提供用于评估研究判断的案例、项目记录、提示词和工具脚本。
这页内容对你有帮助吗？
在 GitHub 查看 ↗ 安装 ↓