PaperOrchestra 技能包
把任何编码代理变成自动化 AI 论文写作流水线:无需 API 密钥、无需 LLM SDK,即可从实验素材产出可投稿的 LaTeX 论文。
证据显示:脚本声明为纯确定性、无网络无LLM、API密钥仅从环境读取且不入库;聚合器扫描目录时有深度限制并在读取前打印摘要供用户确认,PII剥离与[UNVERIFIED]标记;提及worklog回滚。扣分:扫描默认搜索根包含整个home目录(~),权限偏宽;'只打印摘要后确认'仅为声明,未见强制用户确认门的代码;Pin版本使用>=而非固定上限,未提供依赖哈希;引用来自论文摘要的提示词的许可归属声明无法独立核实。
证据显示:技能结构自洽,README与requirements声明一致(无LLM SDK),有schema验证、halt规则、coverage gates等一致性机制;提供Silent回退(S2 key缺失时静默降级)。扣分:错误路径主要靠叙述(429回退等),静默回退本身可能掩盖配置问题;失败信息质量无法从静态文件确认。
证据显示:明确面向多种主机代理(Claude Code/Cursor/Antigravity/Cline/Aider/OpenCode)并给出逐主机集成文档;输入缺失时聚合器自动跳过或触发;提供--agents/--since/--depth等参数适配不同环境。扣分:跨主机技能目录约定差异大,仅Claude Code给出具体symlink命令,其余靠引用文档;触发短语依赖SKILL.md的description字段,精度无法静态验证。
证据显示:仓库布局清晰(skills/examples/docs),含LICENSE、CITATION.cff、toy示例、paper-fidelity文档映射;MIT许可证含论文摘录归属说明。扣分:无CHANGELOG、无版本号或发布历史;维护者责任、更新路径、issue响应均无证据;known limitations仅隐含在文档中,未系统性列出;许可元数据在仓库层面为NOASSERTION。
证据显示:产出物定义明确(LaTeX论文、workspace结构、autorater报告);核心价值是把论文提示工程化为可执行技能包,零API密钥即可跑通基础流程,边际价值清晰;成本信息(Exa约$0.007/查询、S2限速)有交代。扣分:实际论文质量、benchmark数字(50-68%胜率)均引自无法核实的外部论文,未在仓库内复现证据;成本效益主要对重度研究写作者成立。
证据显示:每个提示词标注论文页码、有paper-fidelity.md设计决策到页面的映射、CITATION.cff与BibTeX双引用、改进项明确标记为out-of-paper。扣分:所引arXiv:2604.05018日期异常(2026年4月号)且为唯一外部佐证,无法交叉核实论文与benchmark声明的真实性;无测试套件声明可静态核实。
- 聚合器默认扫描整个home目录(~),首次使用应显式指定--search-roots和--since,避免代理读取无关或敏感聊天记录。
- 未核实的arXiv引用(2604.05018,2026年)是所有效果声明的唯一来源;benchmark胜率数字在采用前应自行核实。
- 依赖使用宽松的>=版本约束且无哈希锁定,企业环境应自行固定版本。
- 无版本号、无变更日志、维护责任不明;生产使用前应检查提交历史与issue活跃度。
- S2密钥缺失时静默降级,若依赖更高的API配额请用--check-key确认模式。
这个 Agent 能做什么,适合哪些场景?
PaperOrchestra 是一个可插拔的技能包(skill pack),由 GitHub 仓库 Ar9av/PaperOrchestra 维护,它将 arXiv:2604.05018 论文中的五代理论文写作流水线转化为可在 Claude Code、Cursor、Antigravity、Cline、Aider、OpenCode 等编码代理中运行的技能。核心组件包括七个技能(orchestrator、outline-agent、plotting-agent、literature-review-agent、section-writing-agent、content-refinement-agent 以及基准与自动评分技能)加一个可选的 agent-research-aggregator。执行模型是“指令+确定性脚本”:每个技能由 SKILL.md 指令、references/ 中的论文原文提示词与 JSON schema、scripts/ 中的纯本地确定性辅助脚本组成;所有 LLM 推理和网络搜索都委托给宿主代理自身的工具完成,因此运行流水线本身零 API 密钥。输入是 workspace/inputs/ 下的 idea.md、experimental_log.md、LaTeX 模板和会议规范,输出是结构化大纲、图表、带引文的文献综述以及最终 LaTeX 论文。适合已有实验记录、希望用自己常用的编码代理完成论文写作的研究者。
流水线由 orchestrator 驱动:outline-agent 将想法、实验日志、模板和规范转为结构化大纲 JSON;plotting-agent(约 20–30 次 LLM 调用)按绘图计划渲染图表与概念图,可选接入 PaperBanana 做出版级插图,未配置时回退 matplotlib;literature-review-agent(约 20–30 次调用)通过网络搜索候选文献并用 Semantic Scholar 端点验证(Levenshtein 相似度 >70、截止去重),撰写引文整合率 ≥90% 的 Introduction 与 Related Work,两个步骤并行执行;section-writing-agent 用一次多模态调用完成剩余章节、从实验日志构建表格并嵌入图片;content-refinement-agent(约 5–7 次调用)做模拟同行评审,并按严格的停止规则接受或回滚修改。paper-writing-bench 可从已有论文反向构造基准案例,paper-autoraters 运行论文自带的评分器(Citation F1、LitReview 六轴质量、SxS 对比)。确定性脚本覆盖 JSON schema 校验、模糊匹配、BibTeX 格式化、去重、LaTeX 完整性检查和覆盖率门槛。可选的 agent-research-aggregator 通过 discover_logs.py → LLM 抽取 → synthesis. → format_po_inputs.py 四个阶段,把散落在 .claude/、.cursor/、.antigravity/、.openclaw/ 缓存中的研究记录整理为流水线输入。
- 机器学习研究者已用 Claude Code 完成实验但没有写规范的实验日志,希望 agent-research-aggregator 从代理缓存中抽取并整理出 idea.md 和 experimental_log.md,再走完整写作流水线。
- 博士生有干净的实验记录和会议 LaTeX 模板,想在自己的 Cursor 或 Antigravity 环境中一键生成带图表、引文和完整章节的投稿初稿。
- 研究团队希望评估论文写作质量,用 paper-writing-bench 从现有论文构造基准案例,再用 paper-autoraters 的 Citation F1 和 SxS 评分器做量化对比。
- 文献调研任务:需要基于网络搜索和 Semantic Scholar 验证生成高引文整合率的 Introduction 与 Related Work 草稿。
- 使用免费额度的个人研究者:宿主代理自带网络搜索,无需购买任何 API 密钥即可运行完整流水线。
这个 Agent 有哪些优点和局限?
- 宿主无关:同一套技能可在 Claude Code、Cursor、Antigravity、Cline、Aider、OpenCode 中运行,不被锁定在单一厂商生态。
- 零密钥架构:所有 LLM 推理和网络搜索由宿主代理自带工具完成,仓库本身不含 API 密钥需求或嵌入式 LLM 调用。
- 论文忠实度高:每个代理的提示词逐字复现自 arXiv:2604.05018 附录 F,并有 docs/paper-fidelity.md 提供设计决策到论文页码的映射。
- 确定性脚本可审计:schema 校验、BibTeX 格式化、LaTeX 检查、孤儿引文门槛等均为无网络的本地脚本,行为可预期。
- 内置质量评分:paper-autoraters 复用论文自带的 Citation F1、LitReview 六轴和 SxS 评分器,可量化评估产出。
- 依赖宿主代理能力:需要编码代理本身具备网络搜索和多模态推理,无此条件的终端用户无法直接使用。
- 可选组件引入外部依赖:PaperBanana 绘图需要额外的克隆、配置和 Gemini/OpenRouter 密钥;Semantic Scholar 免费端点限速约 1 QPS,大规模运行会遇到 429 退避。
- 许可证字段为 NOASSERTION,README 声称 MIT,采用前应自行核对 LICENSE 文件。
- 论文引用为 arXiv:2604.05018(2026),属于预印本成果,基准数字(50–68% 文献综述胜率等)来自论文自述,尚未经独立验证。
- 用户仍需自备会议 LaTeX 模板和会议规范文件,且需人工审阅 aggregator 生成的 idea.md 与 experimental_log.md。
如何安装或部署这个 Agent?
- 克隆仓库:git clone <repo-url> ~/paper-orchestra && cd ~/paper-orchestra
- 安装确定性辅助脚本依赖:pip install -r requirements.txt(无 LLM SDK、无 API 密钥需求)。
- 将技能符号链接到宿主的技能目录,例如 Claude Code:
mkdir -p ~/.claude/skills
for s in paper-orchestra outline-agent plotting-agent literature-review-agent section-writing-agent content-refinement-agent paper-writing-bench paper-autoraters agent-research-aggregator; do
ln -sf ~/paper-orchestra/skills/$s ~/.claude/skills/$sdone
Cursor / Antigravity / Cline / Aider 按 skills/paper-orchestra/references/host-integration.md 中的对应说明操作。可选集成:Semantic Scholar API 密钥(export SEMANTIC_SCHOLAR_API_KEY,未设置时自动回退到未认证端点);PaperBanana 图形后端(克隆其仓库、填入 Gemini 或 OpenRouter 密钥并 export PAPERBANANA_PATH);Exa 搜索(export EXA_API_KEY)。
如何使用这个 Agent?
已有结构化输入时:运行 python skills/paper-orchestra/scripts/init_workspace.py --out workspace/,将 idea.md、experimental_log.md、template.tex、conference_guidelines.md 放入 workspace/inputs/,然后对编码代理说“Run the paper-orchestra pipeline on ./workspace”。研究记录散落时:直接对代理说“Write a paper from my work in ~/my-project”或“Turn my experiments in ~/my-project into a paper”,aggregator 会先扫描目录并自动产出输入文件,经你审阅后进入完整流水线。可单独运行聚合阶段,例如 python skills/agent-research-aggregator/scripts/discover_logs.py --search-roots ~/my-project --out workspace/ara/discovered_logs.。examples/minimal/ 提供了一个可直接运行的端到端示例。