SkillHone
把编码代理在工作中遇到的真实 Skill 失败，转化为经过回归测试、可审查的持续技能改进。
- Star 数
- ★ 169
- 最近更新
- 1 个月前
- License
- NOASSERTION
- 主语言
- TypeScript
- FA 评分
- 85/100 · 表现良好
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台Codex · Claude Code
- 费用
- 免费，无需付费服务
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 使用 Claude Code 或 Codex 的开发者，发现某个 Skill 引用的脚本或文档缺失，希望代理当场记录并在本地生成已测试的修复 PR
- 不适合
- 需要托管服务或中央控制台的团队
- 只想优化单个提示词而不维护 Skill 仓库的用户
- 没有本地编码代理运行时的环境
- 源码审查
- 85/100 · 表现良好
这个 Agent 能做什么，适合哪些场景？
SkillHone 是腾讯开源的代理技能持续进化工具，核心理念是通过持久的决策历史让 Skill 越用越好。当 Claude Code、Codex 等编码代理在日常工作中遇到 Skill 失效（脚本缺失、API 变更、指令失灵）时，可以直接上报可复现的问题。SkillHone 会将其排队为 Issue，修复完整的 Skill 仓库（SKILL.md、scripts、references、assets、.test），运行回归测试，并生成一个本地 PR 供人审批。每个 Skill 拥有独立的仓库和决策历史，包括失败记录、改动、测试结果和被否决的候选方案，修复代理无法篡改这些历史。它提供 Quick 模式（无需基准数据集的日常维护）和 Full 模式（基于冻结 Eval 仓库的评估驱动优化），全部本地运行，推送仍由用户手动执行。项目源自 EMNLP 2026 Industry Track 论文，采用 MIT 许可证。
SkillHone 监听编码代理的运行时反馈：代理在执行任务时记录可复现的 Skill 失败证据，SkillHone 将其转化为该 Skill 仓库中的 Issue。随后它编排修复流程——一次性更新 SKILL.md、scripts/、references/、assets/ 和 .test/ 中的回归测试——通过回归测试验证修复，并将 Issue、Git diff、运行记录和本地 PR 打包进审批队列。本地工作台（workbench）展示每个 Skill 的 Issues、测试、修复运行、提交、变更文件、PR 审批状态和 Wiki 记录。只有当保存的合并策略允许且关联测试通过时才会自动本地合并（需用户主动开启）；推送到远程始终是用户的独立操作。Full 模式还支持在独立的冻结 Eval 仓库中做基线、候选迭代和验证门。
- 使用 Claude Code 或 Codex 的开发者，发现某个 Skill 引用的脚本或文档缺失，希望代理当场记录并在本地生成已测试的修复 PR
- 维护大量自定义 Skill 的团队，需要为每次改动保留可审计的决策历史（失败原因、测试、diff、审批记录）
- 受够了基准数据集建设成本的工程师，想用 Quick 模式以真实失败作为优化输入做日常维护
- 研究人员或平台团队，想对整个 Skill 仓库做评估驱动的系统性优化（Full 模式 + 冻结 Eval 仓库）
- 对自动改写 Skill 持谨慎态度的用户，需要人工审批每个 PR 且修复历史不可被代理篡改
如何安装或部署这个 Agent？
SkillHone 直接从 GitHub 安装，无需配置包管理器账户或托管服务。把下面这段提示词交给你的编码代理（Claude Code、Codex 等）即可：
Install SkillHone from the `main` branch of
https://github.com/Tencent/SkillHone. Follow
docs/install/skillhone.md, make the SkillHone Skills and CLI available to
this Agent, and verify the installation without changing unrelated files.
Use the documented `--install-links=true` Git installation command.详细的安装文档位于仓库中的 docs/install/skillhone.md，安装后 SkillHone 的 Skills 和 CLI 会对当前代理可用。中文说明见 docs/README.zh.md。
如何使用这个 Agent？
- 在配备 SkillHone 的代理中正常工作；当代理遇到 Skill 失败时，它会记录可复现的问题证据。
- SkillHone 将问题排队为 Skill 仓库中的 Issue，并自动执行修复、回归测试和本地 PR。
- 打开本地 workbench（参见 examples/phoenix-tracing/ 示例）检查失败原因、测试结果、确切 diff 和审批状态。
- 在 Review 模式下由你决定是否合并；自动本地合并需主动开启，且仍要求关联测试通过；推送到远程由你手动执行。
- 对于大规模优化，可建立独立的冻结 Eval 仓库并使用 Full 模式运行基线、候选迭代和验证门。
这个 Agent 有哪些优点和局限？
- 修复整个 Skill 仓库（SKILL.md、脚本、参考文档、测试）而非仅重写提示词，能解决提示词优化器无法处理的缺脚本、坏解析器等问题
- 每次修复绑定 Issue、回归测试、Git diff、运行记录和本地 PR，未通过测试的改动不会进入审批队列
- 每个 Skill 拥有独立决策历史，修复代理在工作中无法改写，下一个代理可从中继续而非重复发现同样的失败
- 默认 Review 模式把合并决定留给用户，推送永远是独立的人工操作
- 有 EMNLP 2026 Industry Track 论文背书，公开评测中进化后的 Skill 在 GAIA 上较报告的商用检索研究代理提升 15.8 分
- 依赖 agentskills.io 兼容运行时（Claude Code、Codex、OpenClaw、Hermes），没有本地编码代理则无法使用其核心工作流
- GitHub 仓库许可证标记为 NOASSERTION，采用前需自行确认 LICENSE 与第三方组件条款
- 修复质量依赖代理上报的证据和回归测试覆盖，文档未说明误报或修复失败率
- 推送与合并策略需要用户自行配置和维护，对纯自动化期望的团队是额外负担
- Full 模式需要单独构建冻结的 Eval 仓库，前期投入不可忽略
这个 Agent 与同类方案有什么区别？
README 将 SkillHone 与提示词专用优化器（prompt-only optimizers）对比：后者只能改写指令，无法修复缺失脚本或损坏的解析器；SkillHone 优化整个 Skill 仓库并用回归测试证明修复有效。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| SkillHone 当前 | 85 · 表现良好 | Agent 插件 / 技能免费 | ★ 169 | 1 个月前 | TypeScript | Codex · Claude Code |
| Self-Learning Skills | 56 · 缺口较多 | Agent 插件 / 技能免费 + 模型费 | ★ 971 | 1 个月前 | — | Codex · Claude Code |
| Cline Pilot | 41 · 缺口较多 | Agent 插件 / 技能 | ★ 2 | 20 天前 | Python | Codex · Claude Code |
| LangWatch | 78 · 表现良好 | 命令行工具免费版 + 付费版 | ★ 5k | 今天 | TypeScript | OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据充分：CI 权限仅 contents:read，doctor 以 read-only 权限模式探测 harness，PR 合并需显式 --confirm 且默认 review 模式，自动合并需用户显式选择且永不推送；测试证明凭据脱敏（Issue/Wiki/配置输出均不泄漏测试密钥）、Import 拒绝字面量密钥；本地服务绑定 127.0.0.1；CLI 无第三方运行时依赖、构建依赖钉死、gitleaks 带哈希校验；takeover/copy 模式有备份且拒绝覆盖导入后变更的文件，失败修复保留部分提交并可重试。扣分点：外部影响方面工具会写 AGENTS.md 并接管用户运行时目录（symlink takeover），虽有备份与冲突拒绝，但接管行为的不可逆风险文档仅在测试中体现；source_attribution 因第三方声明文件未在样本中展示且发布方未经注册表验证而扣分。
测试覆盖自洽性：失败返回结构化 failure.kind（tool-call-protocol、tool-roundtrip-unverified 等）、测试门未过不建 PR、重复 install 幂等、pnpm9→npm 回退并保留 pnpm11 构建审批标志。扣分点：dependency_availability 给 2，因安装路径依赖外部工具（pnpm/npm/gitleaks 下载、DeepSeek Harness 单独安装）的存在性仅在 CI 与安全文档中声明，运行时可用性无静态证明。
受众与场景清晰：Quick/Full 双模式表格、多运行时（codex/claude-code/cursor/zcode）安装有测试支撑、Node engines 明确、CI 验证无 checkout cwd 的 Git 安装。扣分点：capability_boundaries 仅在 SECURITY.md 提到 DeepSeek Harness 原生构建脚本属更大信任边界，Skill 修复能力边界（如不适用场景）缺独立说明；trigger_precision 给 2，因触发策略（immediate/queued/scheduled）在测试中出现但面向用户的触发语义描述主要靠 README 概述。
信息架构良好：docs/、examples/、skills/、src/ 分层清楚，README 有目录导航与中文版；安装文档被 CI 实际执行验证；命名稳定（skillhone、@skillhone/cli、skillhone-auto-optimization）。扣分点：examples_and_faq 仅引用示例 fixture 未含 FAQ/故障排查节；known_limitations 散落（Harness 信任边界一句）；LICENSE 文件为 MIT 但注册表元数据为 NOASSERTION，元数据不一致扣分；versioning_changelog 只有 2.0.0-dev.0 与 News 列表，无正式 CHANGELOG；maintenance_responsibility 无维护者承诺与更新节奏说明。
输出可用性强：--json 结构化输出、本地工作台展示 Issue/测试/diff/PR/审批状态、PR 正文含变更与测试通过计数；边际价值明确——把聊天中丢失的失败证据固化为 Issue+回归测试+PR，且修复整个 Skill 仓库而非仅 prompt。扣分点：cost_benefit 给 2，因优化调用的模型成本、token 消耗与耗时未在样本中量化，GAIA/WebWalkerQA 提升数字属论文结论而非本仓库可复核的成本收益。
多数关键声明可追至仓库内测试（脱敏、确认门、安装校验、审计签名防篡改）与 CI 步骤。扣分点：claim_traceability 给 2，因 README 的 15.8/3.2 点提升依赖 arXiv 论文（静态审查无法核实）与外部 Issue #2567/#2568 链接；cross_source_corroboration 给 2，样本内无独立旁证（如测试结果报告、第三方评测）；fact_inference_separation 给 2，README 将论文结论与当前仓库能力混叙，但测试与文档总体区分了'已实现并有测试'与'论文声称'。
- 发布方未经企业注册表验证且许可元数据为 NOASSERTION，使用前请自行核对 LICENSE（仓库内为 MIT）。
- 工具会以 symlink 接管（takeover）用户 Agent 运行时中的 Skill 目录并写入 AGENTS.md；虽有备份与冲突拒绝，接管前请确认备份位置与恢复方式。
- GAIA/WebWalkerQA 提升数字为论文声明，属静态审查无法复核的外部证据，勿直接当作已验证效果。
- DeepSeek Harness 单独安装且其原生构建脚本被视为更大的信任边界，更新时应锁定已测试版本。
- 本评审为静态源码评审，未执行安装或修复流程；实际行为请以带修订锚点的独立验证为准。