agent-qa
自带记忆的 AI QA 工程师：用自然语言描述用户旅程，agent-qa 在 Web 与移动端执行测试、留存证据，并从每次运行中自我改进。
- Star 数
- ★ 894
- 最近更新
- 1 天前
- License
- NOASSERTION
- 主语言
- TypeScript
- FA 评分
- 49/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台Codex · Claude Code
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 前端团队在发版前想捕获回归：用自然语言写“加购→结算”旅程，仪表盘直接展示失败的购物车金额断言与截图
- 不适合
- 需要纯开源许可（FSL 有使用限制）的团队
- 不能提供云端 LLM API 密钥且不接受模型按次付费的团队
- 需要成熟稳定工具的团队：项目自称处于早期阶段、可能有 bug
- 源码审查
- 49/100 · 缺口较多
这个 Agent 能做什么，适合哪些场景？
agent-qa 是 vostride 开源的自我改进型 QA 代理，定位为软件团队“带记忆的测试装置”。你用自然语言编写用户旅程测试，它在 Web、Android 或 iOS 上执行并保留截图等证据，可通过 CLI、仪表盘或经由 MCP 和 skills 接入你的编码代理来使用。其核心组件 memidex 将事实与有效操作步骤以可审查的文件形式保存在你的仓库中；系统会验证从运行中学到的经验、淘汰过时知识，并根据你的反馈纠正错误。官方基准显示 AndroidWorld 排名第一（pass@1 达 100%，116/116 任务），AppControlBench 排名第一（完成率 99.6%），两者均使用 gpt-6-sol、关闭记忆与自我改进。许可证为 FSL-1.1-ALv2（Functional Source License），项目自称处于早期阶段，可能存在 bug。
读取用自然语言描述的用户旅程测试，通过浏览器自动化（topics 中的 playwright/browser-automation 表明基于 Playwright）在 Web、Android 或 iOS 上逐步执行，并记录失败步骤与截图证据。仪表盘将失败断言与其录制的浏览器证据并排展示，Knowledge 标签页展示为某次运行检索到的记忆内容及其被使用的步骤。memidex 把事实与操作步骤存为仓库内可审查的文件；运行结束后验证经验、淘汰过期知识并结合用户反馈修正错误。提供 CLI（npx agent-qa 运行测试套件）、Web 仪表盘，以及 MCP server 和 skills 供编码代理调用。
- 前端团队在发版前想捕获回归：用自然语言写“加购→结算”旅程，仪表盘直接展示失败的购物车金额断言与截图
- 维护 UI 频繁变化的产品的团队：依靠 memidex 记忆与自适应减少选择器失效导致的测试返工
- 使用 Claude Code、Codex 等编码代理的开发者：通过 MCP server 和 skills 让代理直接运行并解读测试
- 移动端团队需要对 Android/iOS 应用做端到端旅程验证，而非仅单元测试
- 需要在代码仓库中可审查地管理测试知识的团队：memidex 以文件形式保存记忆，可纳入代码评审
如何安装或部署这个 Agent？
需要 Node.js 24+。在项目目录中执行：
npm install -D agent-qa
npx agent-qa initinit 之后按官方 quickstart 连接一个模型并运行演示，或按 agent-quickstart 将其接入你的编码代理。
如何使用这个 Agent？
1) 运行 npx agent-qa init 并按 quickstart 连接模型；2) 用自然语言编写用户旅程测试（如购物车到结算的流程）；3) 通过 npx agent-qa 在终端运行测试套件，CLI 输出每条测试的通过与失败及步骤进度；4) 打开仪表盘检查失败步骤与对应截图证据，并在 Knowledge 标签页追溯本次运行使用了哪些记忆；5) 也可经由 MCP 把 agent-qa 接入你的编码代理，由代理代为运行和解读测试。
这个 Agent 有哪些优点和局限？
- 自我改进循环：验证运行经验、淘汰过时知识并用你的反馈纠错，减少 UI 变化后的维护成本
- memidex 把记忆存为仓库内可审查文件，测试知识可纳入代码评审与版本控制
- 有公开基准佐证：AndroidWorld 100% pass@1 与 AppControlBench 99.6% 完成，均附运行证据与方法论
- 证据驱动调试：失败步骤与截图并排展示，Knowledge 标签页可追溯记忆来源
- 多接入方式：CLI、仪表盘、MCP server 与 skills，可嵌入现有编码代理工作流
- 许可证为 FSL-1.1-ALv2（Functional Source License），不是 OSI 开源许可，商业使用有期限与限制
- 项目自称处于早期阶段，README 明示“预期会有 bug”
- 需要接入 LLM 模型并承担按次调用费用；官方基准使用 gpt-6-sol
- 要求 Node.js 24+，较旧的 CI/本地环境需先升级
- 基准成绩是在关闭记忆与自我改进的配置下取得的，与默认使用方式不完全一致
这个 Agent 与同类方案有什么区别？
README 未直接点名竞品，但 topics 中的 playwright、end-to-end-testing 以及“自我改进 + 记忆”的定位，显然与 Playwright/Cypress 等传统脚本化 E2E 框架相对：后者需手写维护选择器脚本，agent-qa 则以自然语言描述旅程并自动适应 UI 变化；代价是引入 LLM 调用成本与非确定性。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| agent-qa 当前 | 49 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 894 | 1 天前 | TypeScript | Codex · Claude Code |
| Chrome DevTools MCP | 79 · 存在缺口 | MCP 服务器免费 | ★ 54k | 2 天前 | TypeScript | Codex · Claude Code |
| Kane CLI | 71 · 存在缺口 | 命令行工具免费版 + 付费版 | ★ 253 | 1 天前 | JavaScript | Codex · Claude Code |
| Playwright 浏览器自动化 MCP | 60 · 存在缺口 | MCP 服务器免费 | ★ 39k | 3 天前 | TypeScript | Codex · Claude Code |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
代码显示工作区文件操作有路径解析、原子替换与单写者锁，CI 使用最小 GitHub 权限（contents: read），pnpm 通过 overrides 钉住多个依赖版本并用 onlyBuiltDependencies 限制构建脚本——依赖安全可给 2。但作为驱动浏览器/移动端并调用模型的 QA 代理，仓库未提供权限模型、用户确认流程、数据流向（发送给模型的内容）、密钥处理或外部操作回滚的文档；
CI 配置详尽（分片、多平台、MCP 一致性门禁、超时预算），强制 --frozen-lockfile 与固定 pnpm/node 版本，依赖可用性可给 2；包内校验返回结构化错误信息（含行/列/建议），失败消息可给 2。CI 注释自述 2026-08-02 前所有工作流仅 workflow_dispatch 且 Release 从未运行过、绿色声明依赖本地跑——项目自己承认历史上的自洽缺口，故 self_consistency 扣至 2 而非更高。
受众（软件团队 QA）、场景（web/Android/iOS、CLI/仪表盘/MCP）与环境要求（Node 24+、pnpm 10.6.1、平台差异的 macOS 专项 CI）清楚，各给 2。但能力边界仅在 README 一句“Early stage. Expect bugs”，触发精度（自然语言到测试的映射何时失效）无文档，均扣至 1。
monorepo 结构清晰、安装说明明确、@vostride 命名一致、LICENSE.md 为完整 FSL-1.1-ALv2 文本且与 README 徽章一致——各给 2。扣分项：无仓库内 CHANGELOG（仅外部链接，package.json 无版本号）、无 FAQ、已知限制只有一句、无 CONTRIBUTING/维护者文件（仅版权行和 issue 链接）、许可证元数据为 NOASSERTION 且 FSL 属源可得非 OSI 开源。examples_and_faq、known_limitations、versioning_changelog、maintenance_responsibility 各给 1。
README 展示了 CLI 输出、失败证据截图（失败步骤与截图并排）、知识追溯面板，输出可用性可给 2；“记忆+自我改进”的 QA 代理有差异化定位，边际价值给 2。但模型成本、token/运行开销、与既有 E2E 工具的收益对比完全缺失，cost_benefit 扣至 1。
基准成绩（AndroidWorld 100% pass@1 等）仅链接到自托管博客，仓库内无运行证据、无复现脚本或原始结果；声称与仓库内事实未区分（#1 排名、gpt-6-sol 等断言无法在源内验证）；CI 注释虽 factual 且可追溯（引用 issue 编号），但整体核实路径依赖外部资源，三项均给 1。
- 许可证为 FSL-1.1-ALv2（源可得、非 OSI 开源），含竞争用途限制；企业商用前需法务确认，且注册表元数据为 NOASSERTION。
- 基准成绩（#1、100% pass@1 等）仅见于发行方自托管博客，仓库内无可复现证据，应视为未证实的营销声明。
- 代理会驱动真实浏览器/移动端并调用外部模型；发送给模型的数据范围、密钥处理与外部操作回滚均无文档，接入前需自行评估。
- 项目自述处于早期且 CI 注释承认 2026-08-02 前测试几乎未自动运行，历史绿色声明不可信。
- 发布者身份未经策展注册表验证，责任主体仅有一行版权信息。