Open Operator Evals
用可复现的多次运行评估开源网页操作智能体。
- Star 数
- ★ 47
- 最近更新
- 1 年前
- 主语言
- Python
- FA 评分
- 44/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 兼容但需适配
- 费用
- 软件免费，模型调用费用自付
- 上手难度
- 中 · 需要几步配置
- 开始前需要
- 典型场景
- 网页智能体团队在发布前，用 WebVoyager30 的多次运行检查成功率和单任务耗时是否稳定。
- 不适合
- 需要完整约600任务WebVoyager评测的团队
- 希望有通用安装文档或接入任意新Agent的团队
这个 Agent 能做什么，适合哪些场景？
Open Operator Evals 是一个用于评估网页操作智能体的开源基准仓库，而不是面向终端用户执行网页任务的智能体产品。它以 WebVoyager30 为评测集：这是从约 600 个 WebVoyager 任务中抽取的 30 项任务，覆盖 15 个网站。仓库记录了 Notte、Browser-Use 和 Convergence 的多次运行结果，并用智能体自报成功率、GPT-4 LLM 评估、单任务耗时和任务可靠性进行比较。评测通过 Python 模块 eval.run 启动，结果按数据集、提供方、时间戳和任务目录分层保存，包含 JSON 结果和 summary.webp 回放摘要。适合需要审查网页智能体表现、复现给定评测配置或分析运行轨迹的工程与研究团队；它没有在给定资料中提供通用安装流程或把任意网页智能体接入基准的接口说明。
评测配置通过 configs/notte.headless.gemini 等文件提供，并可用 cat configs/notte.headless.gemini | uv run python -m eval.run 运行。基准让提供方在 WebVoyager30 的任务上执行；README 所述评测限制为每个任务最多 6 分钟或 20 步，并以 8 次尝试衡量波动。智能体返回成功状态和答案，评测同时汇总其自报状态，并使用 WebVoyager 的 GPT-4 评估提示词判定任务完成情况。输出目录采用 dataset/provider/timestamp/task_name 结构，单个任务目录可包含 results.json、results_no_screenshot.json 与 summary.webp，便于查看结果、无截图结果和回放摘要。
- 网页智能体团队在发布前，用 WebVoyager30 的多次运行检查成功率和单任务耗时是否稳定。
- 研究人员审查 Notte、Browser-Use 与 Convergence 在仓库所列版本和推理配置下的可验证评测记录。
- 负责智能体质量的工程师查看
results_no_screenshot.json和summary.webp，分析某一任务的失败轨迹。 - 需要处理网页智能体高方差问题的评测人员，以每项任务 8 次尝试和任务可靠性指标替代单次运行结论。
- 比较自报成功与 GPT-4 判定差异的团队，使用 Alignment 和 Mismatch 识别过度自信的执行结果。
如何安装或部署这个 Agent？
给定资料未说明克隆后的安装步骤、依赖锁定文件、环境变量或凭据配置，因此无法提供可验证的完整安装命令。资料明确给出的运行环境是 Python 3.11，并使用 uv；公开的首次调用示例为：cat configs/notte.headless.gemini | uv run python -m eval.run。不同提供方所需的访问凭据和配置项未在资料中说明。
如何使用这个 Agent？
在具备 Python 3.11、uv、网络访问和仓库文件写入能力的环境中，选择现有配置并运行：cat configs/notte.headless.gemini | uv run python -m eval.run。运行后，按 dataset/provider/timestamp/task_name 查找输出；查看 results.json 或 results_no_screenshot.json 获取结果，查看 summary.webp 审阅任务回放摘要。README 仅展示了 Notte 的具体命令，其他提供方配置的运行命令和凭据要求未明确记录。
这个 Agent 有哪些优点和局限？
- 采用 WebVoyager30 的 30 项任务和每任务 8 次尝试，明确针对网页智能体运行结果的高方差问题。
- 同时提供智能体自报、GPT-4 判定、耗时、可靠性、Alignment 和 Mismatch，能区分完成能力与自我评估偏差。
- 保留按任务组织的 JSON 结果和
summary.webp，可审查具体执行轨迹而不只依赖汇总分数。 - README 给出了 Notte、Browser-Use 和 Convergence 在指定版本或提交及推理配置下的逐次运行明细。
- 资料只展示了 30 个任务、15 个网站的 WebVoyager30 子集，不能证明结果可代表完整约 600 任务数据集或其他网页场景。
- 完整安装、依赖解析、密钥配置及新增提供方接入方式均未说明，复现和扩展需要自行补齐工程信息。
- 评测结果受不断变化的网页、非确定性模型、网络行为、Cookie 弹窗、CAPTCHA 与机器人检测影响。
- README 所列 Browser-Use 评测约需 20 美元，而该成本只对应 WebVoyager30、每任务 8 次尝试及文中指定的 GPT-4o 用量。
这个 Agent 与同类方案有什么区别？
仓库比较了三种已记录配置：Notte v1.3.3（gemini/gemini-2.0-flash）、Browser-Use v0.1.40（openai/gpt-4o）和 Convergence Proxy-lite 提交 a4389c5。在 README 汇总中，Notte 的 LLM Evaluation 为 79.0%、平均 47 秒；Browser-Use 为 60.2%、113 秒；Convergence 为 31.4%、83 秒。这些是该仓库的 WebVoyager30 多次运行结果，不代表所有版本、模型、网络环境或任务集。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Open Operator Evals 当前 | 44 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 47 | 1 年前 | Python | — |
| WebsiteBench | 61 · 存在缺口 | 命令行工具免费 + 模型费 | ★ 124 | 1 天前 | Python | — |
| OpenBrowser | 51 · 缺口较多 | 命令行工具免费版 + 付费版 | ★ 279 | 1 个月前 | Python | Codex · Claude Code · Claude.ai · OpenAI API · Claude API |
| Webwright 浏览器编程代理 | 53 · 缺口较多 | 命令行工具免费 + 模型费 | ★ 6.1k | 12 天前 | Python | Codex · Claude Code · OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
README说明基准使用浏览器代理、模型评估器和网页任务，并给出可检查的轨迹与结果文件，因此数据流有部分可见性（data_flow_transparency=1）、外部效果范围可辨（external_effects=1）。但没有权限、用户确认、敏感数据处理或回滚说明，相关分数为0至1。requirements.txt固定了依赖版本，却没有安全审查或缓解证据（dependency_security=1）。README引用被测项目、版本和评估提示，支持来源归属（source_attribution=2）；发布者身份仍未知。
README对任务数、重试次数、时限、步骤上限及环境作了说明，requirements.txt也列出固定版本，支持部分自洽与依赖可用性（self_consistency=1，dependency_availability=2）。但未提供错误处理或故障排查说明；而且“客观评估”等表述与其使用LLM评判的方式之间仍有解释空间，failure_messages=1。
README将用途限定为评估网页代理，并说明WebVoyager与30项子集、多个网站和重复运行，适用场景及触发范围较明确（audience_and_scenarios=2，trigger_precision=2）。它未充分规定支持的代理接口、边界或失败条件（capability_boundaries=1）。Python版本、Mac M1、无头运行、运行命令和成本估算为环境适配提供了部分指导（environment_fit=2）。
README有指标定义、结果分解、配置、复现、成本和回放等清晰章节（information_architecture=2），也给出命令与输出目录示例，但安装步骤不充分（install_notes=1）。术语和提供方名称基本稳定（naming_stability=2）；指标、复现说明和回放示例实用（examples_and_faq=2），并披露网页变化、高方差、CAPTCHA及成本等限制（known_limitations=2）。许可证元数据未知且材料未展示许可证（license=0）；提及被测版本，但没有项目自身的版本或变更记录（versioning_changelog=1）。招聘链接未明确维护责任或更新流程（maintenance_responsibility=1）。
基准表、逐次结果和回放文件路径让结果便于阅读和检查（output_usability=2）。多次运行、LLM判定和公开轨迹为比较网页代理提供了有用的增量价值（marginal_value=2）。README列明30项子集、8次运行和估算成本，展示了实用的成本效益权衡，但没有独立证据证明子集代表性或估算准确性（cost_benefit=2）。
README给出具体得分、逐次数据、配置、运行命令和回放路径，许多主张可追溯（claim_traceability=2）。表格、文字说明和逐次数据形成部分内部印证，但这些都来自同一README，缺少独立来源核验（cross_source_corroboration=1）。指标定义和评估局限有所说明；对“更统计可靠”等结论则超出所展示的统计论证，故事实与推断区分较好但未充分（fact_inference_separation=2）。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：敏感信息处理使用专用、低权限、可随时吊销的 API 密钥，不要复用生产凭据，也不要让密钥出现在日志里。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- 材料未提供许可证、安装细节、维护责任或敏感数据处理说明。
- 性能与代表性结论主要由README中的同一组基准材料支持；“统计上更可靠”的表述缺少充分统计论证。
你是这个项目的维护者？把 FARS 徽章加到 README
[](https://followagents.com/zh/agents/open-operator-evals)<a href="https://followagents.com/zh/agents/open-operator-evals"><img src="https://followagents.com/badge/open-operator-evals.svg?lang=zh" alt="FARS 评测"></a>常见问题
这是一个能替我自动操作浏览器的智能体吗？
评测一次需要多长时间和多少成本？
为什么需要重复运行同一任务？
可能遇到哪些失败因素？
谢谢反馈，我们会据此改进页面。