Agent-E 网页自动化助手

这个 Agent 能做什么，适合哪些场景？

Agent-E 是基于 AG2 的自托管计算机操作系统，目前将能力集中在浏览器自动化。其开源架构包含负责执行技能的 User proxy 和掌握浏览器技能的 Browser navigation agent，并以感知技能和动作技能组合任务。系统从浏览器无障碍树提取并蒸馏 DOM，为模型提供文本、输入控件或全部字段的紧凑视图，再执行点击、输入和打开网址等操作。用户既可通过浏览器中的聊天界面提交自然语言命令，也可运行 FastAPI 服务，通过 `/execute_task` 接收命令并返回流式结果。它适合可由网页交互完成的检索和操作流程，但不是通用桌面自动化成品，对动态网页、单标签页、Shadow DOM、PDF 和画布式应用仍有明确限制。

Agent-E 接收自然语言任务，由 AG2 驱动的代理选择并执行技能。geturl、get_dom_with_content_type 和可选的 get_user_input 用于读取当前网址、网页内容与用户反馈；click、enter_text、bulk_enter_text、enter_text_and_click 和 openurl 用于操作网页。get_dom_with_content_type 可返回 text_only、input_fields 或 all_fields，底层优先使用 DOM Accessibility Tree，并给元素注入 mmid，以便生成稳定的 DOM 查询选择器。每项技能以自然语言描述执行结果，使代理能够判断上下文并调整后续步骤。任务可以从浏览器聊天界面启动，也可以发送到 FastAPI 的 POST /execute_task；API 请求还可分别覆盖 planner_agent 与 browser_nav_agent 的 llm_config。运行过程会改变浏览器页面和表单状态，并可按配置将聊天日志写入文件或标准输出。

1. 需要重复录入网页表单的运营人员，可让 Agent-E 从已有资料中取值、填写字段，并在提交前等待人工检查。
2. 电商研究或采购人员可要求它搜索商品、按畅销度或价格排序、进入商品页并执行加入购物车等浏览器步骤。
3. 研究人员可让它访问新闻、体育、大学或本地商家网站，定位指定内容并汇总网页中可见的信息。
4. 项目管理团队可用自然语言导航 JIRA 等网页平台并筛选问题，减少重复的页面操作。
5. 开发团队可通过自托管 FastAPI 端点把网页任务嵌入内部流程，并为 planner 和 browser navigation agent 分别传入模型配置。
6. 需要验证浏览器代理行为的贡献者可使用 test/tasks 中的 JSON 任务，通过 python -m test.run_tests 在真实网站上运行测试。

如何安装或部署这个 Agent？

运行环境需要 Python 3.10+，文档推荐 Python 3.11。macOS/Linux 可在项目根目录运行 ./install.sh，若希望直接安装 Playwright 支持则运行 ./install.sh -p；Windows PowerShell 对应运行 .\win_install.ps1 或 .\win_install.ps1 -p。手动安装时，先安装 uv，然后执行 uv venv --python 3.11、source .venv/bin/activate、uv pip compile pyproject.toml -o requirements.txt 和 uv pip install -r requirements.txt；Windows 使用 .venv\Scripts\activate。没有本地 Google Chrome 时，可再运行 playwright install。复制配置文件：cp .env-example .env，然后至少设置 AUTOGEN_MODEL_NAME 和 AUTOGEN_MODEL_API_KEY；非 OpenAI 服务还应配置 AUTOGEN_MODEL_BASE_URL，并按提供方需要设置 AUTOGEN_MODEL_API_TYPE 与 AUTOGEN_MODEL_API_VERSION。若使用本地 Chrome，还需从 chrome://version/ 获取配置文件路径并设置 BROWSER_STORAGE_DIR。

如何使用这个 Agent？

完成配置后，在项目根目录运行 python -m ae.main；macOS 遇到输出阻塞问题时可运行 python -u -m ae.main。浏览器出现 Agent-E 图标后，打开聊天界面并输入命令，例如 open youtube and search for funny cat videos。若需程序化调用，在 Linux/macOS 运行 uvicorn ae.server.api_routes:app --reload --loop asyncio；Windows 使用 uvicorn ae.server.api_routes:app --loop asyncio。首个 API 请求可执行：curl --location 'http://127.0.0.1:8000/execute_task' --header 'Content-Type: application/json' --data '{"command":"go to espn, look for soccer news, report the names of the most recent soccer champs"}'。也可以在请求中加入 llm_config，分别配置 planner_agent 和 browser_nav_agent。完整测试运行命令为 python -m test.run_tests。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题