Scrapling 网页抓取框架

这个 Agent 能做什么，适合哪些场景？

Scrapling 是一个 Python 网页抓取框架，提供 HTTP Fetcher、基于 Playwright 的 StealthyFetcher、解析器和 Spider 爬虫。它可以抓取静态页面、渲染 JavaScript 页面、使用 CSS 或 XPath 提取内容，并捕获浏览器会话中的 API 响应。Spider 支持并发、代理轮换、重试、自动限速以及暂停和恢复，并可将结果导出为 JSON、JSONL、CSV 或 XML。用户可以将它作为 Python 库导入，也可以使用命令行工具；另外还提供供 AI 客户端调用的 MCP Server 和 Agent Skill。它需要本地 Python 环境和网络访问，浏览器抓取还需要安装浏览器依赖。

安装 scrapling 后，可用 Fetcher.get() 发起 HTTP 请求，并通过返回页面的 css()、xpath()、文本或正则查找方法提取内容；对于动态页面，可用 StealthyFetcher 或 StealthySession 运行浏览器抓取。需要批量采集时，可定义 Spider 子类，设置 start_urls 和异步 parse() 回调，生成 Request 或数据项，再用内置导出方法保存结果。Spider 可配置并发、代理轮换、重试、AutoThrottle 和 crawldir 检查点。命令行提供 scrapling extract get、scrapling extract fetch 和交互式 shell；可选 MCP Server 支持 AI 客户端进行网页浏览、提取、截图及访问已保存的登录状态和后台 API 响应。

1. 需要从静态网页提取结构化字段的 Python 开发者，可用 Fetcher 和 CSS/XPath 选择器快速读取页面。
2. 需要采集 JavaScript 动态内容的研究人员，可用 StealthyFetcher 渲染页面并读取 DOM。
3. 需要跨多个页面持续采集的团队，可用 Spider 配置并发、重试、代理轮换和暂停恢复。
4. 需要定期收集公开 Shopify 商品目录的开发者，可基于 ShopifySpider 获取商品变体数据。
5. 希望从终端直接保存网页内容的用户，可用 scrapling extract 输出文本、Markdown 或 HTML。
6. 希望让 Claude、Cursor 等 AI 客户端浏览网页并提取数据的用户，可配置 Scrapling MCP Server。

如何安装或部署这个 Agent？

需要 Python 3.10 或更高版本。基础安装提供解析器；使用 Fetcher 或 Spider 时安装 fetchers 额外依赖，并安装浏览器：

pip install "scrapling[fetchers]"
scrapling install

MCP Server、命令行 shell 和全部可选功能分别可通过额外依赖安装：

pip install "scrapling[ai]"
pip install "scrapling[shell]"
pip install "scrapling[all]"

HTTP 抓取不需要安装浏览器。README 未给出 MCP 客户端配置文件的具体格式或完整配置步骤。

如何使用这个 Agent？

单页 HTTP 抓取示例：

from scrapling.fetchers import Fetcher

page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)

终端提取并保存为 Markdown：

scrapling extract get 'https://quotes.toscrape.com/' quotes.md

批量采集时，可定义 Spider 子类并调用 start()；结果可用 result.items.to_json() 保存。MCP Server 是供 AI 客户端使用的可选接口，需安装 scrapling[ai]；README 未提供客户端配置示例。

这个 Agent 有哪些优点和局限？

这个 Agent 与同类方案有什么区别？

与相关度最高的同类 agent 并排比较关键指标。

FollowAgents 如何评估这个 Agent？

常见问题