Spider - 高性能 Rust 网页爬虫与抓取引擎

这个 Agent 能做什么，适合哪些场景？

Spider 是一个用 Rust 编写的并发优先网页爬虫引擎，可快速抓取并流式输出网页数据。它支持 HTTP 优先抓取，仅在页面需要时才启动无头浏览器渲染 JavaScript，从而提升效率。项目提供 Rust 库、CLI、Node.js 和 Python 包，并支持通过 Spider Cloud 进行托管爬取。引擎内置并发、限速、重试、代理和反检测功能，并可通过 API 轻松扩展。Spider 适用于构建 LLM 和 RAG 管道的数据采集，也支持监控、数据导出和 AI 浏览代理等场景。

Spider 通过异步爬取网页，自动解析链接并遵循站点边界。它使用 HTTP 客户端优先发起请求，当检测到页面需要 JavaScript 时，会启动无头 Chrome 进行渲染。爬取到的页面以流的形式实时推送，开发者可订阅获取。用户可通过配置设置并发请求数、爬取深度、延迟、robots.txt 遵守、子域名限制、用户代理和隐身模式等。同时支持输出为 Markdown、JSON 或 WARC 格式，并可在本地运行或通过 Spider Cloud 使用，后者提供代理和自动解锁功能。所有操作均通过 Rust API 或命令行工具完成。

1. AI/LLM 开发者需要从网上海量网页提取数据，用于构建 RAG 管道的向量数据库。
2. SEO 团队需要定期监控网站页面变化，跟踪排名或竞争对手的更新。
3. 电商价格监控系统需要定期抓取商品页面的价格信息并对比变化。
4. 需要导出网页内容为 Markdown 或 JSON 格式，便于后续处理或存档。
5. AI 浏览代理需要驱动无头 Chrome 访问动态网页并交互。
6. 需要高并发抓取的团队，希望从单脚本扩展到分布式集群，而无需更改代码。

这个 Agent 有哪些优点和局限？

如何安装或部署这个 Agent？

以 Rust 库方式安装：在项目目录执行 cargo add spider。若需 JavaScript 渲染功能，需在 Cargo.toml 中启用 chrome feature。也可通过 CLI 安装：cargo install spider_cli；Node.js：npm i @spider-rs/spider-rs；Python：pip install spider_rs。

如何使用这个 Agent？

在 Rust 代码中，先创建 Website 实例，设置要爬取的 URL 和相关配置（如并发数、深度），调用 crawl() 或 crawl_smart() 方法启动爬取，并通过订阅 rx 接收流式返回的页面数据。例如：

use spider::{tokio, website::Website};

#[tokio::main]
async fn main() {
    let mut website = Website::new("https://example.com");
    let mut rx = website.subscribe(16);
    tokio::spawn(async move {
        while let Ok(page) = rx.recv().await {
            println!("{}  {}", page.status_code, page.get_url());
        }
    });
    website.crawl().await;
    website.unsubscribe();
}

常见问题