Firecrawl：网页数据 API
将网页内容转化为干净的 Markdown 或结构化数据，让 AI 代理能够获取实时网页信息。
- Star 数
- ★ 193k
- 最近更新
- 今天
- License
- AGPL-3.0
- 主语言
- TypeScript
- FA 评分
- 41/100 · 缺口较多
30 秒速览
- 运行形态
- 可在哪里用
- 通用 · 跨平台ChatGPT · Claude Code
- 费用
- 有免费版，另有付费云服务
- 上手难度
- 低 · 几分钟可跑通
- 开始前需要
- 典型场景
- 数据科学家需要从多个网站抓取结构化数据用于研究分析。
- 不适合
- 需要完全离线、数据不出本地的团队
- 不愿注册 firecrawl.dev 获取 API Key 的用户
- 希望自行维护抓取基础设施的团队
这个 Agent 能做什么，适合哪些场景？
Firecrawl 是一个开源 API，提供搜索、抓取、爬取和网页交互功能。它支持将 URL 转换为干净的 Markdown、结构化 JSON 或截图，并具备处理 JavaScript 渲染页面的能力。核心端点包括 /search、/scrape、/interact、/crawl、/map 和 /agent，并提供 Python、Node.js、Go 等多种 SDK。Firecrawl 提供公开托管服务（firecrawl.dev）和自托管选项，并为 AI 代理提供 MCP 服务器和 CLI 技能。
Firecrawl 提供多个 API 端点：/search 执行网络搜索并返回页面内容；/scrape 将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON；/interact 允许通过 AI 提示或代码与页面交互；/crawl 抓取整个网站；/map 快速发现网站所有 URL；/agent 使用 AI 代理根据提示自动收集数据。输出格式包括 Markdown、结构化 JSON、截图和实时视图。它支持媒体解析（PDF、DOCX）、动作（点击、滚动、输入等），并通过 MCP 和 CLI 技能集成到 AI 代理中。
- 数据科学家需要从多个网站抓取结构化数据用于研究分析。
- AI 应用开发者需要将网页内容转换为干净的 Markdown 供 LLM 使用。
- 需要监控竞争对手定价信息的商业分析师，可使用 /agent 自动查询。
- 开发者需要将网页搜索功能集成到聊天机器人如 Claude Code 中。
- 研究人员需要从 PDF、DOCX 等文档中提取内容，Firecrawl 支持媒体解析。
- 需要批量抓取多个 URL 的用户可通过 /batch_scrape 实现。
如何安装或部署这个 Agent？
在 firecrawl.dev 注册获取 API 密钥。Python：pip install firecrawl-py。Node.js：npm install firecrawl。CLI：可通过 npx firecrawl-cli 使用。
如何使用这个 Agent？
使用 API 密钥初始化客户端：Python Firecrawl(api_key="fc-...")，Node.js new Firecrawl({apiKey: "fc-..."})。调用 /search 方法进行网络搜索，/scrape 抓取 URL，/agent 执行智能数据收集。CLI：firecrawl search "query" --limit 5，firecrawl scrape <url>。
这个 Agent 有哪些优点和局限？
- 覆盖率高，能处理 JS 重度页面，减少代理配置。
- 输出为 LLM 友好的 Markdown 或结构化 JSON，节省 token。
- 提供 MCP 和 CLI 技能，轻松集成到主流 AI 代理。
- 支持动作交互（点击、滚动等），适用于动态页面。
- 提供自托管选项，数据控制更灵活。
- 需要 API 密钥，免费额度有限，高用量需付费。
- 自托管配置复杂，需自行处理基础设施。
- 依赖外部服务（托管版），可能存在数据隐私顾虑。
这个 Agent 与同类方案有什么区别？
与 Apify 和 ScrapingBee 相比，Firecrawl 在 /agent 端点中提供更简单的 AI 驱动数据收集，但两者都是商业服务。
与相关度最高的同类 agent 并排比较关键指标。
| Agent | 源码审查 | 形态 / 费用 | Star | 最近更新 | 主语言 | 完整支持的平台 |
|---|---|---|---|---|---|---|
| Firecrawl：网页数据 API 当前 | 41 · 缺口较多 | 代码库 / SDK免费版 + 付费版 | ★ 193k | 今天 | TypeScript | ChatGPT · Claude Code |
| Maxun | 48 · 缺口较多 | 云服务 / SaaS免费版 + 付费版 | ★ 18k | 今天 | TypeScript | — |
| Apify MCP Server | 77 · 存在缺口 | 云服务 / SaaS免费 + 模型费 | ★ 12k | 2 天前 | TypeScript | ChatGPT · Claude Code · Claude.ai |
| webclaw 网页提取引擎 | 66 · 存在缺口 | 命令行工具免费版 + 付费版 | ★ 2.4k | 26 天前 | Rust | Codex · Claude Code · OpenAI API · Claude API |
FollowAgents 如何评估这个 Agent？
查看各维度的扣分理由
证据显示：API密钥通过环境变量或参数传递，测试中验证了云服务需要API密钥，自托管允许缺失，体现了最小权限原则的部分实现。但缺少用户确认机制，数据流透明度有限，敏感数据处理未详细说明，依赖安全未提及，外部影响（如爬取行为）有基本说明但无详细控制，回滚机制未提及，来源归属有贡献者列表但无明确维护责任。扣分原因：用户确认缺失，数据流不透明，依赖安全未评估，回滚缺失。
证据显示：README和SDK文档一致，测试覆盖了主要功能，但依赖可用性未明确，失败消息未详细说明。扣分原因：依赖可用性未验证，失败消息不充分。
证据显示：面向AI代理和开发者，场景多样，能力边界有说明（如尊重robots.txt），但触发精度（如交互操作）依赖AI提示，环境适配有多个SDK。扣分原因：触发精度依赖外部AI，环境适配未全面覆盖。
证据显示：信息架构清晰，安装说明详细，命名稳定，示例丰富，已知限制有提及，许可证明确，但版本变更日志未提供，维护责任未明确。扣分原因：版本变更日志缺失，维护责任不明确。
证据显示：输出格式多样（markdown、JSON等），边际价值高，但成本效益未详细说明。扣分原因：成本效益未量化。
证据显示：README中的声明有部分链接支持，但跨来源验证不足，事实与推断未明确分离。扣分原因：跨来源验证不足，事实与推断未分离。
- 源码中未见：执行前用户确认开启或自行加上执行前确认；先在沙箱或测试环境跑通，确认行为后再接入真实数据。
- 源码中未见：依赖安全审查安装前固定版本并做一次依赖扫描（如 npm audit、pip-audit）；优先放在容器里运行。
- 源码中未见：回滚或恢复路径运行前先备份，或在 git 分支、快照上操作，确保改动可以撤销。
- API密钥处理需谨慎，确保不在日志中泄露。
- 爬取行为可能违反网站政策，需遵守robots.txt和隐私政策。
- 依赖安全未评估，建议检查依赖漏洞。
- 版本变更日志缺失，升级前需谨慎。
最近版本
来自该项目 GitHub Releases 的最新发布记录，说明为上游原文摘录，未经本站改写或测试。
-
v2.11.0 Firecrawl v2.11.0
发布说明摘录
Firecrawl v2.11.0 Improvements - Firecrawl Research Index — Added a specialized index for agentic AI/ML research: search across 3M+ arXiv papers and the GitHub code behind them (issues, merged PRs, and READMEs, refreshed daily), fetch a paper's details or related work, and check claims against full text. It has state-of-the-art recall on arXivQA, outperforming the next best provider by 18% at comparable cost. Available via the API, SDKs, MCP, and CLI. …在 GitHub 查看 ↗ -
v2.10 Firecrawl v2.10
发布说明摘录
Firecrawl v2.10 Improvements - /parse endpoint — Upload local files (PDF, DOCX, DOC, ODT, RTF, XLSX, XLS, HTML) up to 50 MB and get back clean, LLM-ready Markdown, JSON, or a summary. Tables and reading order are preserved, with full Zero Data Retention support for enterprise plans. Available in JS, Python, Go, Rust, Java, .NET, PHP, Ruby, and Elixir SDKs. …在 GitHub 查看 ↗ -
发布说明摘录
Firecrawl v2.9.0 Improvements - Browser Interaction via /interact endpoint — Scrape a page, then call /interact to take actions on it — click buttons, fill forms, navigate deeper, or extract dynamic content. Describe what you want in natural language via prompt, or write Playwright code (Node.js, Python) and Bash (agent-browser) for full control. Sessions persist across calls, with live view and interactive live view URLs for real-time browser streaming. Persistent profiles let you save and reuse browser state (cookies, localStorage) across scrapes. Available in JS, Python, …在 GitHub 查看 ↗