Firecrawl 是面向开发者的网页数据 API,将搜索、抓取和页面交互串成一条流程,直接输出适合大模型使用的 Markdown 或结构化数据,提供开源代码与云托管服务。

适合开发联网研究智能体的团队 · 搭建网页知识库的开发者 · 希望快速验证采集需求的小团队

亮点

  1. 搜索直接带回正文

    搜索结果可附带整页 Markdown,省去逐个链接再抓取的接线工作。

  2. 输出直接面向模型

    将网页整理为干净正文或按结构提取的 JSON,减少导航、页脚等无关上下文。

  3. 动态页面也能操作

    支持脚本渲染、等待、点击和填表,处理必须先交互才能取得内容的页面。

  4. 智能体接入少绕路

    提供官方 MCP、CLI 和技能,可接入 Cursor、Claude 等智能体工作流。

功能说明

站点采集

  1. 整站链接爬取

    从起始网址跟随链接,支持设置深度、页数上限和路径过滤。

  2. 站点网址发现

    通过 Map 发现网站内的网址,便于确定后续采集范围。

  3. 异步批量采集

    批量提交多个网址并异步抓取,适合已有链接清单的任务。

内容与格式

  1. 多种输出格式

    可返回 Markdown、HTML、截图、元数据及结构化 JSON。

  2. 在线文档解析

    支持解析网页托管的 PDF、DOCX 等文件并提取内容。

  3. 缓存实时选择

    可利用已有索引获取内容,或实时抓取以满足时效需求。

开发与控制

  1. 多语言开发包

    提供 Python、Node.js 等官方 SDK,也可直接调用 REST API。

  2. 自定义请求头

    支持向抓取请求传入自定义请求头,适配不同访问需求。

  3. 用量支出控制

    付费计划可设置追加消费月限额,也可关闭自动追加。

适合场景

  1. 开发联网研究智能体的团队

    需要同时查找来源、读取正文和操作页面时,可少维护几套搜索与浏览器工具的连接代码。

  2. 搭建网页知识库的开发者

    适合按站点或栏目采集资料,再将正文交给自己的切分、索引和检索流程。

  3. 希望快速验证采集需求的小团队

    建议先用托管试验场测试真实目标页,再决定接入 SDK 或维护自托管环境,不必一开始就安装整套服务。

取舍

选它的理由

  • 搜索到正文提取可用一次调用完成
  • 动态网页不必从零编写渲染流程
  • 整站采集可限制深度和路径
  • 提供在线试验场,无需先部署服务

先想清楚

  • 只是偶尔保存网页或阅读文章
  • 希望自托管后免费复刻全部云端能力
  • 只抓少量固定静态页面且已有脚本
  • 开源版不等于托管版完整能力

安全警示

  • 2026-07-29:GitHub 安全公告披露 JSON Schema 引用展开可导致任意文件读取。
  • 2026-07-29:GitHub 披露抓取恶意网站时,变更追踪的 git-diff 模式可触发远程代码执行。

基于公开资料与 AI 分析整理,仅供参考,请自行核实。

同类推荐

查看全部

更多「编程开发」软件

软鉴 SoftMemo

AI 整理的软件知识库

AI 整理软件资料、版本动态、更新通知、订阅权益与对比分析,沉淀可复用的工具知识。