软鉴SoftMemo
浏览软件目录

Scrapling 是用于开发网页采集程序的 Python 框架，涵盖 HTTP 请求、浏览器自动化、页面解析和并发爬取。它支持动态页面与后台 API 数据采集，也能将网页转换为 Markdown 或导出结构化数据，适合编写采集脚本和构建知识库数据管线。

适合同时采集普通网页与动态网页的开发者 · 需要持续运行整站采集任务的数据开发者 · 为知识库准备网站语料的 RAG 开发者

亮点

  1. 兼顾请求与浏览器采集

    同时提供 HTTP 请求与浏览器自动化，覆盖普通网页和依赖 JavaScript 的动态页面。

  2. 多种检索与元素跟踪

    结合选择器、文本搜索、自适应元素跟踪和相似元素匹配，处理网页数据提取。

  3. 从单页扩展到整站

    内置并发爬虫、自动限速与暂停恢复，支持持续采集并导出多种数据格式。

  4. 网页转为知识库语料

    无需调用大模型即可将页面或整站转成清理后的 Markdown，供 RAG 流程使用。

功能说明

页面获取与交互

  1. 请求与动态渲染

    支持 HTTP/3、浏览器 TLS 指纹模拟，以及 Playwright Chromium、Google Chrome 浏览器自动化。

  2. 会话与代理管理

    跨请求保留 Cookie 和状态，支持循环或自定义代理轮换及单次请求代理覆盖。

  3. 后台接口捕获

    浏览器会话启用记录后，可检索跨页面加载保存的 API 响应与 HTTP 错误，无需重新请求；历史有容量限制，保存文本响应体。

  4. 远程浏览器连接

    通过 CDP 连接本机、远程主机或托管服务上已运行的浏览器，也可指定自己的 Chromium 可执行文件。

  5. 隐蔽浏览器采集与 Cloudflare 挑战处理

    StealthyFetcher 提供隐蔽浏览器与指纹伪装能力，支持处理 Cloudflare Turnstile 和 Interstitial 挑战；不应将其视为对所有网站或验证码的通过保证。

解析与内容清理

  1. 选择与匹配元素

    支持 CSS、XPath、文本及正则搜索，并提供自适应元素跟踪和相似元素匹配。

  2. 按范围转换 Markdown

    可只转换 body 内内容或 CSS 选中的元素；多个匹配结果会合并，转换前移除脚本、样式和隐藏内容。

  3. 整站语料生成

    ContentSpider 生成含网址、标题和 Markdown 的条目，并可逐页保存 Markdown 文件及导出 JSONL；转换无需大模型参与。

爬取与结果导出

  1. 并发任务控制

    提供并发爬虫、重试、AutoThrottle、暂停恢复、流式处理与现成模板。

  2. 限制语料采集范围

    ContentSpider 要求指定允许域名，可设置转换页面上限及链接允许、排除规则，排除规则优先；达到上限时已排队的请求仍可能被抓取，但不再转换。

  3. 结构化数据导出

    采集结果可导出为 JSON、JSONL、CSV 或 XML，供后续处理使用。

智能体与终端入口

  1. 智能体采集工具

    MCP 提供 HTTP 请求、浏览器操作、截图、保存登录状态及读取后台响应的工具。

  2. 编程助手技能

    配套 Agent Skill 向编程助手提供库的用法，帮助生成符合当前 API 的代码。

  3. 终端交互采集

    提供命令行命令和交互式 Shell，可从终端开展网页采集。

适合场景

  1. 同时采集普通网页与动态网页的开发者

    可以按页面需要使用 HTTP 请求或浏览器自动化，并管理跨请求会话和代理。

  2. 需要持续运行整站采集任务的数据开发者

    并发、重试、自动限速及暂停恢复用于控制爬取过程，结果可导出到后续处理流程。

  3. 为知识库准备网站语料的 RAG 开发者

    可限定域名和内容范围，将网页转成 Markdown 条目及逐页文件，无需大模型参与转换。

  4. 希望让 AI 助手调用网页采集能力的用户

    MCP 暴露浏览器操作与数据读取工具，配套技能则帮助编程助手编写采集代码。

取舍

选它的理由

  • 后台 API 响应可以保存后检索浏览器会话开启请求记录后，可跨页面加载搜索已保存的响应，读取 API 数据与 HTTP 错误而不必重新请求；历史记录有容量边界，保存的是文本响应体。
  • 代理轮换兼顾会话策略与单次请求内置代理轮换器支持循环或自定义策略，适用于各类会话，同时允许单次请求覆盖代理，便于按采集任务调整出口。
  • 可直接生成知识库摄取用的网页语料ContentSpider 可将整站页面转为包含 URL、标题和 Markdown 的条目，并按页保存文件；支持域名边界、链接规则、限页与暂停恢复，转换过程不依赖 LLM。
  • 浏览器采集可连接远程实例可通过 CDP 连接本机、其他主机或托管服务上已运行的浏览器，无须每次在本地启动；也可指定自己的 Chromium 可执行文件。

使用须知

  • 运行环境需要 Python 3.10 或更高版本
  • 基础安装仅包含解析器，采集功能需另装依赖仅安装基础包时不包含 fetchers、spiders 或命令行所需依赖，直接导入采集模块会报错；使用请求或爬虫功能前需安装对应依赖。
  • 浏览器采集需要额外下载浏览器依赖这项准备只针对基于浏览器的 fetcher，不能把基础 Python 包安装完成视为浏览器采集环境已就绪。
  • MCP、Shell 与 Markdown 转换需另装可选组件MCP 服务需 scrapling[ai]，交互式 Shell 与 extract 命令需 scrapling[shell]，Markdown 转换需 scrapling[rag]（ai、shell、all 已包含）；只装基础包无法使用这些入口。

同分类软件

查看全部

更多「编程开发」软件

软鉴 SoftMemo

AI 整理的软件知识库

AI 整理软件资料、版本动态、更新通知、订阅权益与对比分析，沉淀可复用的工具知识。

进入软鉴浏览软件目录
访问网站