01 · 这件事

102,361 星、55 个版本,没有一个 1.0

这个仓库在打包元数据里把自己标成 Beta,README 开头却写着 The BEST Web Scraping framework。

2026-11-13 核对时,D4Vinci/Scrapling 有 102,361 星、10,652 fork,BSD-3-Clause,主语言 Python,默认分支 main。建仓于 2024-10-13,最近一次推送是 11-11。身份字段全部读自 api.github.com 的仓库接口。

字段核对值
星标 / fork102,361 / 10,652
未结 issue 计数28(含 PR,见第 05 节)
创建 / 最近推送2024-10-13 / 2026-11-11
许可 / 主语言BSD-3-Clause / Python
版本 / 开发状态0.5.1 / 4 - Beta
release / tag55 / 55

55 个 release 从 2024-10-13 的 v0.1 排到 2026-11-04 的 v0.5.1,两年过去主版本号一次没动。55 个 tag 与 55 个 release 一一对应,没有单独的预发布标记。

更硬的一句在 pyproject.toml 第 38 行:分类标签留的是 Development Status :: 4 - Beta,Production/Stable 与 Mature 两行被注释掉。作者自己没有把它当稳定版。

v0.5.1 的发布说明里带了一条 WARNING:这个「小版本升级」对远程浏览器连接引入破坏性变更,连接前要换成新的 session 类并看迁移页。0.5 到 0.5.1 就断点,和 Beta 标注是对得上的。

编号里还有一处小坑:tag 从 v0.2.9 直接排到 v0.2.91 至 v0.2.99 共九个,再跳 v0.3。补丁号被当成两位数用,读 release 数量时别按版本号推算。

02 · 核心机制

三层能力靠四组可选依赖分发,默认只给解析器

README 第一段示例要 import 的东西,不在默认安装里。

pyproject.toml 的必装依赖只有 6 个:lxml、cssselect、orjson、tld、w3lib、typing_extensions,全部服务于 HTML 解析。抓取、爬虫、MCP、命令行都在可选组里,要单独点名才装。

安装档位新增依赖数能用到什么
pip install scrapling6(必装)解析器、CSS / XPath / 文本检索
[fetchers]9HTTP 请求、浏览器、隐身会话、spider
[ai]3(含 fetchers)mcp、Markdown 转换、MCP server
[rag] / [shell]各 3Markdown 语料 / IPython 交互壳
[all]ai + shell全量

落差就在同一份 README 里。第 81 行「Start with a single page」的第一例从 scrapling.fetchers 导入 Fetcher,第 91 行的 spider 例从 scrapling.spiders 导入 Spider。

到第 546 行的 IMPORTANT 才写明:只跑 pip install scrapling 时,这两处都会抛 ModuleNotFoundError。作者自己承认了,不是读者猜的。

  1. 只解析本地 HTML:装默认包即可。
  2. 要发请求:先装 scrapling[fetchers],再跑 scrapling install 下载浏览器与指纹依赖。
  3. 要给 agent 用:装 scrapling[ai],入口是 scrapling-mcp。
  4. 要过反爬:还要自己配代理,见第 05 节。

AI 侧是另一条分发线。根目录的 server.json 把 MCP server 注册成两个包:PyPI 走 uvx,OCI 走 ghcr 镜像,传输都是 stdio。

agent-skill/ 目录另有 27 个文件;两个命令行入口 scrapling 与 scrapling-mcp 写在 project.scripts 里。这些都不在默认安装里。

AI_POLICY.md 把贡献门槛写得很细:任何 AI 辅助都要在 PR 或 issue 里披露用途与程度,未披露的先打 AI-Slop 标签再关闭;只有空格与错字这类小改动豁免,适用范围连 agent skill 的翻译也算。

03 · 关键细节与数据

文档 8.09 MB,核心代码只有 640 KB

这个仓库的重量不在代码,在九种语言的文档和一份很长的赞助商名单。

git tree 递归接口返回 truncated:false,843 个节点 = 699 个 blob + 144 个 tree,逐 blob 累加 10,835,461 字节。本文所有体量数字都以此为准。

顶层目录文件数字节说明
docs/4398,092,202占全仓 74.7%
tests/1041,127,255比源码还大
scrapling/63640,23462 个 .py 是核心库
images/21442,305logo 与赞助图
agent-skill/27387,635给 agent 用的技能包
README.md138,479630 行

docs 是核心代码的 12.6 倍,大头是翻译。docs/locales/ 有 360 个文件、4,988,827 字节,占 docs 的 61.7%。

口径要分开。languages 接口只统计代码文件,不认 md、json、yml、png;仓库 size 字段是又一套算法。三者不能相加。

口径数值覆盖范围
git tree 逐 blob10,835,461 字节全仓 699 个文件
languages 合计1,782,535 字节Python 1,777,539 / HTML 3,838 / Dockerfile 1,158
仓库 size16,302 KB接口自算,本文不引用

README 的 38,479 字节里,从 # Platinum Sponsors 到赞助区结束共 10,375 字节,占 27.0%;全文有 67 处 utm_ 追踪参数。

赞助区结构核对值
Platinum Sponsors 表格行数12 个赞助条目
其中付费服务商11 家:代理 IP、反爬 token、验证码求解、数据 API
其余 1 个条目The Web Scraping Club 的评测链接
赞助区字节10,375 / 38,479(27.0%)

换句话说,README 超过四分之一是广告位。这些厂商卖的东西,恰好是框架自己不提供的那一段:住宅代理、反爬 token、hCaptcha 求解。

数据核对:字段均直接读取,体量与热度是两套口径。

核对时间 2026-11-13。

04 · 怎么用

先定档位,再抄示例;基准表要连方法一起读

把 README 第一段当入门示例照抄,会先撞上一次 ModuleNotFoundError。

环境门槛写在 pyproject.toml:Python 3.10 及以上,分类器列到 3.13。shell 组把 IPython 锁在 8.37,注释说明那是最后一个支持 3.10 的版本。

再看 README 那句「blazing fast」的基准。八个库的耗时从 1.99 毫秒排到 3412.73 毫秒,倍数全部以 Scrapling 自己为分母,先摆成表:

库耗时 (ms)相对 Scrapling
Scrapling1.991.0x
Parsel/Scrapy2.061.035x
Raw Lxml2.561.286x
PyQuery23.98~12x
Selectolax197.02~99x
MechanicalSoup1545.15~776.5x
BS4 with Lxml1562.1~785.0x
BS4 with html5lib3412.73~1714.9x

倍数取决于挑谁来比。离得最近的 Parsel 只慢 0.07 毫秒,也就是 3.5%;那个 1714.9 倍来自全场最慢的 BS4 + html5lib。同为解析库,差距不是三个数量级。

方法学也在仓库里,可以逐行核。benchmarks.py 用 time.process_time(CPU 时间,不是墙钟)、100 次 repeat 取平均值,却把变量命名为 min_time;解析测试还显式设了 adaptive=False,关掉 README 主推的自适应元素追踪。

README 写「100+ 次运行的平均值」,与脚本的 repeat=100 对得上。第二张表只有 Scrapling 2.3 毫秒对 AutoScraper 12.58 毫秒,2 个样本。基准是自测、自选对照物、自选计时器,拿去做选型前最好自己跑一遍。

升级还有一道手续。v0.5.1 起远程浏览器连接改用 RemoteSession 与 AsyncRemoteSession,旧 CDP 写法要按迁移页调整;new_context=False 才复用已登录的浏览器状态。

05 · 冷思考

免费的是解析器,贵的是把请求送出去那一段

10 万星里有多少是冲着「免费过反爬」来的,而这恰恰是仓库里最不免费的部分。

README 把 Anti-bot Bypass、Cloudflare Turnstile 绕行写在特性清单里,同一页又写着「For enterprise-grade protection」要接付费厂商。第 03 节那张表里,12 个赞助条目有 11 个是付费服务商,只有 1 个是媒体评测链接。

更精确的原文是:「Scrapling handles Cloudflare Turnstile」,企业级防护则交给 Hyper Solutions 的付费 API,用来生成 Akamai、DataDome、Kasada、Incapsula 的合法反爬 token。免费与付费的分界线,作者自己画了。

这不是「作者隐瞒」。准确说法是两条链路:本地解析和普通请求自己就能跑;一旦要规模化抓取、要过企业级防护,就要买代理、买打码、买指纹。开源的是框架,不是反爬能力。

另一处不对称在 AI 政策。AI_POLICY.md 要求所有 AI 辅助贡献在 PR 或 issue 里披露,未披露的先打 AI-Slop 标签再关闭,连 agent skill 的翻译都在适用范围内。

但同一仓库给 AI 用出去的那条路全铺开了:MCP server 注册、agent-skill 目录、v0.5.1 新增的「录一段页面动画给 agent 看」和拖拽控制。对写进来的代码设门禁,对用出去的能力不设——这个取舍本身值得抄。

ROADMAP.md 还留着 5 项未勾选,恰好是「智能」二字最吃重的部分:

未完成项对应 README 的承诺
替换 parsel 的 Scrapy 插件与既有生态互操作
自动识别分页 URL全规模爬取
自动检测页面 schema自适应提取
analyzer 读 meta 元素智能元素追踪
从一组元素生成正则相似元素匹配

维护面也比星标窄。commits 接口末页显示 1,827 次提交、53 位贡献者,其中 D4Vinci 一人 1,712 次,占 93.7%。v0.5.1 的修复清单里倒是出现了十几个不同名字,多为单点 bugfix。

还有个容易读错的字段:open_issues_count 是 28,用 search 拆开是 6 个真 issue 加 22 个 PR。含 PR 的字段不能当成「只有 28 个待修问题」,也不能当成社区活跃度的证据。

把它当成一个仍在 Beta、由一人主要维护的解析器库来用,比当成「能绕开一切反爬的平台」更接近实物。真要上规模,先算代理的钱,再算 0.x 版本的迁移成本。

去看原始仓库

Scrapling:从单次请求到全规模爬取的 Python 抓取框架,默认安装仅含解析器。

前往 GitHub

相关平台

#Scrapling #网页抓取 #开源项目