102,361 星、55 个版本,没有一个 1.0
这个仓库在打包元数据里把自己标成 Beta,README 开头却写着 The BEST Web Scraping framework。
2026-11-13 核对时,D4Vinci/Scrapling 有 102,361 星、10,652 fork,BSD-3-Clause,主语言 Python,默认分支 main。建仓于 2024-10-13,最近一次推送是 11-11。身份字段全部读自 api.github.com 的仓库接口。
| 字段 | 核对值 |
|---|---|
| 星标 / fork | 102,361 / 10,652 |
| 未结 issue 计数 | 28(含 PR,见第 05 节) |
| 创建 / 最近推送 | 2024-10-13 / 2026-11-11 |
| 许可 / 主语言 | BSD-3-Clause / Python |
| 版本 / 开发状态 | 0.5.1 / 4 - Beta |
| release / tag | 55 / 55 |
55 个 release 从 2024-10-13 的 v0.1 排到 2026-11-04 的 v0.5.1,两年过去主版本号一次没动。55 个 tag 与 55 个 release 一一对应,没有单独的预发布标记。
更硬的一句在 pyproject.toml 第 38 行:分类标签留的是 Development Status :: 4 - Beta,Production/Stable 与 Mature 两行被注释掉。作者自己没有把它当稳定版。
v0.5.1 的发布说明里带了一条 WARNING:这个「小版本升级」对远程浏览器连接引入破坏性变更,连接前要换成新的 session 类并看迁移页。0.5 到 0.5.1 就断点,和 Beta 标注是对得上的。
编号里还有一处小坑:tag 从 v0.2.9 直接排到 v0.2.91 至 v0.2.99 共九个,再跳 v0.3。补丁号被当成两位数用,读 release 数量时别按版本号推算。
三层能力靠四组可选依赖分发,默认只给解析器
README 第一段示例要 import 的东西,不在默认安装里。
pyproject.toml 的必装依赖只有 6 个:lxml、cssselect、orjson、tld、w3lib、typing_extensions,全部服务于 HTML 解析。抓取、爬虫、MCP、命令行都在可选组里,要单独点名才装。
| 安装档位 | 新增依赖数 | 能用到什么 |
|---|---|---|
| pip install scrapling | 6(必装) | 解析器、CSS / XPath / 文本检索 |
| [fetchers] | 9 | HTTP 请求、浏览器、隐身会话、spider |
| [ai] | 3(含 fetchers) | mcp、Markdown 转换、MCP server |
| [rag] / [shell] | 各 3 | Markdown 语料 / IPython 交互壳 |
| [all] | ai + shell | 全量 |
落差就在同一份 README 里。第 81 行「Start with a single page」的第一例从 scrapling.fetchers 导入 Fetcher,第 91 行的 spider 例从 scrapling.spiders 导入 Spider。
到第 546 行的 IMPORTANT 才写明:只跑 pip install scrapling 时,这两处都会抛 ModuleNotFoundError。作者自己承认了,不是读者猜的。
- 只解析本地 HTML:装默认包即可。
- 要发请求:先装
scrapling[fetchers],再跑scrapling install下载浏览器与指纹依赖。 - 要给 agent 用:装
scrapling[ai],入口是scrapling-mcp。 - 要过反爬:还要自己配代理,见第 05 节。
AI 侧是另一条分发线。根目录的 server.json 把 MCP server 注册成两个包:PyPI 走 uvx,OCI 走 ghcr 镜像,传输都是 stdio。
agent-skill/ 目录另有 27 个文件;两个命令行入口 scrapling 与 scrapling-mcp 写在 project.scripts 里。这些都不在默认安装里。
AI_POLICY.md 把贡献门槛写得很细:任何 AI 辅助都要在 PR 或 issue 里披露用途与程度,未披露的先打 AI-Slop 标签再关闭;只有空格与错字这类小改动豁免,适用范围连 agent skill 的翻译也算。
文档 8.09 MB,核心代码只有 640 KB
这个仓库的重量不在代码,在九种语言的文档和一份很长的赞助商名单。
git tree 递归接口返回 truncated:false,843 个节点 = 699 个 blob + 144 个 tree,逐 blob 累加 10,835,461 字节。本文所有体量数字都以此为准。
| 顶层目录 | 文件数 | 字节 | 说明 |
|---|---|---|---|
| docs/ | 439 | 8,092,202 | 占全仓 74.7% |
| tests/ | 104 | 1,127,255 | 比源码还大 |
| scrapling/ | 63 | 640,234 | 62 个 .py 是核心库 |
| images/ | 21 | 442,305 | logo 与赞助图 |
| agent-skill/ | 27 | 387,635 | 给 agent 用的技能包 |
| README.md | 1 | 38,479 | 630 行 |
docs 是核心代码的 12.6 倍,大头是翻译。docs/locales/ 有 360 个文件、4,988,827 字节,占 docs 的 61.7%。
- 九种语言:ar、de、es、fr、ja、ko、pt-BR、ru、zh。
- 每种正好 40 篇,docs 下共 389 个 Markdown 文件。
- 根目录另配 10 个 zensical 配置文件。
- tests 有 104 文件 1,127,255 字节,是源码的 1.76 倍。
口径要分开。languages 接口只统计代码文件,不认 md、json、yml、png;仓库 size 字段是又一套算法。三者不能相加。
| 口径 | 数值 | 覆盖范围 |
|---|---|---|
| git tree 逐 blob | 10,835,461 字节 | 全仓 699 个文件 |
| languages 合计 | 1,782,535 字节 | Python 1,777,539 / HTML 3,838 / Dockerfile 1,158 |
| 仓库 size | 16,302 KB | 接口自算,本文不引用 |
README 的 38,479 字节里,从 # Platinum Sponsors 到赞助区结束共 10,375 字节,占 27.0%;全文有 67 处 utm_ 追踪参数。
| 赞助区结构 | 核对值 |
|---|---|
| Platinum Sponsors 表格行数 | 12 个赞助条目 |
| 其中付费服务商 | 11 家:代理 IP、反爬 token、验证码求解、数据 API |
| 其余 1 个条目 | The Web Scraping Club 的评测链接 |
| 赞助区字节 | 10,375 / 38,479(27.0%) |
换句话说,README 超过四分之一是广告位。这些厂商卖的东西,恰好是框架自己不提供的那一段:住宅代理、反爬 token、hCaptcha 求解。
数据核对:字段均直接读取,体量与热度是两套口径。
- 身份:D4Vinci/Scrapling,102,361 星 / 10,652 fork,BSD-3-Clause,Python,main,建于 2024-10-13,推送 2026-11-11。
- 版本:55 个 release / 55 个 tag,v0.1 到 v0.5.1 全为 0.x;pyproject 标 4 - Beta。
- 体量:git tree truncated=false,843 节点 / 699 blob / 10,835,461 字节;docs 8,092,202,scrapling 640,234。
- 口径:languages 仅 1,782,535 字节,不含 md / json / png;仓库 size 为 16,302 KB,本文不引用。
- 边界:均来自仓库内文件与 GitHub 接口,未安装、未运行、未复现基准。
核对时间 2026-11-13。
先定档位,再抄示例;基准表要连方法一起读
把 README 第一段当入门示例照抄,会先撞上一次 ModuleNotFoundError。
环境门槛写在 pyproject.toml:Python 3.10 及以上,分类器列到 3.13。shell 组把 IPython 锁在 8.37,注释说明那是最后一个支持 3.10 的版本。
再看 README 那句「blazing fast」的基准。八个库的耗时从 1.99 毫秒排到 3412.73 毫秒,倍数全部以 Scrapling 自己为分母,先摆成表:
| 库 | 耗时 (ms) | 相对 Scrapling |
|---|---|---|
| Scrapling | 1.99 | 1.0x |
| Parsel/Scrapy | 2.06 | 1.035x |
| Raw Lxml | 2.56 | 1.286x |
| PyQuery | 23.98 | ~12x |
| Selectolax | 197.02 | ~99x |
| MechanicalSoup | 1545.15 | ~776.5x |
| BS4 with Lxml | 1562.1 | ~785.0x |
| BS4 with html5lib | 3412.73 | ~1714.9x |
倍数取决于挑谁来比。离得最近的 Parsel 只慢 0.07 毫秒,也就是 3.5%;那个 1714.9 倍来自全场最慢的 BS4 + html5lib。同为解析库,差距不是三个数量级。
方法学也在仓库里,可以逐行核。benchmarks.py 用 time.process_time(CPU 时间,不是墙钟)、100 次 repeat 取平均值,却把变量命名为 min_time;解析测试还显式设了 adaptive=False,关掉 README 主推的自适应元素追踪。
README 写「100+ 次运行的平均值」,与脚本的 repeat=100 对得上。第二张表只有 Scrapling 2.3 毫秒对 AutoScraper 12.58 毫秒,2 个样本。基准是自测、自选对照物、自选计时器,拿去做选型前最好自己跑一遍。
升级还有一道手续。v0.5.1 起远程浏览器连接改用 RemoteSession 与 AsyncRemoteSession,旧 CDP 写法要按迁移页调整;new_context=False 才复用已登录的浏览器状态。
免费的是解析器,贵的是把请求送出去那一段
10 万星里有多少是冲着「免费过反爬」来的,而这恰恰是仓库里最不免费的部分。
README 把 Anti-bot Bypass、Cloudflare Turnstile 绕行写在特性清单里,同一页又写着「For enterprise-grade protection」要接付费厂商。第 03 节那张表里,12 个赞助条目有 11 个是付费服务商,只有 1 个是媒体评测链接。
更精确的原文是:「Scrapling handles Cloudflare Turnstile」,企业级防护则交给 Hyper Solutions 的付费 API,用来生成 Akamai、DataDome、Kasada、Incapsula 的合法反爬 token。免费与付费的分界线,作者自己画了。
这不是「作者隐瞒」。准确说法是两条链路:本地解析和普通请求自己就能跑;一旦要规模化抓取、要过企业级防护,就要买代理、买打码、买指纹。开源的是框架,不是反爬能力。
另一处不对称在 AI 政策。AI_POLICY.md 要求所有 AI 辅助贡献在 PR 或 issue 里披露,未披露的先打 AI-Slop 标签再关闭,连 agent skill 的翻译都在适用范围内。
但同一仓库给 AI 用出去的那条路全铺开了:MCP server 注册、agent-skill 目录、v0.5.1 新增的「录一段页面动画给 agent 看」和拖拽控制。对写进来的代码设门禁,对用出去的能力不设——这个取舍本身值得抄。
ROADMAP.md 还留着 5 项未勾选,恰好是「智能」二字最吃重的部分:
| 未完成项 | 对应 README 的承诺 |
|---|---|
| 替换 parsel 的 Scrapy 插件 | 与既有生态互操作 |
| 自动识别分页 URL | 全规模爬取 |
| 自动检测页面 schema | 自适应提取 |
| analyzer 读 meta 元素 | 智能元素追踪 |
| 从一组元素生成正则 | 相似元素匹配 |
维护面也比星标窄。commits 接口末页显示 1,827 次提交、53 位贡献者,其中 D4Vinci 一人 1,712 次,占 93.7%。v0.5.1 的修复清单里倒是出现了十几个不同名字,多为单点 bugfix。
还有个容易读错的字段:open_issues_count 是 28,用 search 拆开是 6 个真 issue 加 22 个 PR。含 PR 的字段不能当成「只有 28 个待修问题」,也不能当成社区活跃度的证据。
把它当成一个仍在 Beta、由一人主要维护的解析器库来用,比当成「能绕开一切反爬的平台」更接近实物。真要上规模,先算代理的钱,再算 0.x 版本的迁移成本。