项目对比
选择 2–4 个项目，按同一口径比较。
google / robotstxt
该仓库包含 Google 的 robots.txt 解析器与匹配工具，属于 C++ 库，符合 C++11 标准。
D4Vinci / Scrapling
支持单次请求与批量抓取的网页采集框架。
热度
仓库 Star3,47998,870最高
Fork25910,353最高
维护
最近推送2026-04-012026-11-05
仓库创建2019-06-112024-10-13
基本信息
按用途浏览开发者工具数据库与数据工具 · 开发者工具
资源类型框架、SDK 与组件库框架、SDK 与组件库
细分类CLI 与开发组件CLI 与开发组件
首次收录2026-11-032026-11-02
语言C++Python
商用三档依据许可证元数据自动分类；具体义务需结合实际使用方式核对。未知不等于禁止商用。 采集时间 2026-11-07 UTC