全部项目
34 个仓库 · 数据更新于 2026-11-07
正在加载…
1unclecode / crawl4ai适用于大语言模型和人工智能代理的开源网络爬虫和抓取工具：将任何网站转换为干净、适合大语言模型的 Markdown。自己运行，或者一键使用Crawl4AI Cloud。加入我们的 Discord https://discord.gg/VuxzM8mtfPythonApache-2.0 · 宽松，可直接商用名次历史不足87,015
2NaiboWang / EasySpiderA visual no-code/code-free web crawler/spider易采集:一个可视化浏览器自动化测试/数据采集/网页爬虫软件,可以无代码图形化的设计和执行爬虫任务。别名:ServiceWrapper面向Web应用的智能化服务封装系统。JavaScriptAGPL-3.0 · 需开源衍生作品名次历史不足44,768
6Evil0ctal / Douyin_TikTok_Download_API🚀 自托管的抖音、TikTok、B 站数据采集与无水印视频下载 API,支持 AI agent 通过 MCP 调用与离线语音转文字,Docker 一键部署。| Self-hosted TikTok, Douyin & Bilibili scraper and no-watermark video downloader — async REST API, MCP server for AI agents, CLI and web console, plus offline speech-to-text for downloaded videos. Self-healing identity pool, PostgreSQL archive, one docker compose up.PythonApache-2.0 · 宽松，可直接商用名次历史不足21,227
9NopeCHALLC / nopecha-extension适用于您的浏览器的自动验证码解算器。与 Selenium、Puppeteer、Playwright 等一起工作。MIT · 宽松，可直接商用名次历史不足11,095
10guyueyingmu / avbookAV 电影管理系统, avmoo , javbus , javlibrary 爬虫,线上 AV 影片图书馆,AV 磁力链接数据库,Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video DatabasePHP许可证未声明不活跃名次历史不足10,109
11apify / crawlee-pythonCrawlee——一个用于 Python 的网络抓取和浏览器自动化库，用于构建可靠的爬虫。提取 AI、LLM、RAG 或 GPT 的数据。从网站下载 HTML、PDF、JPG、PNG 和其他文件。适用于 Parsel、BeautifulSoup、Playwright 和原始 HTTP。有头模式和无头模式。通过代理轮换。PythonApache-2.0 · 宽松，可直接商用名次历史不足9,657
16AhmadIbrahiim / Website-downloader💡 下载任何网站的完整源代码（包括所有资产）。 [ JavaScript、样式表、图像 ] 使用 Node.jsHTMLMIT · 宽松，可直接商用名次历史不足6,075
17yujiosaka / headless-chrome-crawler由 Headless Chrome 提供支持的分布式爬虫JavaScriptMIT · 宽松，可直接商用不活跃名次历史不足5,631
19niespodd / browser-fingerprinting机器人防护系统分析及可用对策 🚿。在抓取网页时如何击败反机器人系统👻并绕过浏览器指纹识别脚本🕵️♂️？JavaScript许可证未声明名次历史不足5,156
