crawl

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

Scrapy：Python 快速高级网页爬取与抓取框架

易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

👾 使用 Go 语言编写的快速简洁视频下载库与命令行工具

基于人工智能的Python爬虫工具

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

下一代爬虫和蜘蛛框架。

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

用于网络爬虫与数据处理的库、工具及API列表。

摄取、解析并优化任意数据格式 ➡️ 从文档到多媒体 ➡️ 以增强与GenAI框架的兼容性

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

构建无懈可击爬虫的全能框架

novel-plus is a multi-platform (PC, WAP) reading and feature-rich novel CMS system. It includes novel recommendations, novel search, novel rankings, novel reading, novel bookshelf, novel reviews, novel crawler, member center, writer zone, recharge subscription, news publishing, and other features.

暗网开源情报工具

集信息收集、漏洞扫描与爬虫于一体的全能工具，是渗透测试人员的必备利器

您的AI编程代理首选网页——基于MCP的本地优先搜索、抓取、爬取与研究。无需API密钥，无需云端，零成本查询。公开测试版。

获取域名列表，爬取网址并扫描端点、密钥、API密钥、文件扩展名、令牌等

AnyCrawl 🚀：一款基于Node.js/TypeScript的爬虫工具，可将网站转化为适用于大语言模型的就绪数据，并能从谷歌、必应、百度等搜索引擎提取结构化搜索结果。原生支持多线程以进行批量处理。

NewPipe用于从流媒体网站提取数据的核心库

Crawly，一个用于 Elixir 的高层级网络爬取与抓取框架。

Coomer|kemono.party 或 su 下载器

一个基于逆向工程实现的微信视频号加密视频在线解密工具及API服务。该项目利用微信官方的WebAssembly模块生成Isaac64伪随机数密钥流，并通过异或运算完成视频解密。

Firecrawl 的文档