crawler

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

Scrapy：Python 快速高级网页爬取与抓取框架

易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

基于人工智能的Python爬虫工具

👾 使用 Go 语言编写的快速简洁视频下载库与命令行工具

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

适用于 AI 代理的最佳无头浏览器。精简、快速、高兼容性。内置 Rust

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

用于网络爬虫与数据处理的库、工具及API列表。

摄取、解析并优化任意数据格式 ➡️ 从文档到多媒体 ➡️ 以增强与GenAI框架的兼容性

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

您的AI编程代理首选网页——基于MCP的本地优先搜索、抓取、爬取与研究。无需API密钥，无需云端，零成本查询。公开测试版。

暗网开源情报工具

集信息收集、漏洞扫描与爬虫于一体的全能工具，是渗透测试人员的必备利器

获取域名列表，爬取网址并扫描端点、密钥、API密钥、文件扩展名、令牌等

ScopeSentry-网络空间测绘、子域名枚举、端口扫描、敏感信息发现、漏洞扫描、分布式节点

NewPipe用于从流媒体网站提取数据的核心库

Crawly，一个用于 Elixir 的高层级网络爬取与抓取框架。

Fast, lightweight Firecrawl/Tavily alternative in Rust. Web scraper, crawler & search API with MCP server for AI agents. Drop-in Firecrawl-compatible API (/scrape, /crawl, /search). 2.3x faster than Tavily, 1.5x faster than Firecrawl in 1K-URL benchmarks. 6 MB RAM, single binary. Self-host or use managed cloud.

Coomer|kemono.party 或 su 下载器

一个基于逆向工程实现的微信视频号加密视频在线解密工具及API服务。该项目利用微信官方的WebAssembly模块生成Isaac64伪随机数密钥流，并通过异或运算完成视频解密。

下一代爬虫和蜘蛛框架。