scraping

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

Scrapy：Python 快速高级网页爬取与抓取框架

创建可监控并代您执行的智能体。您的智能体随时待命！

使用AI编程代理，通过一条命令克隆任意网站

🕵️‍♂️ 通过用户名从数千个网站收集个人档案

基于人工智能的Python爬虫工具

一款能通过所有机器人检测测试的隐形Chromium浏览器。可直接替代Playwright，并附带源码级指纹补丁。30/30项测试全部通过。

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

适用于 AI 代理的最佳无头浏览器。精简、快速、高兼容性。内置 Rust

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

NotebookLM/Perplexity开源替代方案，支持连接搜索引擎、Slack、Linear、Jira、ClickUp、Confluence、Notion、YouTube、GitHub、Discord等外部资源。加入Discord社区：https://discord.gg/ejRNvftDp9

用于浏览和播放动漫的命令行工具

将文档网站、GitHub仓库和PDF文件转换为Claude AI技能，并具备自动冲突检测功能。

🦊 反检测浏览器

为AI代理提供无头浏览器自动化服务器，用于访问通常被屏蔽的网站

用于网络爬虫与数据处理的库、工具及API列表。

Tabula是一款用于从PDF文件中提取表格数据的工具

从谷歌地图抓取数据。提取每个地点的名称、地址、电话号码、网站URL、评分、评论数量、经纬度、评论内容、电子邮件等信息。

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

构建无懈可击爬虫的全能框架

您的AI编程代理首选网页——基于MCP的本地优先搜索、抓取、爬取与研究。无需API密钥，无需云端，零成本查询。公开测试版。

使用一个命令提取任何网站的完整设计系统。 DTCG 代币、语义+基元+复合、Claude Code/Cursor/Windsurf 的 MCP 服务器、多平台发射器（iOS SwiftUI、Android Compose、Flutter、WordPress）、Tailwind v4、Figma 变量、shadcn/ui、CSS 健康审计、WCAG 修复、Chrome 扩展。麻省理工学院，剧作家，Node 20+。

为您的个人资料提供更优质的GitHub统计图像，同时支持私有仓库的统计数据