由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
项目竞品项目
lorien/awesome-web-scraping
用于网络爬虫与数据处理的库、工具及API列表。
edoardottt/cariddi
获取域名列表，爬取网址并扫描端点、密钥、API密钥、文件扩展名、令牌等
getmaxun/maxun
🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥
TeamNewPipe/NewPipeExtractor
NewPipe用于从流媒体网站提取数据的核心库
DedSecInside/TorBot
暗网开源情报工具
apify/crawlee
Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。
D4Vinci/Scrapling
🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！
scrapy/scrapy
Scrapy：Python 快速高级网页爬取与抓取框架
firecrawl/firecrawl
面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥
NaiboWang/EasySpider
易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。
ScrapeGraphAI/Scrapegraph-ai
基于人工智能的Python爬虫工具
iawia002/lux
👾 使用 Go 语言编写的快速简洁视频下载库与命令行工具
相关项目推荐
anoma/anoma
Anoma 协议的参考实现
plausible/analytics
简洁、开源、轻量且注重隐私的网站分析工具，可作为Google Analytics的替代方案。
elixir-lang/elixir
Elixir 是一种动态函数式语言，用于构建可扩展且可维护的应用程序。
openai/symphony
Symphony 将项目工作转化为隔离的自主执行运行，使团队能够管理工作本身，而非监督编码代理。
phoenixframework/phoenix
从原型到生产皆安心无忧
electric-sql/electric
Postgres 实时同步