由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名

web-crawler

话题找到数量

firecrawl/firecrawl

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

157k
9k
744
+523
排名 #7
7月28日
查看详情

ScrapeGraphAI/Scrapegraph-ai

基于人工智能的Python爬虫工具

28k
2.8k
108
+26
排名 #10
7月30日
查看详情

apify/crawlee

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

24k
1.6k
642
+48
排名 #6
7月24日
查看详情

adithya-s-k/omniparse

摄取、解析并优化任意数据格式 ➡️ 从文档到多媒体 ➡️ 以增强与GenAI框架的兼容性

7.4k
610
296
+100
排名 #13
5月28日
查看详情

firecrawl/firecrawl-mcp-server

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

6.2k
699
532
+17
排名 #13
4月30日
查看详情

DedSecInside/TorBot

暗网开源情报工具

4.4k
715
140
+30
排名 #8
7月25日
查看详情

KnockOutEZ/wigolo

您的AI编程代理首选网页——基于MCP的本地优先搜索、抓取、爬取与研究。无需API密钥,无需云端,零成本查询。公开测试版。

3.6k
246
246
+2k
排名 #17
7月26日
查看详情
助手