由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名
项目竞品项目
apify/crawlee
Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。
yikart/AiToEarn
让我们用人工智能来赚钱!
CloakHQ/CloakBrowser
一款能通过所有机器人检测测试的隐形Chromium浏览器。可直接替代Playwright,并附带源码级指纹补丁。30/30项测试全部通过。
Skyvern-AI/skyvern
基于大语言模型与计算机视觉实现浏览器工作流自动化
ScrapeGraphAI/Scrapegraph-ai
基于人工智能的Python爬虫工具
D4Vinci/Scrapling
🕷️ 一个自适应网络爬虫框架,能够处理从单个请求到大规模爬取的所有任务!
lexmount/moli
适用于 AI 代理的最佳无头浏览器。精简、快速、高兼容性。内置 Rust
scrapy/scrapy
Scrapy:Python 快速高级网页爬取与抓取框架
JCodesMore/ai-website-cloner-template
使用AI编程代理,通过一条命令克隆任意网站
Panniantong/Agent-Reach
为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具,零API费用。
microsoft/playwright
Playwright 是一个用于 Web 测试与自动化的框架,支持通过单一 API 测试 Chromium、Firefox 和 WebKit 浏览器。
firecrawl/firecrawl
面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
donnemartin/system-design-primer
学习如何设计大规模系统。为系统设计面试做准备。包含Anki记忆卡片。
vinta/awesome-python
回答“我想用 Python 做 X,我应该使用哪个工具?”的最终列表。
practical-tutorials/project-based-learning
基于项目的教程精选列表
NousResearch/hermes-agent
与你共同成长的智能体