scraper

面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

创建可监控并代您执行的智能体。您的智能体随时待命！

易采集：一个可视化无代码/免编程的网络爬虫工具，支持通过图形化界面设计和执行采集任务。别名：ServiceWrapper面向Web应用的智能化服务封装系统。

👾 使用 Go 语言编写的快速简洁视频下载库与命令行工具

基于人工智能的Python爬虫工具

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

从Instagram下载图片（或视频）及其标题和其他元数据。

将文档网站、GitHub仓库和PDF文件转换为Claude AI技能，并具备自动冲突检测功能。

面向现代网络的隐私优先、自托管验证码解决方案。

一款跨平台的Electron桌面应用，可流媒体播放和下载全球任何电影、电视剧或动漫，零广告且无追踪。

构建无懈可击爬虫的全能框架

从谷歌地图抓取数据。提取每个地点的名称、地址、电话号码、网站URL、评分、评论数量、经纬度、评论内容、电子邮件等信息。

💡 使用Node.js下载任意网站的完整源代码（包含所有资源文件）。[ JavaScript文件、样式表、图像 ]

📈 从TradingView获取实时股票数据

获取域名列表，爬取网址并扫描端点、密钥、API密钥、文件扩展名、令牌等

AnyCrawl 🚀：一款基于Node.js/TypeScript的爬虫工具，可将网站转化为适用于大语言模型的就绪数据，并能从谷歌、必应、百度等搜索引擎提取结构化搜索结果。原生支持多线程以进行批量处理。

NewPipe用于从流媒体网站提取数据的核心库

通过使用此自动申请器自动化您的申请流程，让您的求职变得轻松。

Crawly，一个用于 Elixir 的高层级网络爬取与抓取框架。

⚡ 完整的X/Twitter自动化工具包——包含爬虫、AI代理MCP服务器（Claude/GPT）、命令行工具、浏览器脚本。无需API费用。开源。自动取关未回关用户。实时监控分析数据。自动关注、点赞、评论、采集，无需API。

开箱即用的本地JAV/视频刮削、管理、播放软件，支持命令行一键安装和docker部署。只需简单添加目录，即可打造你的私人JAV/视频媒体库，带给你顶级的浏览体验，懒人必备。| 你的本地JAV/视频管理器。