面向AI的网页数据API——将整个网站转换为LLM就绪的Markdown或结构化数据🔥

🕷️ 一个自适应网络爬虫框架，能够处理从单个请求到大规模爬取的所有任务！

🔥 开源无代码网页抓取、爬虫、搜索与AI数据提取平台 • 数分钟内将网站转为结构化API 🔥

Scrapy：Python 快速高级网页爬取与抓取框架

Crawlee——一个用于构建可靠爬虫的Node.js网络爬取和浏览器自动化库。支持JavaScript与TypeScript。可为人工智能、大语言模型、检索增强生成或GPT提取数据。从网站下载HTML、PDF、JPG、PNG等文件。兼容Puppeteer、Playwright、Cheerio、JSDOM及原始HTTP请求。支持有头模式与无头模式。提供代理轮换功能。

一款能通过所有机器人检测测试的隐形Chromium浏览器。可直接替代Playwright，并附带源码级指纹补丁。30/30项测试全部通过。

为您的AI代理赋予观察整个互联网的能力。读取并搜索Twitter、Reddit、YouTube、GitHub、Bilibili、小红书——一个命令行工具，零API费用。

面向AI就绪数据的PDF解析器。

用户友好型AI交互界面（支持Ollama、OpenAI API等）

🦜🔗 构建情境感知推理应用程序 🦜🔗

AI 编码助手技能（Claude Code、Codex、OpenCode、Cursor、Gemini CLI 等）。将任意包含代码、SQL 模式、R 脚本、Shell 脚本、文档、论文、图像或视频的文件夹转化为可查询的知识图谱。应用代码、数据库模式与基础设施整合于同一图谱中。

📚 《从零开始构建智能体》——从零起步的智能体原理与实践教程

LlamaIndex 是领先的文档智能体与 OCR 平台。

在工具输出、日志、文件和RAG分块到达LLM之前对其进行压缩。减少60-95%的令牌，答案不变。提供库、代理、MCP服务器。

LightRAG：简单快速的检索增强生成框架

您的AI第二大脑。支持自托管。从网络或文档中获取答案。构建自定义智能体、调度自动化任务、进行深度研究。将任何在线或本地大语言模型转化为您的个人自主AI（支持GPT、Claude、Gemini、Llama、Qwen、Mistral）。立即开始——免费使用。

📄🧠 PageIndex：基于推理的RAG文档索引系统 （注：根据技术文档翻译规范，RAG保持英文缩写形式，因其在人工智能领域作为"Retrieval-Augmented Generation"的专有术语已被广泛接受；"Reasoning-based"采用"基于推理的"标准译法，准确体现技术特性；整体表述保持项目描述的专业性与简洁性）

基于模块化图结构的检索增强生成系统

团队智能聊天 - 想象一下ChatGPT能够访问你团队的独特知识。

《深入理解 AI Agent：设计原理与工程实践》（李博杰 著）开源主仓库：全书正文、编译版 PDF 与按章配套代码