The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

基于 AI 智能体和 RAG 技术的精选 LLM 应用集合，支持 OpenAI、Anthropic、Gemini 及开源模型

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

支持Pydantic与大型语言模型协同工作的智能体框架/适配层

《深入理解AI Agent：设计原理与工程实践》（李博杰着）开源主仓库：全书正文、编译版PDF与按章安装代码

LightRAG：简单快速的检索增强生成框架

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

📄🧠 PageIndex：基于推理的RAG文档索引系统 （注：根据技术文档翻译规范，RAG保持英文缩写形式，因其在人工智能领域作为"Retrieval-Augmented Generation"的专有术语已被广泛接受；"Reasoning-based"采用"基于推理的"标准译法，准确体现技术特性；整体表述保持项目描述的专业性与简洁性）

面向大语言模型的高吞吐量与内存优化型推理服务引擎

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

结构化输出

一个使用大语言模型从非结构化文本中提取结构化信息的Python库，具备精确的源数据溯源和交互式可视化功能。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

点亮AI智能体的终极训练器

大语言模型评估框架

基于人工智能的Python爬虫工具

🦜🔗 构建情境感知推理应用程序 🦜🔗

基准测试表现最佳的开源AI记忆系统。而且完全免费。

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理