数百种模型与提供商。一条命令即可找出可在您硬件上运行的内容。

自托管AI编程助手

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

Jan是ChatGPT的开源替代方案，可在您的计算机上完全离线运行。

LightRAG：简单快速的检索增强生成框架

基于 AI 智能体和 RAG 技术的精选 LLM 应用集合，支持 OpenAI、Anthropic、Gemini 及开源模型

《深入理解AI Agent：设计原理与工程实践》（李博杰着）开源主仓库：全书正文、编译版PDF与按章安装代码

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

关于大语言模型、检索增强生成及现实世界AI智能体应用的深度教程。

一个使用大语言模型从非结构化文本中提取结构化信息的Python库，具备精确的源数据溯源和交互式可视化功能。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

RAGFlow 是领先的开源检索增强生成引擎，融合尖端 RAG 与智能体能力，为大型语言模型构建卓越的上下文层

🐙 提示工程指南、论文、讲座、笔记本及资源

Vane是一款基于人工智能的问答引擎。

21堂课带你入门生成式AI开发

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

使用单张4GB GPU实现AirLLM 70B推理

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。