使用 C/C++ 实现的大语言模型推理框架

OpenAI Whisper模型的C/C++移植版本

用单个文件分发和运行大语言模型。

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

MLX：适用于 Apple 芯片的数组框架

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

🦜🔗 构建情境感知推理应用程序 🦜🔗

LlamaIndex 是领先的文档智能体与 OCR 平台。

从零开始的大语言模型原理与实践教程

顶尖开源文本转语音系统

面向所有人的开源机器学习框架

Kronos：金融市场语言基础模型

The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

基于 AI 智能体和 RAG 技术的精选 LLM 应用集合，支持 OpenAI、Anthropic、Gemini 及开源模型

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

21堂课带你入门生成式AI开发

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

本仓库展示检索增强生成系统的多种先进技术，该系统通过结合信息检索与生成模型来提供精准且上下文丰富的响应