SGLang是面向大语言模型与视觉语言模型的高速推理框架。

纳米级vLLM推理引擎

SANA：基于线性扩散 Transformer 的高效高分辨率图像合成

面向大语言模型的高吞吐量与内存优化型推理服务引擎

全球首个开源智能体视频制作系统，集成12条流水线、52种工具及500余项智能体技能，可将您的AI编程助手转变为完整的视频制作工作室。

🚀 AI 全自动短视频引擎 | AI Fully Automated Short Video Engine

🚀 AI全自动短视频引擎

面向昇腾平台的vLLM社区维护硬件插件

面向加速视频生成的统一推理与训练后处理框架

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

通过最快的KV缓存层为您的LLM加速

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

纯C/C++实现的扩散模型（SD/Flux/Wan等）推理框架

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

ncnn专为移动平台优化的高性能神经网络推理框架

Stable Diffusion网页界面

一键部署您自己的人工智能应用网页界面，涵盖GPT、Midjourney、ChatDoc、QrArt，轻松实现盈利。

OpenAI Whisper模型的C/C++移植版本

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。