inference

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

OpenAI Whisper模型的C/C++移植版本

采用静态类型推断的TypeScript优先模式验证

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

用单个文件分发和运行大语言模型。

本项目旨在分享大模型相关技术原理及实战经验（大模型工程化、大模型应用落地）。

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理

纳米级vLLM推理引擎

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK，本仓库包含其开源组件

示例 📓 Jupyter 笔记本，展示如何使用 🧠 Amazon SageMaker 构建、训练和部署机器学习模型。

OpenVINO™是用于优化和部署AI推理的开源工具套件

Triton推理服务器提供优化的云端和边缘推理解决方案。

Mistral模型官方推理库

通过最快的KV缓存层为您的LLM加速

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

FlashInfer：大语言模型服务的核心计算库

面向苹果芯片的端侧语音人工智能

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

一款用于发现PHP应用程序错误与安全漏洞的静态分析工具

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。