FlashInfer：大语言模型服务的核心计算库

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

面向集体多GPU通信的优化原语

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

面向Transformer模型的快速推理引擎

线性代数子程序的CUDA模板

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

面向CUDA开发者的示例代码库，展示CUDA工具包功能特性

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

纳米级vLLM推理引擎

H2O是一个开源、分布式、快速且可扩展的机器学习平台：支持深度学习、梯度提升、XGBoost、随机森林、广义线性模型、K均值聚类、主成分分析、广义可加模型、规则拟合、支持向量机、堆叠集成、自动机器学习等。

由 AI 驱动的漫画翻译器，用 Rust 编写。

基于机器学习的漫画翻译工具，采用Rust语言编写。

一个用于加速仿真、数据生成和空间计算的 Python 框架。

NVIDIA's CUDA platform for Rust. Host runtime crates plus Tile (cutile-rs) and SIMT (cuda-oxide) kernel programming models in idiomatic Rust.

🧑‍🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠

NVIDIA® TensorRT™是用于NVIDIA GPU高性能深度学习推理的SDK，本仓库包含其开源组件

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

面向大语言模型的高吞吐量与内存优化型推理服务引擎