面向大语言模型的高吞吐量与内存优化型推理服务引擎

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

通过最快的KV缓存层为您的LLM加速

纳米级vLLM推理引擎

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

支持GPU强力加速的Python张量与动态神经网络库

PersonaPlex 代码。

快速灵活的LLM推理

使用PyTorch从零开始逐步实现类ChatGPT大型语言模型

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

数据中心级分布式推理服务框架

规模最大的PyTorch图像编码器/骨干网络集合。包含训练、评估、推理、导出脚本与预训练权重——支持ResNet、ResNeXT、EfficientNet、NFNet、Vision Transformer（ViT）、MobileNetV4、MobileNet-V3和V2、RegNet、DPN、CSPNet、Swin Transformer、MaxViT、CoAtNet、ConvNeXt等模型

在NVIDIA OpenShell内通过托管推理更安全地运行Hermes和OpenClaw等代理

SANA：基于线性扩散 Transformer 的高效高分辨率图像合成

Graph Neural Network Library for PyTorch

从一个 YAML 微调 LLM。层流在 4 GB 笔记本电脑 GPU 上训练 8B 模型。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

开源 SenseVoiceSmall 模型，适用于普通话、粤语、英语、日语和韩语 ASR、语言 ID、情绪识别和音频事件检测。

fastai深度学习库