适用于NVIDIA Jetson和JetPack-L4T的机器学习容器

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

FlashInfer：大语言模型服务的核心计算库

一个基于MLIR的可重定向机器学习编译器与运行时工具包。

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

cuda-oxy 是一个 Rust 到 CUDA 的编译器，可让您使用安全（ish）、惯用的 Rust 编写（SIMT）GPU 内核。它将标准 Rust 代码直接编译为 PTX——没有 DSL，没有外语绑定，只有 Rust。

NVIDIA GPU Operator可在Kubernetes中创建、配置和管理GPU

CUDA核心计算库

cuGraph - RAPIDS 图分析库

[已归档] CUDA C++协同原语 参见https://github.com/NVIDIA/cccl

CUDA内核基准测试库

面向Julia CPU与GPU后端的跨架构并行算法。

NVIDIA DeepStream Monorepo：DeepStream SDK及参考应用，用于构建基于GStreamer、TensorRT和视觉AI模型的GPU加速实时视频与多传感器分析管道，支持边缘、本地及云端部署。

面向集体多GPU通信的优化原语

通过最快的KV缓存层为您的LLM加速

线性代数子程序的CUDA模板

一个用于加速仿真、数据生成和空间计算的 Python 框架。

Burn是下一代深度学习框架，在灵活性、效率和可移植性方面毫不妥协。