SGLang是面向大语言模型与视觉语言模型的高速推理框架。

一个用于加速仿真、数据生成和空间计算的 Python 框架。

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

通过最快的KV缓存层为您的LLM加速

面向大语言模型的高吞吐量与内存优化型推理服务引擎

Open3D：面向三维数据处理的现代算法库

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

适用于NVIDIA Jetson和JetPack-L4T的机器学习容器

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

用于Elixir的多维数组（张量）与数值定义。

线性代数子程序的CUDA模板

面向集体多GPU通信的优化原语

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

NVIDIA GPU Operator可在Kubernetes中创建、配置和管理GPU

CUDA核心计算库

cuGraph - RAPIDS 图分析库

[已归档] CUDA C++协同原语 参见https://github.com/NVIDIA/cccl

CUDA内核基准测试库

Burn是下一代深度学习框架，在灵活性、效率和可移植性方面毫不妥协。