cuda

面向大语言模型的高吞吐量与内存优化型推理服务引擎

开源语音合成工作室

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

动漫风格图像超分辨率技术

全球最快最先进的密码恢复工具

即时神经图形原语：极速神经辐射场（NeRF）及其他技术

Burn是下一代深度学习框架，在灵活性、效率和可移植性方面毫不妥协。

非NVIDIA GPU的CUDA支持

Open3D：面向三维数据处理的现代算法库

解谜题，学CUDA。

基于现代C++的通用任务并行编程系统

面向GPU的NumPy与SciPy

📚LeetCUDA：面向初学者的现代CUDA学习笔记（基于PyTorch）🐑，包含200+个CUDA内核、张量核心、HGEMM、FA-2 MMA。🎉

通过最快的KV缓存层为您的LLM加速

线性代数子程序的CUDA模板

面向CUDA开发者的示例代码库，展示CUDA工具包功能特性

一个快速、可扩展、高性能的基于决策树的梯度提升库，用于Python、R、Java、C++的排序、分类、回归及其他机器学习任务，支持CPU和GPU计算。

一个用于加速仿真、数据生成和空间计算的 Python 框架。

FlashInfer：大语言模型服务的核心计算库

简化着色器开发流程

面向集体多GPU通信的优化原语

面向Transformer模型的快速推理引擎

一个基于MLIR的可重定向机器学习编译器与运行时工具包。

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。