由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名
triton
话题找到数量
thu-ml/SageAttention
量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升,且在语言、图像和视频模型上保持端到端指标无损。
datawhalechina/llm-algo-leetcode
《大模型算法实战教程》面向大模型入门到进阶的算法实战教程,覆盖原理讲解、答案解析、测试用例与CUDA/Triton实战。LLM algorithm practice lab with theory, solutions, and test cases.
NVIDIA/DeepStream
NVIDIA DeepStream Monorepo:DeepStream SDK及参考应用,用于构建基于GStreamer、TensorRT和视觉AI模型的GPU加速实时视频与多传感器分析管道,支持边缘、本地及云端部署。