由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

inference-acceleration

话题找到数量

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.6k
455
598
+16
排名 #1
8月5日
查看详情

thu-ml/SpargeAttn

Cuda

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

ai-infra attention inference-acceleration
thu-ml
thu-ml 开发者
951
87
549
+1
排名 #8
2月25日
查看详情
助手