quantiz

[🔥更新中...] AI自动量化交易机器人（完全本地部署）AI驱动的量化投资研究平台。

基于TurboQuant构建的向量索引，使用Rust编写并带有Python绑定

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

面向Transformer模型的快速推理引擎

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

为提升易用性、全面性与效率而设计的模型压缩工具包。

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。