quantization

[🔥更新中...] AI自动量化交易机器人（完全本地部署）AI驱动的量化投资研究平台。

基于TurboQuant构建的向量索引，使用Rust编写并带有Python绑定

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

面向Transformer模型的快速推理引擎

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

为提升易用性、全面性与效率而设计的模型压缩工具包。

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。