ONNX Runtime：跨平台高性能机器学习推理与训练加速引擎

线性代数子程序的CUDA模板

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

面向所有人的开源机器学习框架

OpenPose：支持身体、面部、手部和足部关键点识别的实时多人检测库

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

Triton推理服务器提供优化的云端和边缘推理解决方案。

ncnn专为移动平台优化的高性能神经网络推理框架

AISystem 主要是指AI系统，包括AI芯片、AI编译器、AI推理和训练框架等AI全栈底层技术。

专为从事大语言模型、多模态和语音人工智能（自动语音识别与文本转语音）的研究人员和开发者打造的可扩展生成式AI框架

飞桨并行分布式深度学习框架：源于工业实践的机器学习框架

OpenVINO™是用于优化和部署AI推理的开源工具套件

DeepGEMM：具备细粒度缩放功能的精简高效FP8通用矩阵乘内核

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

FlashInfer：大语言模型服务的核心计算库

PersonaPlex 代码。

OpenAI Whisper模型的C/C++移植版本

fastai深度学习库

支持GPU强力加速的Python张量与动态神经网络库