ONNX Runtime：跨平台高性能机器学习推理与训练加速引擎

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

面向所有人的开源机器学习框架

OpenPose：支持身体、面部、手部和足部关键点识别的实时多人检测库

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

AISystem 主要是指AI系统，包括AI芯片、AI编译器、AI推理和训练框架等AI全栈底层技术。

专为从事大语言模型、多模态和语音人工智能（自动语音识别与文本转语音）的研究人员和开发者打造的可扩展生成式AI框架

飞桨并行分布式深度学习框架：源于工业实践的机器学习框架

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

MNN是轻量级深度学习推理框架，经过阿里巴巴核心业务场景验证。全模态LLM安卓应用：[MNN-LLM-Android](./apps/Android/MnnLlmChat/README.md)。MNN淘 avatar安卓版 - 本地3D数字人智能：apps/Android/Mnn3dAvatar/README.md

OpenAI Whisper模型的C/C++移植版本

fastai深度学习库

支持GPU强力加速的Python张量与动态神经网络库

在NVIDIA OpenShell内通过托管推理更安全地运行Hermes和OpenClaw等代理

开源计算机视觉库

面向直播与流媒体的跨平台可定制机器学习解决方案

适用于Android、iOS、树莓派及服务端的离线语音识别API，支持Python、Java、C#和Node.js开发语言。

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

用单个文件分发和运行大语言模型。

纳米级vLLM推理引擎