SGLang是面向大语言模型与视觉语言模型的高速推理框架。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

纳米级vLLM推理引擎

一个面向全模态模型的高效推理框架。

TokenSpeed 是一款光速级的大语言模型推理引擎。

Triton推理服务器提供优化的云端和边缘推理解决方案。

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

OpenAI Whisper模型的C/C++移植版本

面向昇腾平台的vLLM社区维护硬件插件

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。