sglang

借助基于最新大语言模型的算子与流水线轻松实现数据准备。

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

数据中心级分布式推理服务框架

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。