sglang

数据中心级分布式推理服务框架

借助基于最新大语言模型的算子与流水线轻松实现数据准备。

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

开源持续推理基准测试：Qwen3.5、DeepSeek、GPTOSS - GB200 NVL72对比MI355X、B200、GB300 NVL72、H100，即将支持TPUv6e/v7/Trainium2/3

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。