serving

本项目旨在分享大模型相关技术原理及实战经验（大模型工程化、大模型应用落地）。

TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.

在任何AI基础设施上运行、管理和扩展AI工作负载。使用统一系统访问和管理所有AI计算资源（Kubernetes、17+云平台或本地部署）。

在线AI与数据平台 https://vespa.ai

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

云原生批处理系统（CNCF 孵化项目）

Olares：一个开源的私有云平台，助您重掌数据主权。

一个面向全模态模型的高效推理框架。

面向昇腾平台的vLLM社区维护硬件插件

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

数据中心级分布式推理服务框架

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。

面向大语言模型的高吞吐量与内存优化型推理服务引擎