inference

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.

面向使用LaTeX/Beamer与R的学术工作者可即时复用的Claude代码模板，包含多智能体审阅、质量门控、对抗性质量检查及复现协议。

专为多种AI加速器优化的大语言模型高性能推理引擎。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

Home for "How To Scale Your Model", a short blog-style textbook about scaling LLMs on TPUs

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

开源网络管理与可观测性平台

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

安卓本地人工智能助手

Context-Engine MCP - 智能上下文压缩套件

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。

llm-d Router：推理请求的智能入口点

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

NVIDIA DeepStream Monorepo：DeepStream SDK及参考应用，用于构建基于GStreamer、TensorRT和视觉AI模型的GPU加速实时视频与多传感器分析管道，支持边缘、本地及云端部署。