inference

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

面向使用LaTeX/Beamer与R的学术工作者可即时复用的Claude代码模板，包含多智能体审阅、质量门控、对抗性质量检查及复现协议。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

专为多种AI加速器优化的大语言模型高性能推理引擎。

SpargeAttention：一种免训练的稀疏注意力机制，可加速任何模型推理

Home for "How To Scale Your Model", a short blog-style textbook about scaling LLMs on TPUs

开源网络管理与可观测性平台

SGLang-Omni 为 TTS、ASR、语音和全向模型提供高性能服务。

安卓本地人工智能助手

Context-Engine MCP - 智能上下文压缩套件

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。

将您的 Android 手机变成兼容 OpenAI 的 LLM 推理服务器 - 完全本地、私有和开源

llm-d Router：推理请求的智能入口点

CUDA编程练习项目——动手实践CUDA内核与性能优化，涵盖GEMM、FlashAttention、Tensor Cores、CUTLASS、量化、KV缓存、NCCL及性能分析。

NVIDIA DeepStream Monorepo：DeepStream SDK及参考应用，用于构建基于GStreamer、TensorRT和视觉AI模型的GPU加速实时视频与多传感器分析管道，支持边缘、本地及云端部署。

管理对基于 Envoy Gateway 构建的生成式 AI 服务的统一访问

ncnn专为移动平台优化的高性能神经网络推理框架

数据中心级分布式推理服务框架

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

面向直播与流媒体的跨平台可定制机器学习解决方案

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。

面向大语言模型的高吞吐量与内存优化型推理服务引擎