inference

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

一个面向全模态模型的高效推理框架。

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

面向Transformer模型的快速推理引擎

面向加速视频生成的统一推理与训练后处理框架

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

CSGHub是由OpenCSG团队开发的全新开源大语言模型管理平台，提供开源版和本地化/SaaS解决方案，功能对标Hugging Face。完整掌控大语言模型、数据集和智能体的生命周期，Python SDK与Hugging Face兼容。欢迎加入我们！⭐️

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

面向加速基础设施与微服务架构优化的生成式AI参考工作流

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

用于因果人工智能的Python库

📚 OpenVINO™ 的 Jupyter Notebook 教程

适用于代理所需的所有模型的开源推理服务器和生产集群。

一个用Rust编写的便携式加速SQL查询、搜索及LLM推理引擎，适用于数据驱动的AI应用与智能体。

面向昇腾平台的vLLM社区维护硬件插件

暂无项目描述

面向移动设备、服务器和Web的高效浮点神经网络推理算子

概率规划的贝叶斯推理。

在仅256MB内存、10美元成本的开发板上运行10亿参数大语言模型

基于Envoy Gateway构建的生成式AI服务统一访问管理平台

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

Route, manage, and analyze your LLM requests across multiple providers with a unified API interface.