llm-inference

GPT4All：在任何设备上运行本地大语言模型。开源且可商用。

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

本项目旨在分享大模型相关技术原理及实战经验（大模型工程化、大模型应用落地）。

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

OpenVINO™是用于优化和部署AI推理的开源工具套件

Mistral模型官方推理库

A 2.78-trillion-parameter Kimi K3 running inference on a single CPU in 8.24 GB of RAM. Portable C99: no BLAS, no framework, no GPU.

数据中心级分布式推理服务框架

智能体应用交付基础设施——Plano是面向AI原生的代理与数据平面，可卸载底层管道工作，让您专注于智能体核心逻辑开发（支持任意AI框架）。

FlashInfer：大语言模型服务的核心计算库

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。

面向加速基础设施与微服务架构优化的生成式AI参考工作流

A collection of scientific methods, processes, algorithms, and systems to build stories & models.

一个用Rust编写的便携式加速SQL查询、搜索及LLM推理引擎，适用于数据驱动的AI应用与智能体。

PHP 生态系统的代理框架，用于构建生产就绪的人工智能驱动的应用程序。将组件（LLM、工具、矢量 DB、内存）连接到与数据和 UI 交互的代理。

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

“How To Scale Your Model”的主页，这是一本关于在 TPU 上扩展法学硕士的简短博客式教科书

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

专为多种AI加速器优化的大语言模型高性能推理引擎。