专为多种AI加速器优化的大语言模型高性能推理引擎。

OpenVINO™是用于优化和部署AI推理的开源工具套件

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

20多个高性能大语言模型，附有预训练、微调和规模化部署的方案

面向加速基础设施与微服务架构优化的生成式AI参考工作流

免费获取GPT-5.5、Claude、DeepSeek、Gemini、Grok的LLM API密钥——复制、粘贴、使用。每日更新3-5次。无需信用卡。

CSGHub是由OpenCSG团队开发的全新开源大语言模型管理平台，提供开源版和本地化/SaaS解决方案，功能对标Hugging Face。完整掌控大语言模型、数据集和智能体的生命周期，Python SDK与Hugging Face兼容。欢迎加入我们！⭐️

TokenSpeed 是一款光速级的大语言模型推理引擎。

Context-Engine MCP - 智能上下文压缩套件

🎭 211 个即插即用的 AI 专家角色 — 支持 Hermes Agent/Claude Code/Cursor/Copilot 等 16 种工具，覆盖工程/设计/营销/金融等 18 个部门。含 46 个中国市场原创智能体（小红书/抖音/微信/飞书/钉钉等）

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

项目竞品项目否描述

为提升易用性、全面性与效率而设计的模型压缩工具包。

专注于隐私的AI会议笔记工具，采用本地托管的小型语言模型驱动。用于生成结构化临床笔记的StenoAI Med版本即将推出。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

FastGPT是基于大语言模型构建的知识平台，提供数据处理、RAG检索和可视化AI工作流编排等开箱即用的完整功能，让您无需繁琐设置即可轻松开发和部署复杂问答系统。

适用于Claude Code、Codex、Cursor的通用AI代理 | 支持OpenAI、Claude、Gemini、Copilot