qwen

DeepAnalyze是首个面向自主数据科学的智能体大语言模型。🎈您的AI数据分析师，自动处理海量数据，一键生成专业分析报告！

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

TokenSpeed 是一款光速级的大语言模型推理引擎。

暂无项目描述

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

专为多种AI加速器优化的大语言模型高性能推理引擎。

ASR/STT字幕生成器。采用Qwen3-ASR、本地LLM、Whisper、TEN-VAD技术，具备针对JAV场景的噪声鲁棒性

专为大语言模型/视觉语言模型设计的PyTorch分布式原生训练库，开箱即用支持Hugging Face

为提升易用性、全面性与效率而设计的模型压缩工具包。

专注于隐私的AI会议笔记工具，采用本地托管的小型语言模型驱动。用于生成结构化临床笔记的StenoAI Med版本即将推出。

Zig推理引擎 — 在AMD GPU和Apple Silicon上运行本地大语言模型推理

Chat2API 通过利用官方网页界面，实现零成本访问领先的AI模型。它支持DeepSeek、GLM、Kimi、MiniMax、Qwen和Z.ai等提供商，并能与openlcaw、Cline和Roo-Code等工具无缝集成。

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。

用于Qwen AI的本地API代理，支持通过REST API保存对话上下文和管理会话

纯C/C++实现的扩散模型（SD/Flux/Wan等）推理框架

用于高性能 AI 模型服务（vLLM、SGLang）和按需可通过 SSH 访问的 GPU 实例的 GPU 集群管理器。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

OmniRoute是一个面向多供应商大语言模型的AI网关：它提供兼容OpenAI的端点，具备智能路由、负载均衡、重试和故障转移功能。