一个面向全模态模型的高效推理框架。

基于 Apple MLX 框架构建的文本转语音 (TTS)、语音转文本 (STT) 和语音转语音 (STS) 库，可在 Apple Silicon 上提供高效的语音分析。

面向苹果芯片的端侧语音人工智能

专为Apple Silicon打造的最快本地AI引擎。比Ollama快4.2倍，缓存TTFT仅0.08秒，100%工具调用。支持17种工具解析器、提示缓存、推理分离与云路由。可直接替代OpenAI，兼容Claude Code、Cursor、Aider。

为创作者和开发者打造的Gradio WebUI，具备核心TTS功能（Edge-TTS、kokoro）和零样本声音克隆（E2与F5-TTS、CosyVoice），并集成Whisper音频处理、YouTube下载、Demucs人声分离和多语言翻译。

FlashInfer：大语言模型服务的核心计算库

通过最快的KV缓存层为您的LLM加速

YuE2: frontier music generation with symbolic planning, zero-shot covers, and agentic music editing.

Silero模型：提供预训练语音转文本、文本转语音和文本增强模型，极致简化实现

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

纳米级vLLM推理引擎

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

开源 SenseVoiceSmall 模型，适用于普通话、粤语、英语、日语和韩语 ASR、语言 ID、情绪识别和音频事件检测。

OpenVINO™是用于优化和部署AI推理的开源工具套件

面向Transformer模型的快速推理引擎

VoxCPM：面向上下文感知语音生成与逼真音色克隆的无分词器文本转语音系统

端到端语音识别基础工具包与开源SOTA预训练模型，支持语音识别、语音活动检测、文本后处理等功能。

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

麻省理工学院6.S191课程实验材料：深度学习导论