model

FlashInfer：大语言模型服务的核心计算库

CTTF：实现Cursor AI与Figma间MCP集成的桥梁，使Cursor能像智能代理般读取设计稿并进行程序化修改

🔥 官方 Firecrawl MCP 服务器 - 为 Cursor、Claude 及其他 LLM 客户端添加强大的网络爬取功能

一种训练大语言模型的直接方法，涵盖从数据下载到文本生成的完整流程。

Silero模型：提供预训练语音转文本、文本转语音和文本增强模型，极致简化实现

用Python编写的开源离线翻译库

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

🚀 顶尖线性注意力模型的高效实现

面向混合模型的智能路由器。

一个模型上下文协议（MCP）服务器和命令行工具，为处理iOS和macOS项目时的智能体使用提供工具。

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

简易分布式机器学习

Olares：一个开源的私有云平台，助您重掌数据主权。

您的AI编程代理首选网页——基于MCP的本地优先搜索、抓取、爬取与研究。无需API密钥，无需云端，零成本查询。公开测试版。

一个面向全模态模型的高效推理框架。

MLX-VLM：基于MLX在Mac上进行视觉语言模型推理与微调的工具包

专为快速分析与实时数据处理而优化的图数据库，作为PostgreSQL的扩展提供

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

面向Transformer模型的快速推理引擎

适用于 Model Context Protocol 服务器和客户端的官方 C# SDK，与微软合作维护

代理系统的模型路由器。在 <50 毫秒内将每个提示路由到正确的模型。只需更改端点即可将成本削减 40-70%。

面向加速视频生成的统一推理与训练后处理框架

RuVector是一款用Rust构建的高性能向量与图数据库，专为人工智能、智能体系统和实时分析设计。它将HNSW搜索、动态最小割一致性、图智能与自学习记忆融合为统一引擎，实现可扩展、低延迟的推理与结构化检索。