面向大语言模型的高吞吐量与内存优化型推理服务引擎

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

支持GPU强力加速的Python张量与动态神经网络库

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

顶尖开源文本转语音系统

Compress tool outputs, logs, files, and RAG chunks before they reach the LLM. 20% fewer tokens for coding agents, 60-95% fewer tokens for JSON, same answers. Library, proxy, MCP server.

📄🧠 PageIndex：基于推理的RAG文档索引系统 （注：根据技术文档翻译规范，RAG保持英文缩写形式，因其在人工智能领域作为"Retrieval-Augmented Generation"的专有术语已被广泛接受；"Reasoning-based"采用"基于推理的"标准译法，准确体现技术特性；整体表述保持项目描述的专业性与简洁性）

Ultralytics YOLOv5 在 PyTorch > ONNX > CoreML > TFLite 中的实现

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

规模最大的PyTorch图像编码器/骨干网络集合。包含训练、评估、推理、导出脚本与预训练权重——支持ResNet、ResNeXT、EfficientNet、NFNet、Vision Transformer（ViT）、MobileNetV4、MobileNet-V3和V2、RegNet、DPN、CSPNet、Swin Transformer、MaxViT、CoAtNet、ConvNeXt等模型

LlamaIndex 是领先的文档智能体与 OCR 平台。

基于 AI 智能体和 RAG 技术的精选 LLM 应用集合，支持 OpenAI、Anthropic、Gemini 及开源模型

🦜🔗 构建情境感知推理应用程序 🦜🔗

LightRAG：简单快速的检索增强生成框架

Kronos：金融市场语言基础模型

基于模块化图结构的检索增强生成系统

支持Pydantic与大型语言模型协同工作的智能体框架/适配层

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理