面向大语言模型的高吞吐量与内存优化型推理服务引擎

通过最快的KV缓存层为您的LLM加速

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

AI 编排框架，用于构建可定制、生产就绪的 LLM 应用。将组件（模型、向量数据库、文件转换器）连接到可与数据交互的流水线或智能体。凭借高级检索方法，特别适用于构建 RAG、问答系统、语义搜索或对话式聊天机器人

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

纳米级vLLM推理引擎

数据中心级分布式推理服务框架

FlashInfer：大语言模型服务的核心计算库

面向智能体、助手和企业搜索的私有AI平台。内置智能体构建器、深度研究、文档分析、多模型支持以及智能体API连接功能。

从一个 YAML 微调 LLM。层流在 4 GB 笔记本电脑 GPU 上训练 8B 模型。

TimesFM是谷歌研究团队开发的预训练时间序列基础模型，专注于时间序列预测任务。

SANA：基于线性扩散 Transformer 的高效高分辨率图像合成

VoxCPM：面向上下文感知语音生成与逼真音色克隆的无分词器文本转语音系统

学习如何开发、部署并迭代生产级机器学习应用。

按模型组织的尖端深度学习脚本——易于在企业级基础设施上进行训练和部署，并具备可复现的准确性与性能。

医疗影像AI工具包

在任何AI基础设施上运行、管理和扩展AI工作负载。使用统一系统访问和管理所有AI计算资源（Kubernetes、17+云平台或本地部署）。

ONNX Runtime：跨平台高性能机器学习推理与训练加速引擎

🤗 最大的 AI 模型即用数据集中心，提供快速、易于使用且高效的数据操作工具