纳米级vLLM推理引擎

通过最快的KV缓存层为您的LLM加速

基于Ray的易用、可扩展且高性能RLHF框架（支持PPO、GRPO、REINFORCE++、vLLM、Ray、动态采样与异步智能体强化学习）

gpt-oss-120b和gpt-oss-20b是OpenAI发布的两个开源权重语言模型

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

Qwen3是阿里巴巴集团旗下阿里云Qwen团队开发的大语言模型系列。

结构化输出

Qwen3-Coder是通义千问团队开发的大语言模型系列Qwen3的代码专用版本。

The Memory Layer for AI Agents - Drop-in memory infrastructure for AI agents and apps. Context that persists. Built for production.

语音转语音：致力于构建开源模块化GPT4-o的项目

项目竞品项目否描述

🦜🔗 构建情境感知推理应用程序 🦜🔗

项目竞品项目否描述

可组合的模块化构建单元，用于搭建Llama应用

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

LlamaIndex 是领先的文档智能体与 OCR 平台。

智能体强化训练器：使用GRPO为现实任务训练多步智能体。为智能体提供在职培训。支持Qwen2.5、Qwen3、Llama等模型的强化学习