gpt-oss

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

基于LEANN的万物RAG系统。在个人设备上运行快速、精准且完全私密的RAG应用，同时享受97%的存储空间节省。

只需几行代码，即可在骁龙设备的NPU、GPU和CPU上本地运行前沿LLM和VLM模型

运行前沿LLM和VLM，支持GPU、NPU和CPU的发布当日模型适配，覆盖PC（Python/C++）、移动端（Android和iOS）及Linux/IoT（Arm64和x86 Docker）的完整运行时环境。支持OpenAI GPT-OSS、IBM Granite-4、Qwen-3-VL、Gemma-3n、Ministral-3等模型。

TokenSpeed 是一款光速级的大语言模型推理引擎。

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

专为大语言模型/视觉语言模型设计的PyTorch分布式原生训练库，开箱即用支持Hugging Face