由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

moe

话题找到数量

vllm-project/vllm

Python

面向大语言模型的高吞吐量与内存优化型推理服务引擎

amd blackwell cuda
vllm-project
vllm-project 开发者
86k
19k
1.1k
+104
排名 #12
7月15日
查看详情

sgl-project/sglang

Python

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

attention blackwell cuda
sgl-project
sgl-project 开发者
30k
7.5k
1k
+73
排名 #7
7月29日
查看详情

modelscope/ms-swift

Python

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

deepseek-r1 embedding grpo
modelscope
modelscope 开发者
14k
1.5k
713
+11
排名 #12
6月12日
查看详情

flashinfer-ai/flashinfer

Python

FlashInfer：大语言模型服务的核心计算库

attention cuda distributed-inference
flashinfer-ai
flashinfer-ai 开发者
6k
1.2k
753
+5
排名 #8
7月24日
查看详情
助手