由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

distributed-inference

话题找到数量

flashinfer-ai/flashinfer

Python

FlashInfer：大语言模型服务的核心计算库

attention cuda distributed-inference
flashinfer-ai
flashinfer-ai 开发者
6k
1.2k
753
+5
排名 #8
7月24日
查看详情

llm-d/llm-d

Shell

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

ai cncf distributed-inference
llm-d
llm-d 开发者
3.9k
647
422
+20
排名 #12
7月31日
查看详情
助手