由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

每日 每周 每月
2026-08-02
返回报告
🏷️

#inference 每周趋势报告

📅 2026-08-02
📊 6 个项目

🔥 #inference 每周热门项目

google-ai-edge/mediapipe

C++

面向直播与流媒体的跨平台可定制机器学习解决方案

android audio-processing c-plus-plus
google-ai-edge
google-ai-edge 开发者
36k
6.1k
731
+141
排名 #8
8月2日
查看详情

kvcache-ai/Mooncake

C++

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

disaggregation inference kvcache
kvcache-ai
kvcache-ai 开发者
6.1k
1k
690
+116
排名 #21
8月2日
查看详情

ai-dynamo/dynamo

Rust

数据中心级分布式推理服务框架

diffusion disaggregated-serving kubernetes
ai-dynamo
ai-dynamo 开发者
7.7k
1.4k
794
+74
排名 #17
8月2日
查看详情

microsoft/foundry-local

C++

暂无项目描述

ai-sdk chat-completions foundry-local
microsoft
microsoft 开发者
2.5k
349
0
+31
排名 #18
8月2日
查看详情

thu-ml/SageAttention

Cuda

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

attention cuda efficient-attention
thu-ml
thu-ml 开发者
3.5k
446
593
+24
排名 #2
8月2日
查看详情

alibaba/rtp-llm

Cuda

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

gpt inference llama
alibaba
alibaba 开发者
1.3k
249
765
+7
排名 #10
8月2日
查看详情

📊 数据统计

6 个热门项目
2026-08-02 数据日期

🔥 TrendForge - 追踪开源项目热度，发现技术趋势

助手