由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名
项目介绍
面向大语言模型的高吞吐量与内存优化型推理服务引擎
A high-throughput and memory-efficient inference and serving engine for LLMs
智能解读
原始标签
智能标签
使用场景
项目健康度
距上次更新 21 天
平台 Star TOP 1% · Forks 19,461
本周 +695 ⭐ · 本月 +3,298 ⭐
459 位贡献者 · 0 条平台评论
缺少 3 项内容
项目信息
赞赏支持
如果本站对你有帮助,欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
donnemartin/system-design-primer
学习如何设计大规模系统。为系统设计面试做准备。包含Anki记忆卡片。
practical-tutorials/project-based-learning
基于项目的教程精选列表
NousResearch/hermes-agent
与你共同成长的智能体
TheAlgorithms/Python
所有算法均使用Python实现
加载评论中...