由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
NVIDIA/TensorRT-LLM
项目介绍
TensorRT LLM provides users with an easy-to-use Python API to define Large Language Models (LLMs) and supports state-of-the-art optimizations to perform inference efficiently on NVIDIA GPUs. TensorRT LLM also contains components to create Python and C++ runtimes that orchestrate the inference execution in a performant way.
智能解读
原始标签
智能标签
使用场景
项目健康度
今日有提交
平台 Star TOP 4% · Forks 2,762
本周 +98 ⭐ · 本月 +249 ⭐
364 位贡献者 · 0 条平台评论
缺少 2 项内容
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
public-apis/public-apis
免费API资源汇总列表
EbookFoundation/free-programming-books
📚 免费提供的编程书籍
vinta/awesome-python
回答“我想用 Python 做 X，我应该使用哪个工具？”的最终列表。
practical-tutorials/project-based-learning
基于项目的教程精选列表
NousResearch/hermes-agent
与你共同成长的智能体
TheAlgorithms/Python
所有算法均使用Python实现
加载评论中...