由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
Neroued/ninfer
项目介绍
针对选定模型检查点和 GPU 的高性能单 GPU 推理。
High-performance single-GPU inference for selected model checkpoints and GPUs.
智能解读
NInfer 是一个专为 NVIDIA GeForce RTX 5090 显卡优化的高性能推理引擎，完全使用 C++ 和 CUDA 从头构建，专注于在单 GPU 环境下实现最大推理性能。它主要支持 Qwen3.5 系列模型的 Dense 和 MoE（专家混合）架构，能够高效处理文本、图像和视频等多种输入类型的推理任务。项目提供了通过本地命令行或兼容 OpenAI/Anthropic 的 HTTP API 接口，方便开发者集成和使用。其设计高度专业化，采用单 GPU、单模型常驻以及启动时固定容量为 1 到 8 个并发请求的运行模式，确保了资源的极致利用和响应速度的稳定性。NInfer 提供了多个预编译模型文件（如 Qwen3.6-27B、Qwen3.8-27B 等版本），并支持不同权重格式（如 groupwise-int 和 nvfp4），用户可以直接下载使用，也可以自定义转换权重格式。该引擎适用于需要在本地单 GPU 上进行低延迟、高吞吐量模型推理的场景，例如实时文本生成、多模态内容处理或私有化部署。当前环境要求为 64 位 Linux 系统，并需要 NVIDIA RTX 5090 显卡及相应的 CUDA 工具链支持。
智能标签
使用场景
项目健康度
距上次更新 27 天
平台 Star TOP 13% · Forks 545
本周 +245 ⭐ · 本月 +1,367 ⭐
3 位贡献者 · 0 条平台评论
缺少 3 项内容
1 项改进建议
- 社区：贡献者较少，可通过完善文档和社区运营吸引更多参与者
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
tensorflow/tensorflow
面向所有人的开源机器学习框架
ggml-org/llama.cpp
使用 C/C++ 实现的大语言模型推理框架
react/react-native
一个使用React构建原生应用程序的框架
facebook/react-native
一个使用React构建原生应用程序的框架
electron/electron
使用 JavaScript、HTML 和 CSS 构建跨平台桌面应用程序
godotengine/godot
Godot引擎——跨平台2D与3D游戏引擎
加载评论中...