ggml-org/ggml - 快速上手

由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名

项目介绍快速开始学习路径贡献者 434 增长趋势 Commit 历史代码统计生态关系项目时间线项目竞品上榜历史

ggml 机器学习张量库 5 分钟快速开始

ggml 是一个轻量、跨平台的机器学习张量库，无需依赖即可在 CPU 和 GPU 上高效运行。

环境要求

支持的操作系统

macOS Windows Linux

运行环境

GCC 或 Clang C11/C++11 支持必需

所需工具

Git

克隆项目

必需

CMake

构建项目

必需

操作步骤

克隆仓库

获取 ggml 项目源代码。

克隆仓库

git clone https://github.com/ggml-org/ggml.git

进入项目目录

cd ggml

预期结果：：成功创建 ggml 目录并进入。

确保已安装 Git。

构建项目

使用 CMake 从源代码编译 ggml。

创建构建目录

mkdir build

进入构建目录

cd build

配置 CMake

cmake ..

编译项目

cmake --build . --config Release

预期结果：：编译过程无报错，最终在 build 目录下生成可执行文件（如 examples/simple/simple）。

如果 CMake 报错找不到编译器，请确保已安装 GCC 或 Clang。

运行示例

运行一个最小化的矩阵乘法示例，验证库是否工作。

运行矩阵乘法示例

./examples/simple/simple

预期结果：：程序将执行矩阵乘法并输出结果，类似 'Result tensor data' 和数字。

在 Windows 上，可执行文件可能在 Release 或 Debug 子目录中。

验证安装成功

通过运行示例并观察输出来确认 ggml 库正常工作。

程序正常运行并无错误输出

输出中包含矩阵运算结果

快速提示

性能优化

ggml 支持多种硬件后端，包括 CPU、GPU 和 NPU，可根据需求在构建时配置。

模型加载

对于大型语言模型，可以使用 GGUF 文件格式加载预训练模型。

常见问题

CMake 配置失败，提示找不到编译器。

确保已安装 GCC 或 Clang。在 Ubuntu 上可运行 'sudo apt install build-essential'。

编译过程中出现内存不足错误。

尝试减少并行编译任务数，例如使用 'cmake --build . -j2'。

下一步

查看 examples/simple/simple.c 源代码

了解如何使用 ggml API 进行基本的张量操作。

阅读 GGUF 文件格式文档

学习如何加载和运行大型语言模型。

探索 llama.cpp 项目

了解如何在实际应用中使用 ggml 库运行 LLM。