gguf

数百种模型与提供商。一条命令即可找出可在您硬件上运行的内容。

用单个文件分发和运行大语言模型。

从一个 YAML 微调 LLM。层流在 4 GB 笔记本电脑 GPU 上训练 8B 模型。

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

Atomic Agent 是本地优先的 AI 代理。通过 llama.cpp 在您自己的机器上运行开放重量模型。

即插即用的本地人工智能工作室：未经审查的聊天、图像和视频生成、编码代理。 Runs abliterated LLMs + ComfyUI 100% offline. One installer, no Docker, no cloud.

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

动手学Ollama，在CPU上玩转大模型部署，在线阅读地址：https://datawhalechina.github.io/handy-ollama/

支持16+模型家族的ggml语音转文本推理

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https://discord.com/invite/8wGSsvmg4V

NobodyWho 是一个推理引擎，可让您在任何设备上本地高效地运行 LLM。

安卓端设备本地人工智能——支持大语言模型聊天、视觉语言模型、图像生成、工具调用、AI角色扮演、检索增强生成知识包、文本转语音与语音转文本。完全离线运行，无需订阅，开源免费。

一个用于GGUF模型的原生.NET LLM推理引擎。TensorSharp提供了控制台应用程序、基于Web的聊天机器人界面，以及兼容Ollama/OpenAI的HTTP API，便于编程访问。它支持Windows/macOS/Linux，并具备完整的GPU能力。