使用单张4GB GPU实现AirLLM 70B推理

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

集成多款即时通讯平台、大语言模型、插件及AI功能的智能聊天机器人基础设施，可作为OpenClaw的替代方案。✨

可通过 API 访问的免费大语言模型推理资源列表

📦 Repomix 是一款强大工具，可将您的整个代码库打包成单一且适配 AI 处理的文件。非常适合需要将代码库输入大型语言模型或其他 AI 工具的场景，例如 Claude、ChatGPT、DeepSeek、Perplexity、Gemini、Gemma、Llama、Grok 等。

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

LangChain的Java实现版本

TensorZero是工业级LLM应用的开源技术栈，整合了LLM网关、可观测性、优化、评估与实验功能。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存

🤖 开源免费的OpenAI、Claude及其他AI平台的替代方案。支持自主托管且本地优先，可作为OpenAI的即插即用替代方案运行于消费级硬件，无需GPU。兼容gguf、transformers、diffusers等多种模型架构。功能包括：文本生成、音频处理、视频制作、图像生成、语音克隆、分布式点对点推理。

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

面向大语言模型的高吞吐量与内存优化型推理服务引擎

🤗 Transformers：面向文本、视觉、音频及多模态模型的尖端机器学习模型定义框架，支持推理与训练全流程。