面向大语言模型的高吞吐量与内存优化型推理服务引擎

本项目旨在分享大模型相关技术原理及实战经验（大模型工程化、大模型应用落地）。

LangChain的Java实现版本

纳米级vLLM推理引擎

📦 Repomix 是一款强大工具，可将您的整个代码库打包成单一且适配 AI 处理的文件。非常适合需要将代码库输入大型语言模型或其他 AI 工具的场景，例如 Claude、ChatGPT、DeepSeek、Perplexity、Gemini、Gemma、Llama、Grok 等。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

测试您的提示词、智能体和检索增强生成系统。针对大语言模型的红队测试、渗透测试与漏洞扫描。对比GPT、Claude、Gemini、Llama等模型的性能表现。支持命令行与CI/CD集成的简易声明式配置。

通过全面的追踪、自动化评估和生产就绪的仪表盘，调试、评估并监控您的LLM应用、RAG系统和智能体工作流。

欢迎来到Llama实践指南！这是您使用Llama进行开发的必备指南：涵盖推理入门、微调及RAG技术。我们还将展示如何利用Llama模型家族解决端到端问题，并在不同云服务平台上进行部署

使用PEFT或全参数方法对500余个大语言模型和200余个多模态大语言模型进行CPT/SFT/DPO/GRPO训练

集成多款即时通讯平台、大语言模型、插件及AI功能的智能聊天机器人基础设施，可作为OpenClaw的替代方案。✨

基于大语言模型与计算机视觉实现浏览器工作流自动化

从零到一的氛围编程 ｜ vibecoding 零基础教程 ｜ 产品原型设计、AI 能力集成、前后端开发、多平台应用开发教程

程序员鱼皮的 AI 资源大全与 Vibe Coding 零基础教程，提供大模型选择指南、最新 AI 资讯、Prompt 提示词大全、AI 知识百科、AI 编程教程、AI 工具使用指南、AI 开发框架教程以及 AI 产品变现指南，助你快速掌握 AI 技术，保持行业领先。本项目为开源文档版本，已升级为鱼皮 AI 导航网站。

开箱即用的云端模板，支持RAG、AI流水线及实时数据企业搜索。🐳兼容Docker容器部署。⚡始终与SharePoint、Google Drive、S3、Kafka、PostgreSQL、实时数据API等平台保持同步。

Python SDK及代理服务器（LLM网关）：支持以OpenAI格式调用100+LLM API——涵盖Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate、Groq等平台

🪢 开源LLM工程平台：LLM可观测性、指标评估、提示管理、游乐场、数据集。与OpenTelemetry、Langchain、OpenAI SDK、LiteLLM等工具集成。🍊YC W23

Composio提供1000多种工具包、工具搜索、上下文管理、身份验证以及沙盒化工作台，助您构建能将意图转化为行动的AI智能体。

开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。

大语言模型微调与强化学习 🦥 以2倍速度训练OpenAI gpt-oss、Qwen3、Llama 4、DeepSeek-R1、Gemma 3，节省70%显存