#llm 每日趋势报告

使用单张4GB GPU实现AirLLM 70B推理

使用单张4GB GPU实现AirLLM 70B推理

用户友好型AI交互界面（支持Ollama、OpenAI API等）

利用AI大模型一键生成高清短视频

基于大语言模型的深度文档理解框架，支持使用 RAG 范式实现语义检索和上下文感知应答。

开源生成式 UI 框架

一款CLI代理工具，可将常见开发命令的LLM令牌消耗降低60-90%

编码智能体框架

https://adongwanai.github.io/AgentGuide | AI智能体开发指南 | LangGraph实战 | 高级RAG | 转型大模型 | 大模型面试 | 算法工程师 | 面试题库 | 强化学习 | 数据合成

本地优先的桌面小部件，用于跟踪超过 32 种 AI 编码工具（包括 Claude Code、Codex、Cursor、OpenCode 和 OpenClaw）的令牌使用情况、成本和限制，并具有多设备同步功能。

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

🐙 提示工程指南、论文、讲座、笔记本及资源

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

从零开始的大语言模型原理与实践教程

一个Unity MCP服务器，允许MCP客户端（如Claude Desktop或Cursor）执行Unity编辑器操作。

视觉化解读 Transformer：通过交互式可视化学习 LLM Transformer 模型工作原理

最快的LLM网关，性能超越LiteLLM达50倍，具备自适应负载均衡器、集群模式、防护机制，支持1000多种模型，在5k RPS下延迟低于100微秒

面向混合模型的智能路由器。

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

AgentScope Java：面向智能体编程的LLM应用构建框架

🔥 MaxKB is an open-source platform for building enterprise-grade agents. 强大易用的开源企业级智能体平台。

《开源大模型食用指南》针对中国开发者定制的Linux环境快速微调（全参数/Lora）、部署国内外开源大模型（LLM）/多模态大模型（MLLM）教程

FlashInfer：大语言模型服务的核心计算库

🤖📐专为数学建模设计的智能体，能够自动完成数学建模并生成一份可直接提交的完整论文。

《大模型算法实战教程》面向大模型入门到进阶的算法实战教程，覆盖原理讲解、答案解析、测试用例与CUDA/Triton实战。LLM algorithm practice lab with theory, solutions, and test cases.

cuVS - 一个用于GPU上的向量搜索与聚类的库

编辑器代码助手——与编辑器无关的AI结对编程功能

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

由自主代理策划的人工智能工具。每两周更新一次。