llm

面向混合模型的智能路由器。

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

具备容错能力、高度可扩展的GPU编排系统，以及专为训练数十亿至数万亿参数模型设计的机器学习框架

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

AxonHub是一个现代化的AI网关系统，提供统一的OpenAI、Anthropic、Gemini及AI SDK兼容API接口

开源医疗人工智能

Apache Maka（孵化）是本地优先的 AI 代理工作区。模型消息、工具调用、工具结果、权限决策和终止事件都记录为仅附加日志。

一种模型驱动的方法，仅需几行代码即可构建 AI 智能体。

用于构建有状态智能体的记忆库

适合您的单一存储库的终极 RAG。借助人工智能和知识图的力量查询、理解和编辑多语言代码库

面向Claude、GPT、O系列、Grok、Deepseek、Gemini及300多种模型的AI增强型结对编程工具

多模型协作开发工具集 - 基于 Claude Code CLI，集成 Codex/Gemini 后端能力，提供智能路由、代码审查、Git 工具等 17 个以上命令

DeepAudit：人人拥有的 AI 黑客战队，让漏洞挖掘触手可及。

编码代理的运行时故障解决方案。挂钩 Claude Code、Codex 和您最喜欢的安全带。在循环、危险行为和秘密泄露成为事件之前将其捕获。零延迟。在本地运行。

MLX-VLM：基于MLX在Mac上进行视觉语言模型推理与微调的工具包

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

GLM-5: From Vibe Coding to Agentic Engineering

专为大型语言模型推理与智能体打造的闪电式强化学习框架。

CADAM是一款开源的文本转CAD网页应用程序。

35种生产级智能体AI架构（Reflexion、LATS、GraphRAG、MemGPT、Voyager、BrowserAgent等）——一个Python库及可运行教材，支持多提供商LLM，并附带17项任务基准排行榜。

Koog是官方Kotlin框架，用于在所有平台上构建和运行稳健、可扩展且满足生产就绪要求的AI智能体——从后端服务到Android与iOS、JVM乃至浏览器环境均可部署。该框架基于我们在AI产品领域的专业经验，针对复杂的LLM与人工智能问题提供了经过实践验证的解决方案。