llm

OpenClaw智能大语言模型路由系统，可降低高达70%的成本

结合知识库、知识图谱管理的多租户Agent Harness平台。一个集成了LightRAG知识库与知识图谱的Agent Harness。基于LangChain + Vue + FastAPI构建，支持DeepAgents、MinerU PDF、Neo4j、MCP。

开箱即用的自动化工具，提供智能体就绪的RPA套件，专为个人与企业打造。

FlashInfer：大语言模型服务的核心计算库

LiteRT-LM 是谷歌推出的生产级、高性能、开源推理框架，用于在边缘设备上部署大型语言模型。

使用 MLX 运行大型语言模型

面向 Kubernetes 可扩展多框架部署的标准化分布式生成式与预测式 AI 推理平台

🐬DeepChat——将强大AI与个人世界连接的智能助手

⚡ 无需Python的Rust推理服务器 — 兼容OpenAI-API。支持GGUF与SafeTensors、热模型切换、自动发现、单二进制文件。现在免费，永远免费。

🧊 开源大语言模型可观测性平台。一行代码实现监控、评估与实验。YC W23 🍓

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

找到真正能在你的硬件上运行且性能最佳的本地大语言模型。基于真实且考虑时效性的基准进行排名，而非参数数量。一条命令，即刻运行。

UltraRAG v3：一个用于构建复杂创新RAG管道的低代码MCP框架

人工智能驱动的暗网开源情报工具

停止手动提示，开始精确指定

一种模型驱动的方法，仅需几行代码即可构建 AI 智能体。

Lemonade 通过直接在用户自己的 GPU 和 NPU 上运行优化后的 LLM，帮助用户发现并运行本地 AI 应用。加入我们的 Discord：https://discord.gg/5xXzkMu8Zk

llama.cpp（或任何兼容本地OpenAI API的服务器）的模型热替换

面向混合模型的智能路由器。

用于构建有状态智能体的记忆库

AgentScope Java：面向智能体编程的LLM应用构建框架

面向Claude、GPT、O系列、Grok、Deepseek、Gemini及300多种模型的AI增强型结对编程工具

多模型协作开发工具集 - 基于 Claude Code CLI，集成 Codex/Gemini 后端能力，提供智能路由、代码审查、Git 工具等 17 个以上命令

AxonHub是一个现代化的AI网关系统，提供统一的OpenAI、Anthropic、Gemini及AI SDK兼容API接口