由于 trendforge.devlive.top 访问受限，请切换到 trendforge.devlive.org 域名
diegosouzapw/OmniRoute
项目介绍
OmniRoute是一个面向多供应商大语言模型的AI网关：它提供兼容OpenAI的端点，具备智能路由、负载均衡、重试和故障转移功能。
Never stop coding. Free MIT AI gateway: one endpoint, 290+ providers (90+ free), 500+ models — Kimi, Claude, GPT, OpenAI, Gemini, GLM, DeepSeek, MiniMax. Works with Claude Code, Codex, Cursor, OpenCode, Cline & Copilot. Quota-aware auto-fallback, RTK+Caveman compression saves 15-95% tokens, MCP/A2A, Desktop/PWA. Built by 500+ contributors
智能解读
OmniRoute是一个免费且开源的AI网关，专为多供应商大语言模型设计。它提供兼容OpenAI API的端点，能够智能地将请求路由到43个提供商池、超过460个模型中，并自动处理负载均衡、重试和故障转移。项目最突出的特点是每月可整合约15.3亿免费Token额度，并在仪表板上实时显示可用余额。用户无需手动管理多个SDK和速率限制，只需通过一个统一的端点即可访问Claude、GPT、Gemini、DeepSeek、Qwen等模型。OmniRoute还支持Token压缩功能以节省成本，并提供CLI和MCP集成，适用于Cursor、Cline、Copilot等AI编程工具。部署方式灵活，支持Docker一键启动，适合个人开发者或团队在本地或服务器上搭建私有AI代理，大幅降低LLM调用成本。
原始标签
使用场景
OmniRoute最适合需要低成本、高可用地接入多个LLM提供商的开发者，尤其是想白嫖免费额度、避免单点故障、或统一管理多模型API的场景。
免费额度聚合
开发者手动管理多个LLM提供商的免费额度，经常搞不清还剩多少，且切换API麻烦。
OmniRoute自动聚合43个提供商/460+模型的免费额度，在仪表盘实时显示总量，并自动路由请求到可用额度。
你只需配置多个免费API Key，OmniRoute自动计算剩余额度并优先使用免费层，每月可节省约1.53B tokens费用。
零宕机故障转移
单个LLM提供商可能因限流、故障或配额耗尽而中断服务，导致应用不可用。
使用Combo功能设置模型链，当当前模型失败或配额用完时，自动无缝切换到下一个备用模型。
设置模型为auto，OmniRoute自动从你连接的提供商中构建虚拟Combo，当OpenAI限流时自动切换到DeepSeek或Gemini。
统一API接入
不同LLM提供商有各自不同的SDK和API格式，集成多个模型导致代码复杂且维护困难。
OmniRoute提供兼容OpenAI的端点，所有模型通过同一接口调用，无需修改已有代码。
原本只支持OpenAI的应用，只需将base_url改为OmniRoute地址，即可同时使用Claude、Gemini、Qwen等模型。
智能负载均衡
高并发场景下单个模型容易触发速率限制，且不同模型成本差异大，需要动态分配请求。
OmniRoute内置智能路由和负载均衡，根据实时延迟、成本和可用性自动分配请求到最优模型。
在AI Agent应用中，大量并发请求自动分发到多个提供商，避免限流，同时优先使用低成本模型降低开销。
项目健康度
距上次更新 3 天
平台 Star TOP 1% · Forks 4,941
本周 +7,141 ⭐ · 本月 +27,829 ⭐
60 位贡献者 · 0 条平台评论
文档资料完整
项目信息
赞赏支持
如果本站对你有帮助，欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
freeCodeCamp/freeCodeCamp
freeCodeCamp.org开源代码库与课程体系，免费学习数学、编程与计算机科学
openclaw/openclaw
属于你个人的AI助手。全操作系统支持。全平台兼容。龙虾之道。🦞
nilbuild/developer-roadmap
交互式路线图、指南及其他教育内容，助力开发者职业成长。
vuejs/vue
此仓库为Vue 2版本。Vue 3版本请访问https://github.com/vuejs/core
n8n-io/n8n
具备原生AI能力的公平代码工作流自动化平台。支持可视化构建与自定义代码，可选自托管或云端部署，集成400多种服务。
anomalyco/opencode
开源编程智能体
加载评论中...