由于 trendforge.devlive.top 访问受限,请切换到 trendforge.devlive.org 域名
项目介绍
最快的LLM网关,性能超越LiteLLM达50倍,具备自适应负载均衡器、集群模式、防护机制,支持1000多种模型,在5k RPS下延迟低于100微秒
Open-source, high-performance AI gateway that works as your LLM gateway, MCP gateway and agent gateway. One OpenAI-compatible API for 10,000+ models, with failover, load balancing, semantic caching, virtual keys, budgets and MCP Code Mode. Works with any SDK or agent and adds under 200µs of overhead at 5k RPS.
智能解读
原始标签
智能标签
使用场景
项目健康度
距上次更新 20 天
平台 Star TOP 7% · Forks 1,400
本周 +195 ⭐ · 本月 +806 ⭐
35 位贡献者 · 0 条平台评论
缺少 2 项内容
项目信息
赞赏支持
如果本站对你有帮助,欢迎打赏支持
微信
支付宝
Widget 徽章
相关项目推荐
avelino/awesome-go
一份精选的Go语言优秀框架、库及软件列表
ollama/ollama
开始使用OpenAI gpt-oss、DeepSeek-R1、Gemma 3及其他模型。
golang/go
Go 编程语言
kubernetes/kubernetes
生产级容器调度与管理平台
JuliusBrussee/caveman
🪨 能用少量token解决问题时何必用大量token——通过像穴居人一样说话来削减65%token的Claude Code技巧
microsoft/TypeScript
TypeScript是JavaScript的超集,可编译为纯净的JavaScript输出。
加载评论中...