#inference 每日趋势报告

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

SGLang是面向大语言模型与视觉语言模型的高速推理框架。

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

面向直播与流媒体的跨平台可定制机器学习解决方案

A collection of scientific methods, processes, algorithms, and systems to build stories & models.

FlashInfer：大语言模型服务的核心计算库

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

llm-d Router：推理请求的智能入口点

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。