#inference 每日趋势报告

用于人工智能模型的高性能推理引擎

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

FlashInfer：大语言模型服务的核心计算库

Mooncake是Moonshot AI旗下领先大语言模型服务Kimi的部署平台。

任意模型·任意硬件·零妥协·基于@ziglang/@openxla/MLIR/@bazelbuild构建

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。