#inference 每周趋势报告

用于人工智能模型的高性能推理引擎

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

Run a 105 GB AI model on a Mac that can't hold it. Qwen3.8-Flash-Next 4-bit, streamed from SSD on 16–64 GB Apple Silicon Macs. Fully native Swift, MLX and Metal. Offline, no Python. CLI, Swift library, and Ollama/OpenAI/Anthropic APIs. Works with Claude Code and Codex.

在 OpenAI 兼容端点后面的 Apple Silicon (MLX) 上进行快速、准确的 LLM 解码

FlashInfer：大语言模型服务的核心计算库