#inference 每月趋势报告

专为Apple Silicon打造的LLM推理服务器，具备连续批处理和SSD缓存功能，可通过macOS菜单栏管理

MLX 速度提高 3 倍 |酷文3.8 27B | Apple Silicon 上的本机 MTP 推测解码，无需外部起草器。

使用Gitleaks 🔑 发现密钥 （注：根据技术文档惯例，"secrets"在此语境中指代密钥、凭证等敏感信息，采用"密钥"译法符合行业标准；保留工具名称"Gitleaks"不译；添加"使用"二字使中文表达更完整自然；表情符号位置根据中文阅读习惯调整）

专为Apple Silicon打造的原生LLM推理服务器，兼容OpenAI与Anthropic API，无需Python环境。包含基于MLX Core的macOS应用，支持聊天、智能体模式及工具调用功能。

llm-d 是基于 Kubernetes 的高性能分布式 LLM 推理框架

在手机、可穿戴设备及AI原生硬件上本地运行人工智能

数据中心级分布式推理服务框架

OpenVINO™是用于优化和部署AI推理的开源工具套件

量化注意力机制相比FlashAttention和xformers实现了2-5倍和3-11倍的速度提升，且在语言、图像和视频模型上保持端到端指标无损。

RTP-LLM：阿里巴巴面向多样化应用的高性能大语言模型推理引擎。

开源网络管理与可观测性平台