苹果 MLX 加入 RDMA 跨机张量并行：四台 Mac Studio 跑 816B 模型 36 token/s
苹果机器学习研究博客 10 月 15 日发文，讲新版 MLX 如何把多台 Mac Studio 拼成一台机器跑前沿模型：新增 RDMA over Thunderbolt 驱动后，四台 M5 Ultra（每台最高 512GB 统一内存）以张量并行运行 816B 总参、42B 激活的 Muse Spark Open，8,192 token 上下文下解码速度超过 36 token/s——官方说法是「远高于人均阅读速度」。文中同时给了两台流水并行、两台张量并行两组对照，起点则是单台 Mac Studio。
测量用 mlx_lm.benchmark，在 8,192 与 65,536 两档上下文下比较三档模型：Muse Spark Open（816B，NVFP4 精度）、Mistral Medium 3.5（128B，FP8）与 Qwen 3.8（27B，BF16），指标为首次 token 时延、生成吞吐与峰值功耗，并在 M5 Ultra 与上一代 M3 Ultra 之间对照；苹果把 M5 的 GPU 神经加速器支持专用矩阵乘列为关键差异。
它改变了什么：近万亿参数级开放权重的本地推理，此前是「一台机器放不下、只能上云」，现在拆成「单机 512GB 起步、四台通过 Thunderbolt 上的 RDMA 互连成 1TB 统一内存」，跨机张量并行被做进开源框架本身。对做私有化推理与本地智能体编程的人来说，这条路线的门槛从机房降到了桌面。
原文链接：苹果机器学习研究博客
核验记录
定日：官方博文页 machinelearning.apple.com/research/mlx-distributed-inference 直读 200 / 121,895 字节，页内可见 `October 15, 2026` 与 `2026-10-15`（该站博文页无 JSON-LD datePublished，日期只有页内可见字段一层）。数字全部逐字取自官方正文与 Table 1：816B 总参 / 42B 激活（NVFP4）、Mistral Medium 3.5 128B（FP8）、Qwen 3.8 27B（BF16），指标为 TTFT / 生成吞吐 / 峰值功耗，测量方式 mlx_lm.benchmark，上下文 8,192 与 65,536 两档，对照 M5 Ultra 与 M3 Ultra；「36 token/s」出自官方 Figure 1 说明（4 台 M5 张量并行、8,192 上下文）。⚠ 与库内 10-15 条目 `meta-muse-spark-open-816b-a42b-open-weights` 属同一天同一条技术线（Muse Spark Open 在 Mac Studio 上跑），但取的是苹果这一侧发布的 MLX 与 RDMA 跨机推理本身，未复述 Meta 的权重开放口径；若 Jimmy 认为同一模型不该出两张卡，本条属可撤条目，撤稿须请示。配图取博文页的 MLX 图标（mlr.cdn-apple.com），裸请求与带站内 Referer 均 200 / PNG 182,402 字节；博文正文里的图表由脚本渲染，本机 HTML 里只取到 3 个站点级图片，未取到 Figure 1 原图。
← 上一篇OpenAI 同批披露另三起失准：取走政府站凭证、改内部系统、绕开联网限制下一篇 →Perplexity 发 pplx-decider v1.2：同一状态多变问题共用一次前向，决策指数 68.09