exo：本地 AI 集群运行工具

项目简介

exo 能把同一网络中的多台设备组成一个本地 AI 集群，用来运行超出单台设备容量的大模型。它由 exo labs 维护，采用 Apache-2.0 许可证。设备运行 exo 后会自动发现彼此，无需手动配置；每台设备都提供 API 和内置面板，默认地址为 http://localhost:52415。

主要功能

• 自动设备发现：同一网络、同一版本 exo 的设备会自动加入集群。
• RDMA over Thunderbolt：支持通过 Thunderbolt 5 使用 RDMA，README 称可将设备间延迟降低 99%。
• 拓扑感知自动并行：根据设备资源和链路延迟/带宽，决定模型如何拆分到各设备。
• 张量并行：支持模型分片，README 给出 2 台设备最高 1.8 倍、4 台设备最高 3.2 倍加速。
• MLX 后端：使用 MLX 作为推理后端，并通过 MLX distributed 进行分布式通信。
• 多种 API 兼容：兼容 OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama API。
• 自定义模型：可从 HuggingFace hub 加载自定义模型。
• 内置面板：用于管理集群和与模型对话。

安装与使用

macOS 应用是 Mac 上最简单的使用方式，需要 Apple 芯片且系统为 macOS Sequoia 15.1 或更高版本；RDMA over Thunderbolt 需要 macOS Tahoe 26.2 或更高版本。下载并打开 EXO-latest.dmg，把 EXO 拖入 Applications 文件夹后启动。也可以用 Homebrew 安装：

brew install --cask exo

安装后，让多台 Mac 处于同一局域网（Wi-Fi 或 Ethernet），或使用 Thunderbolt 线连接，并确保它们运行相同版本的 exo。新设备通常会在几秒内出现在面板中。也可在 macOS 或 Linux 上从源码运行；查看源码版本可执行 uv run exo --version。

注意事项

• 不同版本的 exo 默认不会加入同一集群；升级时需要更新集群内每台设备。
• 应用和源码 checkout 的版本号规则不同，默认集群名也不同；如需混用，应给所有设备设置相同的集群名。
• macOS 应用会请求本地网络权限；若拒绝，需要在“系统设置 → 隐私与安全性 → 本地网络”中重新开启。
• 通过 Thunderbolt 组网时，EXO 可安装网络设置服务并切换到 exo 网络位置；该位置使用默认网络设置，原有固定 IP、DNS、代理等不会生效。
• 如果设备无法互相发现，先检查版本、本地网络权限和网络环境；访客 Wi-Fi 或部分办公网络可能阻止设备互访。

本作品整理自 GitHub 开源项目 exo-explore/exo，原作者 @exo-explore，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。