BigMoeOnEdge：超越内存跑 MoE 大模型

项目简介

BigMoeOnEdge 是一个基于 llama.cpp 的 MoE 大模型推理引擎，可以运行比设备内存更大的 Mixture-of-Experts 模型。它把每个 token 都需要的权重和最常用的专家保留在内存或显存中，其余专家按需从闪存读取；官方说明其输出与整模型驻留内存时一致，并有测试验证。项目提供桌面应用、手机应用，以及兼容 OpenAI 和 Anthropic 的本地服务器，支持 Android、iOS、macOS、Windows 和 Linux。

主要功能

• 运行超出内存的 MoE 模型：专家从闪存按需读取，不要求模型完整装入 RAM。
• 自动配置：--auto 会测量机器和模型，自动选择缓存大小、线程数以及各设备的任务分配；Plan 界面会展示每项选择及原因。
• 兼容任意 MoE GGUF：凡 llama.cpp 能加载的模型和量化格式均可使用，无需针对单个模型写代码。
• 多后端支持：CPU、Metal、CUDA、HIP、Vulkan、OpenCL 和 Hexagon NPU；有显卡时，最常用的专家会留在 VRAM。
• 应用与服务器：桌面端和手机端应用，以及面向编码代理的 OpenAI/Anthropic 兼容服务器。
• 实测性能示例：12 GB Android 手机运行 Qwen3.6-35B-A3B 约 5 tok/s；16 GB Apple-silicon 笔记本约 18-24 tok/s。

安装与使用

从 latest release 下载对应安装包：

• macOS（Apple silicon）：打开 .dmg，把应用拖入 Applications。
• Windows：运行 -setup.exe，无需管理员权限。
• Linux：让 .AppImage 可执行后运行；窗口需要 WebKitGTK 4.1，--server 可只启动服务器。
• Android：安装 app-dev-release.apk，新版本可直接覆盖安装。
• iOS：用 Xcode 从 examples/ios 构建，目前为实验性。

仅安装命令行工具（bmoe-cli、bmoe-server）：

curl -fsSL https://github.com/Helldez/BigMoeOnEdge/releases/latest/download/install.sh | sh

Windows PowerShell：

irm https://github.com/Helldez/BigMoeOnEdge/releases/latest/download/install.ps1 | iex

基本用法：

bmoe-cli -m model.gguf --auto -p "Explain MoE routing."
bmoe-cli -m model.gguf --plan
bmoe-server -m model.gguf -c 32768

打开应用后，在 Models 中选择模型；NVIDIA 或 AMD 显卡可在 Settings 中配置后端。bmoe-server 默认在 8765 端口提供 Web UI，并支持 OpenAI 的 /v1/chat/completions、/v1/responses 与 Anthropic 的 /v1/messages，包含流式输出、工具调用和推理内容。

注意事项

• macOS 版本尚未公证，首次启动需要按 .dmg 内 README.txt 的步骤操作。
• iOS 端需要自行用 Xcode 构建，属于实验性支持。
• 编码代理需要较大上下文：opencode 建议 32768，Claude Code 建议 65536。
• 流式读取只读取闪存，不会造成写入磨损。
• 规划器给出的缓存、线程等参数会保留用户手动设置的值。

本作品整理自 GitHub 开源项目 Helldez/BigMoeOnEdge，原作者 @Helldez，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。