Gufo：Strix Halo 本地 AI 推理引擎

项目简介

Gufo 是一个面向 Linux 和 Windows 的本地推理引擎，专门针对 AMD Strix Halo 硬件构建和优化：Ryzen AI MAX+ 395 系统搭配 Radeon 8060S（gfx1151），最高 128 GiB 统一内存。项目目标是成为 Strix Halo 本地 AI 的一站式方案，覆盖文本、音频、图像和视频模型，采用 MIT 许可证。

主要功能

模型支持（每款模型都有独立文档、基准测试与质量报告）：

• Qwen3.8 27B：Q4/Q8、图像、AR、DFlash2
• Qwen3.8 Flash-Next：Q4、图像、AR、MTP
• DeepSeek V4 Flash：AR、DSpark
• Qwen3-ASR 1.7B：语音识别
• EmbeddingGemma 2：文本与图像嵌入
• Qwen3-TTS 1.7B：语音合成与音色克隆
• Qwen-Image-2.1：BF16 图像生成与编辑（进行中）
• MiniMax H3：BF16 文本转视频/音频（进行中）

实测性能（峰值工作负载）：

• Qwen3.8 Flash-Next Q4_K_XL：1801.01 tok/s pp，单用户最高 116.93 tok/s tg，8 并发 MTP 聚合 245.81 tok/s
• Qwen3.8 27B Q4：648.89 tok/s pp，DFlash2 单用户最高 71.55 tok/s tg，8 并发聚合 128.42 tok/s
• DeepSeek V4 Flash：474.87 tok/s pp，DSpark 单用户最高 29.57 tok/s tg
• Qwen3-ASR 1.7B：15.27× 实时
• EmbeddingGemma 2：HTTP 最高 41.5k tokens/s，404 token 请求耗时 13.0 ms
• Qwen3-TTS 1.7B：最高 2.54× 实时，CustomVoice 首音 201 ms

服务能力：内置 OpenAI 兼容 API，Chat Completions 与 Responses 支持文本、图像、函数工具、结构化输出与流式输出，可直接接入 Open WebUI、VS Code、OpenAI SDK、Codex 等客户端。并发请求、取消与对话缓存被视为一等负载。

安装与使用

先用 hf download 把对应模型的 GGUF 权重下载到本地 models 目录，再拉取运行时镜像：

podman pull ghcr.io/gufo-org/toolboxes/gufo-runtime:latest

以容器方式启动服务，需要挂载 /dev/kfd、/dev/dri 设备，并将模型目录以只读方式挂到容器内：

gufo serve --host 0.0.0.0 --port 8080 llm --model /models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q8_K_XL.gguf

也可以从源码构建（CMake 统一管理 Nix 与普通 Linux 构建）：

nix build
./result/bin/gufo diagnose
./result/bin/gufo serve llm --model /path/to/model.gguf

服务启动后即可通过 OpenAI 兼容接口调用：

curl http://localhost:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Qwen3.8-27B-UD-Q8_K_XL", "messages": [{"role": "user", "content": "Say something"}]}'

在 Open WebUI、VS Code、OpenAI SDK 等客户端中，把 API Base URL 设为 http://localhost:8080/v1 即可。文本服务默认使用模型的原生上下文，生成到 EOS 或上下文填满为止；--context N 设置每个会话的上下文容量，--max-tokens N 设置客户端可覆盖的默认回复上限，推理 token 也计入该上限。

注意事项

• 生产包面向 Linux x86-64 的 AMD Strix Halo（gfx1151）；Windows x86-64 作为受支持的本地开发构建目标，参见 BUILD-WINDOWS.md。
• rootless Podman 需要 crun 才能使用 --group-add keep-groups；宿主用户必须对 /dev/kfd 和 /dev/dri/renderD* 有读写权限，通常通过 render、video 组授予，修改组后需重新登录。
• 在启用 SELinux 的主机（如 Fedora）上，可能出现 GPU 枚举成功但 SELinux 阻止映射 /dev/kfd 的情况，表现为误导性的 “Memory critical” 错误。可用 sudo ausearch -m avc -ts recent 检查宿主审计日志，必要时执行 sudo setsebool -P container_use_devices true，注意该设置会影响主机上的所有容器。
• 与 Codex 配合使用时，Gufo 会把中途出现的 developer 消息移动到开头的 system 轮，引入该消息的请求会重新预填充，后续请求复用缓存。
• Claude Code 暂不支持：它每轮都向 messages 添加 system 消息，导致每次请求都要重新预填充全部历史。
• 小于 128 GiB 的内存配置仍可运行，并对能放下的模型保留速度优势。

本作品整理自 GitHub 开源项目 gufo-org/gufo，原作者 @gufo-org，许可证 MIT。中文介绍由 AI 根据项目 README 整理，以原仓库为准。