FastFlowLM：AMD NPU 本地大模型运行时

项目简介

FastFlowLM（FLM）是一个专为 AMD Ryzen™ AI NPU（XDNA2）打造的本地大模型运行时。它让 Ryzen AI 芯片在几分钟内跑起 LLM，并支持 Vision、Audio、Embedding 与 MoE 模型；不需要 GPU，官方称比常规方案更快、功耗低 10 倍以上，上下文长度最高可达 256k tokens。运行时体积约 17 MB，安装约需 20 秒。

支持所有搭载 XDNA2 NPU 的 Ryzen™ AI 系列芯片，包括 Strix、Strix Halo、Kraken 和 Gorgon Point。

主要功能

• 完全运行在 AMD Ryzen™ AI NPU 上，不占用 GPU 和 CPU
• 轻量运行时（17 MB），20 秒内完成安装，便于集成
• 面向开发者的单命令 CLI，用法接近 llama.cpp / Ollama
• 提供 REST 与 OpenAI 兼容 API，flm serve 默认监听 52625 端口
• 支持长上下文，最高 256k tokens（例如 Qwen3-4B-Thinking-2507）
• 支持 Vision、Audio、Embedding、MoE 模型，以及 SmolVLA 机器人策略模型
• 可集成到 AMD 的 Lemonade Server 中
• 无需改写模型或做底层调优

安装与使用

Windows 提供打包好的安装程序：flm-setup.msi。安装完成后打开 PowerShell（Win + X → I），以 CLI 模式运行模型：

flm run llama3.2:1b

启动本地服务器（Server Mode）：

flm serve llama3.2:1b

模型标签用于指定初始模型，可省略；请求其他模型时 FLM 会自动切换。

其他常用操作：

• flm list：列出所有可用模型
• 会话中输入 /verbose 开启或关闭性能报告，输入 /bye 退出对话
• 通过任务管理器「性能 → NPU」查看 NPU 占用

Linux 安装步骤参见 Linux Getting Started Guide。需要从源码构建时，项目提供 CMake presets：

git clone --recursive https://github.com/ROCm/FastFlowLM.git
cd FastFlowLM/src
cmake --preset linux-default
cmake --build build

Windows 在开发者命令提示符下使用 cmake --preset windows-default。

更多文档与模型列表：fastflowlm.com/docs

注意事项

• 需要最新版 AMD NPU 驱动，版本 32.0.203.311 或以上，旧版本已不再支持。
• 首次运行模型需要访问 HuggingFace 下载优化后的模型内核。
• 若下载文件损坏，可用 flm pull <model_tag> --force（如 flm pull llama3.2:1b --force）重新下载修复。
• 模型默认存放位置：Windows 为 C:\Users\<USER>\.flm\models\，Linux 为 ~/.config/flm/。Windows 安装时可更换基础目录；Linux 可用环境变量 FLM_MODEL_PATH 覆盖默认路径。
• 设置 FLM_DISABLE_UPDATE_CHECK=1 可关闭启动时的版本检查。
• 若所在地区无法访问 HuggingFace，需要手动下载模型并放入指定目录。
• 许可：编排代码与 CLI 工具采用 MIT 许可；NPU 加速的二进制内核不开源，但依据 FastFlowLM NPU Binary License 可免费用于商业与非商业用途，并可按原样自由再分发。使用方需在 README、项目页或产品中注明 Powered by FastFlowLM。

---

本作品整理自 GitHub 开源项目 ROCm/FastFlowLM，原作者 @ROCm。中文介绍由 AI 根据项目 README 整理，以原仓库为准。