Lemonade：本地 AI 推理服务器

项目简介

Lemonade 是一个本地 AI 服务器，目标是把云端 API 的能力搬到用户自己的电脑上：完全免费、数据私有。它针对 Ryzen AI、Radeon、Strix Halo 等硬件做了优化（由 AMD 工程师参与优化），可以调用本机 GPU 和 NPU 运行最新模型，覆盖对话、编码、语音和图像生成。

项目提供两种形态：

• Lemonade Server：安装为系统服务，通过标准的 OpenAI、Anthropic、Ollama API 与大量第三方应用对接。
• Embeddable Lemonade：可打包进自己应用的可移植二进制，为终端用户提供自动适配其 PC 硬件的多模态本地 AI。

主要功能

• 多模态本地推理：支持 LLM、语音生成、语音转写和图像生成，如 SDXL-Turbo、kokoro-v1、Whisper-Large-v3-Turbo。
• 标准 API 兼容：对外提供 OpenAI、Anthropic、Ollama 风格接口，Claude Code、Open WebUI、AnythingLLM、Dify、n8n、GitHub Copilot 等应用可直接连接。
• 模型管理与下载：内置 Model Manager，或用 lemonade pull 下载模型；支持 GGUF、FLM、ONNX 格式，以及 Whisper、Stable Diffusion 等模型，自定义模型可从 Hugging Face 或 ModelScope 拉取。
• 多后端支持：自动识别本机可用的推理后端，lemonade backends 可查看，覆盖 CPU、GPU、NPU。
• 模型别名与容错：通过别名实现与环境无关的模型命名，并可做 active-standby 的快速切换。
• 云卸载（实验性）：除本地模型外，也可把请求路由到 Fireworks、OpenAI、OpenRouter、Together 等 OpenAI 兼容的云端服务，适合混合部署。
• 移动端：提供 iOS 与 Android 版 Lemonade Mobile App。

安装与使用

官方提供 Windows、Linux、macOS、Docker 以及源码编译的安装方式，详见仓库文档目录 docs/guide/install。发布页给出的安装包包括 Windows 的 lemonade.msi、Ubuntu 24.04+ 的 Launchpad PPA，以及 Debian 13、Fedora 43/44 的 deb 与 rpm 包。

安装后，用 CLI 即可使用：

lemonade run Gemma-4-E2B-it-GGUF
lemonade launch claude
lemonade list
lemonade pull Gemma-4-E2B-it-GGUF

多模态示例：

lemonade run SDXL-Turbo
lemonade run kokoro-v1
lemonade run Whisper-Large-v3-Turbo

别名管理示例：

lemonade alias add production-llm Gemma-4-E2B-it-GGUF
lemonade alias list

注意事项

• 不同模型与推理引擎对硬件有各自要求，实际可用的后端取决于本机 GPU、NPU 与驱动情况。
• 云卸载能力仍标注为实验性，生产环境使用前建议先验证。
• 项目采用 Apache-2.0 许可证，可自由使用与集成。

---

本作品整理自 GitHub 开源项目 lemonade-sdk/lemonade，原作者 @lemonade-sdk，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。