LocalAI：本地开源 AI 引擎

项目简介

LocalAI 是一个开源的 AI 引擎，可以在任何硬件上运行各类模型——LLM、视觉、语音、图像、视频，并且不要求 GPU。

它的设计思路是「小而核心，不做捆绑」：每个后端只封装一个业界领先的引擎（llama.cpp、vLLM、whisper.cpp、stable-diffusion、MLX 等），打包成独立镜像，只有当某个模型真正需要时才拉取，用不到的东西不会被安装。整个服务自托管，数据留在自己的基础设施里。

主要功能

• 组合式设计：后端彼此独立、按需拉取，只安装模型需要的部分。
• 开放可扩展：可加载任意模型，也可以按照开放接口用任意语言编写自己的后端。
• API 兼容：在所有后端之上提供 OpenAI、Anthropic、ElevenLabs 兼容接口。
• 多模态统一：LLM、视觉、语音、图像、视频共用一套 API。
• 硬件覆盖广：NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或纯 CPU。
• 面向多用户：API key 认证、用户配额、基于角色的访问控制。
• 带保存智能体的对话：服务端保存会话，智能体可使用工具、MCP、技能与文件、触发器，并提供 Telegram 连接器。
• 插件生态：Studio、Talk、Voice、Face、Office、Sandbox 等可从签名目录安装，与服务器并行运行。
• 隐私优先：数据不离开自有基础设施。

安装与使用

macOS

从 Releases 下载 LocalAI.dmg 安装。由于该 DMG 未经 Apple 签名，安装后需要执行：

sudo xattr -d com.apple.quarantine /Applications/LocalAI.app

容器方式（Docker、podman 等）

仅 CPU：

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

NVIDIA GPU（CUDA 12）：

docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12

AMD GPU（ROCm）：

docker run -ti --name local-ai -p 8080:8080 --device=/dev/kfd --device=/dev/dri --group-add=video localai/localai:latest-gpu-hipblas

此外还提供 Intel oneAPI、Vulkan 以及 NVIDIA Jetson ARM64 等镜像标签。之前运行过 LocalAI 的话，可用 docker start -i local-ai 重启已有容器。

加载模型

# 从模型库加载
local-ai run llama-3.2-1b-instruct:q4_k_m
# 从 Huggingface 加载
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf
# 从 Ollama OCI registry 加载
local-ai run ollama://gemma:2b

也可以从 YAML 配置或标准 OCI registry（如 Docker Hub）加载模型。可用 local-ai models list 查看模型库中的可用模型。

终端智能体

在另一个终端里可以启动内置智能体，它会回答问题、读取本机文件并执行命令，任何改变状态的操��都需要你批准。会话内用 /models 列出已安装模型，用 /model <name> 切换模型。

local-ai chat --model llama-3.2-1b-instruct:q4_k_m

LocalAI 会自动检测 GPU 能力并下载合适的后端。

注意事项

• macOS 的 DMG 未经 Apple 签名，安装后必须手动移除 quarantine 属性才能正常启动。
• 各后端镜像按需拉取，首次使用某个模型时会有额外的下载等待时间。
• 更多安装选项、GPU 加速配置与常见问题，请查阅官方文档与 Getting Started 指南。

---

本作品整理自 GitHub 开源项目 mudler/LocalAI，原作者 @mudler，许可证 MIT。中文介绍由 AI 根据项目 README 整理，以原仓库为准。