Unsloth：本地运行与训练大模型的应用

项目简介

Unsloth 是一款本地运行和训练模型的应用，官方称其为第一个可以运行并训练模型的桌面应用。它支持 GGUF、MLX、扩散模型、决策模型、embedding 与音频模型，也支持 Qwen3.8、GLM-5.3-Flash、Kimi K3、Qwen-Image-2.1、MiniMax-H3、DeepSeek-V4、Gemma 4 等模型。

同一个项目提供三种使用方式：Unsloth Desktop（桌面应用，推荐）、Unsloth Studio（Web UI）、Unsloth Core（代码版）。它可在 Windows、Linux、WSL 和 macOS 上运行，支持多 GPU、NVIDIA、AMD、Intel GPU、CPU 以及 Vulkan 后端。

主要功能

• 运行与构建：运行和训练 LLM、MLX、GGUF、扩散、决策、embedding、音频模型。
• Agents 与工具：让本地模型配合 Claude Code、Codex、MCP 使用，支持工具调用与代码执行。
• 搜索与 RAG：私有且不限量的网页搜索、deep research、滚动上下文窗口（auto-compaction）与 RAG。
• 图像与视频：运行和训练图像、视频扩散或多模态模型。
• 远程与局域网：通过局域网或 Cloudflare 提供的 HTTPS 链接，从其他设备访问本地模型。
• 连接：以 OpenAI 兼容 API 提供模型服务，也可接入 ChatGPT/Codex 订阅与云服务商。
• 微调与部署：训练 LLM、扩散、决策、TTS、embedding 模型，宣称速度快 2 倍、显存减少 70% 且无精度损失；支持强化学习、LoRA、QLoRA、全量微调、pretraining、GRPO、DPO、FP8；可导出 GGUF、NVFP4、FP8 等格式。
• 数据集：通过 Data Recipes 从 PDF、CSV、DOCX 等文件构建数据集。

安装与使用

直接下载对应平台的安装包：

• Windows：Unsloth-Desktop-Windows.exe（另有 ARM64 版本）
• macOS：Unsloth-Desktop-MacOS.dmg
• Linux：.deb（含 ARM64）或 .AppImage

下载地址见 unsloth.ai/download 与 GitHub Releases。

也可以使用包管理器或脚本安装：

brew install --cask unsloth

winget install --id UnslothAI.Unsloth -e

curl -fsSL https://unsloth.ai/install.sh | sh

安装后启动 Studio：

unsloth studio

Unsloth Start 可以把 Claude Code、Codex 等 agent 一键接到本地模型：

unsloth start claude --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_XL

支持的 agent 命令包括 unsloth start codex、unsloth start vscode、unsloth start opencode 等。

注意事项

• 对外暴露服务（--secure、--cloudflare 或非回环地址的 -H）时，服务端工具默认开启，请保管好管理员密码，必要时使用 --disable-tools。
• 无交互启动可通过环境变量设置密码：UNSLOTH_STUDIO_PASSWORD='your-strong-password' unsloth studio --secure；忘记密码可用 unsloth studio reset-password 重置。
• 在 Windows 上通过代码版安装时，需先安装 torchao，否则可能解析到较旧的 Unsloth 版本。

本作品整理自 GitHub 开源项目 unslothai/unsloth，原作者 @unslothai，许可证 Apache-2.0。中文介绍由 AI 根据项目 README 整理，以原仓库为准。