YuE2 Studio：本地 AI 歌曲生成工作台

项目简介

YuE2 Studio 是开源歌曲模型 YuE2（来自 M-A-P）的桌面工作台。YuE2 会先写乐谱再演唱：你描述风格、写好歌词，模型就以 ABC 记谱法创作旋律与和弦，再把这份乐谱演唱成带人声的完整歌曲。乐谱会随歌曲一起返回——可以阅读、修改，然后用另一种音色重新渲染同一首作品。

它基于 yue2.cpp（YuE2 的原生 C++/CUDA 移植）构建，外壳是 Tauri 窗口里的 Rust + React，运行路径中没有 Python，也不需 Node.js 或启动器。提供 Windows 安装包（带自动更新）或便携文件夹，可离线运行；需要 NVIDIA 显卡与 6 GB 以上显存，AMD 与 Intel 显卡通过 Vulkan 属实验性支持。

主要功能

• 风格 + 歌词生成整首歌：最长十分钟，支持模型可演唱的语言。俄语中在元音后加组合重音符（U+0301，Windows 上 Alt+0769）可移动演唱重音。资料称在 RTX 4090 上使用 Q8_0 模型集，3:38 的歌曲约 46 秒渲染完成。
• 读谱与改谱：编辑音符、速度或调性后再次生成，旋律保持、演唱改变；也可切换为仅旋律或完全不要乐谱。
• 先作曲再演唱：只根据风格与歌词写出乐谱（对应 yue2.cpp 的 yue-plan），检查修正后再生成。
• 翻唱（Covers）：SheetSage2 听一段录音并写出其旋律乐谱，YuE2 再用你的风格演唱这段旋律。
• 精确重放：每首曲子都保存请求与 audio codes，可逐比特重渲染，或换步数、新种子、多版本、其他输出格式，无需重新作曲。
• 110 个现成示例：随 yue2.cpp 提供的风格/歌词/乐谱组合，含翻唱，一键载入。
• 完整的引擎参数：七项采样参数（temperature、top-p、top-k、重复惩罚及其窗口、最小/最大 token）、flow-matching 步数、guidance、两个种子、无损 FLAC 或 MP3；提示词可按引擎请求格式存为 JSON 或 YAML，在工作室、yue2.cpp WebUI 与 yue-synth 之间互通。
• 创作助手：本地 Gemma 模型或 OpenRouter 根据想法写风格与歌词、按需改谱；也可让连接的 Agent（MCP）代写。
• 自带的播放器：Winamp 频段的十段均衡器及预设与 .EQF 文件；MilkDrop 可视化（数百预设）或十种频谱外观；Winamp 模式可把整个窗口变成可换肤的 Winamp 2，Ctrl+M 切换。
• 字级卡拉 OK：增强型 LRC，每个词一个时间戳，由 Parakeet 或 Whisper 对齐，保留你自己的歌词。
• GPU 六轨分离：鼓、贝斯、其他、人声、吉他、钢琴（HT-Demucs）；仅输出人声为 MP3 或 32-bit WAV。
• 任意曲目转 MIDI：歌曲、分轨或处理后作品经 MuScriptor 转为多乐器 MIDI（34 个乐器组与鼓），附 MIDI 编辑器（钢琴卷帘、录音或绘制、保存 .mid 或送入翻唱）。
• LoRA：为模型作曲与音色两半分别加载 LoRA / LoKr，权重 −10 至 +10；可从目录与 Hugging Face 搜索下载。
• 训练自己的 LoRA：三步向导（放入歌曲文件夹、检查、开始训练）；歌词取自 LRCLIB、QQ Music、Kugou 等歌词库，再由 Whisper 补听；MOSS-Music 听辨风格、Beat This! 测速；支持断点续训与按漂移或轮数停止。
• 音频处理：降噪、Spectral Lifter、人声自然化、VST3 插件链、以参考曲做母带；可对比前后并将结果保存为版本。
• 文件即库：搜索、播放列表、按提示词模板生成封面；导出时把标题、歌词、封面写入文件标签（FLAC 的 Vorbis comments、MP3 的 ID3）。界面支持英语、俄语、中文、日语、韩语。
• 音乐视频：16:9、9:16 或 1:1 的可视化视频，带卡拉 OK 歌词、文字层与特效，在本机渲染为 MP4。
• 从种子续写：哼唱、弹奏或写一个开头，打开「Continue the song from this score」，模型按同一调性与拍号续写整首。

安装与使用

1. 从 latest release 下载安装并启动工作室。
2. 如需让 AI Agent 驱动工作室，连接其 MCP 服务器 http://127.0.0.1:8791/mcp：

claude mcp add --transport http yue2-studio http://127.0.0.1:8791/mcp

3. 读取它提供的 skill（资源 studio://skill，提示 studio，与 docs/mcp-skill.md 同文），从工具 studio_status 开始。若要在 Claude Code 中保留该 skill，把同一文件存为 ~/.claude/skills/yue2-studio/SKILL.md。

注意事项

• NVIDIA 显卡需 6 GB 以上显存；AMD 与 Intel 显卡的 Vulkan 路径为实验性。
• 翻唱时歌词必须贴合旋律：原歌词效果最好；新歌词需要逐行音节数相同、重音落在相同音符上，否则演唱会出现拖长、停顿或滑入错误段落，转录错误也会带进翻唱。
• 部分组件（如 MIDI 转录）在首次使用时才下载。
• 工作室提供 HTTP、HTTPS、SOCKS5、SOCKS4（可带登录）代理，模型下载、Hugging Face、OpenRouter 与更新都会走它。
• 项目以 MIT 许可证开源。

本作品整理自 GitHub 开源项目 timoncool/YuE2-Studio，原作者 @timoncool，许可证 MIT。中文介绍由 AI 根据项目 README 整理，以原仓库为准。