如果你在 2026 年 9 月前后刷过 GitHub Trending 或 Hugging Face 的热榜，大概率见过 YuE2。它在 9 月 14 日冲到 GitHub Trending 第一，9 月 20 日拿下 Hugging Face Text-to-Audio 榜第一。它最有意思的地方不是"AI 又能唱歌了"，而是换了个思路：先让模型写出一份可以编辑的乐谱，再照着这份谱子把歌演唱出来。

本文先说清 YuE2 是什么、怎么用、许可证有什么坑，再把同赛道的开源项目按链路分段梳理一遍，给出一张选型地图。

一、YuE2 是什么

用项目自己的话说：

"YuE2 brings frontier song quality to music generation with an editable composition. Give it lyrics and a style prompt: it writes a melody-and-chord plan, then realizes that plan as a complete song with vocals and accompaniment."

翻译过来就是：给它歌词和一段风格提示词，它先写出一份"旋律 + 和弦"的方案，再把这份方案实现成一首带人声和伴奏的完整歌曲。

关键事实（以下数字均于 2026 年 10 月 2 日通过 GitHub 官方接口查询）：

• 仓库：multimodal-art-projection/YuE，项目主页 map-yue2.github.io
• 出品：多机构联合 —— 香港科技大学（HKUST）、M·A·P、Tokenwave.AI、纽约大学、斯坦福、MBZUAI、NOIZ、ACE Studio，作者共 34 位
• 许可：代码 Apache 2.0，但模型权重是 CC BY-NC 4.0（这一点后面单独讲，很重要）
• 规模：10,689 star、1,224 fork；2025-01-23 建仓，最后一次推送在 2026-09-29
• 技术：主语言 Python，约 3.58B 参数、28 层
• 论文：arXiv:2609.33757，仓库内附技术报告 PDF

有个细节值得先说明：仓库名其实还叫 YuE，因为它是初代 YuE（2025 年 1 月发布，当时就火过一轮）的同一个仓库。初代代码和文档被完整保留在 YuE-v1 分支上，主分支现在装的是 YuE2。所以那 10,689 个 star 是两代累积的结果，不能全算在 YuE2 头上 —— 这是看开源项目的 star 时很容易踩的坑。

二、它到底新在哪：先写谱，再演唱

绝大多数开源音乐生成模型是"黑盒"的：你给歌词和风格，它直接吐出音频。你能做的只有换提示词、重抽；如果副歌第二句的旋律不对，你没有任何办法只改那一句。

YuE2 把这条链路拆成了两段。项目称之为 symbolic planning（符号规划）：

"Through symbolic planning, it writes an editable score, then brings the composition to life with vocals and accompaniment."

它写出来的"谱"用的是 ABC 记谱法（一种纯文本乐谱格式），里面包含旋律和和弦。这意味着三件事：

• 可以看：项目主页上，你点开一首歌就能看到它的乐谱页面，播放时音符跟着走。
• 可以改：把 ABC 文本复制出来，手动改音符、改和弦，再喂回去重新渲染。
• 可以中间落盘：生成过程分成了 plan() → generate_semantic() → synthesize() → decode() 四步，你可以只在第一步停下、把方案存下来检查无误再继续。

官方给的 cot（思维链）参数就是控制这一步的：

• cot="full" —— 规划旋律 + 和弦，新歌的默认档
• cot="melody" —— 只规划旋律，伴奏自由发挥，做翻唱（cover）时推荐用这档
• cot="off" —— 不做符号规划，直接由歌词和风格生成
• abc=... —— 你自己提供乐谱，要求配 full 或 melody

另外，配合 SheetSage2（项目的音频转乐谱组件），你还可以丢一段录音进去，让它先转成谱，再基于这份谱生成新歌 —— 这就是它说的零样本翻唱。多个能力共用同一个生成权重，不需要换模型。

三、架构：AR-NAR 混合的 Transformer

项目对骨干网络的描述是：

"One AR–NAR Mixture-of-Transformers backbone predicts the score and semantic tokens autoregressively, then generates acoustic latents with flow matching. A VAE decodes those latents into stereo audio."

拆开看是三层：

• AR-NAR 混合 Transformer：自回归（AR）和掩码生成（NAR）两套专家共用一次注意力计算，但各自保留独立的归一化、投影和 MLP。
• 流匹配（flow matching）生成声学潜变量，再由 VAE 解码成音频。
• 输出为 48 kHz 立体声、无量化。

围绕主模型还有几个配套件，构成一个完整工具箱：SheetSage2（录音 → 可编辑的乐谱）、MERT2（音乐表征，两套编码器各 632M 参数）、YuE2-Vae（默认解码器）、WildSongBench（评测集）。

训练数据规模官方也公开了：YuE2 用了约 346K 小时，MERT2 约 700K 小时，SheetSage2 约 28.4K 小时。数据来源上，项目明确写的是：

"Our models are trained primarily on CC0 music and synthetic data. Tokenwave.AI provides most of our synthetic training data under license."

即以 CC0（公有领域）音乐和合成数据为主。这在版权敏感的当下是个重要表态。

四、成绩单：自评超过 Suno v5/v6，但要看清口径

项目在 WildSongBench（192 条提示词）上给出了这样一组数字：

• YuE2（best-of-8）：6.9632 SongBench 平均分 —— 17 个参评设置里的最高均值
• Suno v5：6.8721
• Suno v6：6.5562；Suno v6 Wild：6.4195
• 初代 YuE：4.9165（YuE2 单次生成则为 6.7316）

配套组件也各自有 SOTA 宣称：MERT2-30s 在 15 项 MARBLE 指标中拿下 14 项，SheetSage2 在 15 项基准指标中拿下 12 项。

但这里必须把话讲清楚。 这是作者自己公布的、在自己构建的评测集上的成绩，而且官方文档自己就写明了口径差异：

"The comparison therefore retains different selection budgets."

翻译过来：YuE2 用的是 best-of-8（生成 8 次挑最好的一条），而部分对比对象是单次或两候选的协议，因此双方的"挑选预算"并不对等。官方还补了一句更诚恳的：

"Rankings vary by metric; the small gap between the highest means does not establish statistical significance."

即"最高分之间的差距很小，不构成统计显著"。所以合理的理解是：开源模型在自建评测上已经摸到了商业闭源产品的区间，而不是"开源已经明确赢了 Suno"。想自己判断的话，最省事的办法是去官方免费试听站亲耳听一遍，而不是看分数。

五、怎么用：门槛不低

官方给出的运行要求相当具体：

• Linux 系统
• Python 3.12
• 支持 BF16 的 NVIDIA 显卡，24 GB 显存，且一次只处理一个请求

安装与首次生成：

git clone https://github.com/multimodal-art-projection/YuE.git
cd YuE
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install .
python examples/generate.py --output outputs/first-song

Python 里则是这几行：

import json
from pathlib import Path
from yue2 import YuE2Pipeline

request = json.loads(Path("examples/song.json").read_text(encoding="utf-8"))
with YuE2Pipeline.from_pretrained("m-a-p/YuE2-3B", device="cuda") as pipe:
    song = pipe(**request)
    song.save_artifacts("outputs/my-song")

请求里两个关键字段：style 放流派、乐器、人声音色、语言、速度；lyrics 放歌词，用 [Verse]、[Chorus] 这类段落标签分段。save_artifacts() 会把音频、乐谱（如果有）、规划 JSON、语义 token、潜变量、配置与耗时一并存下来，方便复现和排查。

如果你不想折腾环境，有两条捷径：

• 在线免费试听：yue.noizai.net，由 NOIZ 托管。
• ComfyUI：项目提供原生节点和官方文生音乐工作流，图形化操作。社区还有第三方节点（如 ComfyUI-YuE2）可用。

顺带一提，这个仓库里还带了一个 skills/yue2-music/ 目录，里面是给 AI Agent 用的技能说明（SKILL.md），也就是说它从设计上就考虑了"被别的智能体调用"这件事 —— 这在开源模型项目里还算少见。

六、许可证：最容易被忽略的坑

这是全文最需要划重点的一段。YuE2 的授权是分层的，而且代码和权重的许可不一样：

• 代码、Agent 技能与文档：Apache 2.0
• 模型权重：CC BY-NC 4.0，另附创作者许可条款

按使用者的身份划分：

• 个人用户、内容创作者、音乐人：可以免费使用，生成的作品可以商用变现，无需向项目方付费或分成。
• 学术研究与教育：免费，限非商业用途。
• 企业商业使用：需要联系项目方另行洽谈模型权重的商业授权。

也就是说，"个人拿来发歌赚钱"是明确允许的；但"公司把它集成进产品去卖"需要另谈。看到"Apache 2.0"就以为权重也能随便商用，是会出问题的 —— 仓库里权重走的是 MODEL_LICENSE，和代码分开。

七、同类开源项目综述

把"AI 音乐"当成一个赛道的整体来看，开源项目其实按"负责链路的哪一段"分成五类。下面每个项目的 star 数与状态同样是 2026 年 10 月 2 日通过 GitHub 接口查得。

A. 端到端歌曲生成（歌词 + 风格 → 带人声的整曲）

• YuE / YuE2（multimodal-art-projection/YuE）：10,689 star。唯一走"符号规划"路线的 —— 先出可编辑乐谱，再演唱，还支持零样本翻唱和对话式编辑。代价是 24 GB 显存门槛和仅限 Linux。
• ACE-Step（ace-step/ACE-Step）：4,873 star，Apache 2.0，由 ACE Studio 与阶跃星辰（StepFun）联合主导。走的是扩散 + 深度压缩自编码器 + 轻量线性 Transformer路线，作者在论文摘要里直接点出这条赛道的取舍：LLM 类模型歌词对齐好但推理慢、有结构瑕疵，扩散类模型快但缺乏长程结构连贯性 —— ACE-Step 的定位就是两边取平衡。官方称在 A100 上约 20 秒生成 4 分钟音乐，比 LLM 类基线快 15 倍；2025 年 5 月的显存优化把上限降到 8 GB，消费级显卡可跑；2026 年 1 月发布 v1.5。
• DiffRhythm（ASLP-lab/DiffRhythm）：2,346 star，Apache 2.0。定位是"极简高效的端到端整曲生成"，靠潜空间扩散把流程压得很短，和 ACE-Step 同属扩散阵营。
• SongGeneration / LeVo（腾讯 AI Lab）：基于 LM 的高质量歌曲生成框架，用"混合 token + 双轨 token"来兼顾人声与伴奏的和谐度与细节，支持中英文，论文为 arXiv:2506.07520。需要提醒的是：该项目的官方 GitHub 路径（tencent-ailab/SongGeneration）在本文核实时返回 404，仓库可能已改名、转移或转为私有，想用的话建议从官方 Hugging Face 页面重新确认入口。

这一类里，YuE2 与 ACE-Step 恰好是两个路线的代表：一个追求"可控可编辑"，一个追求"快和省显存"。你更可能需要哪一个，取决于你是想精修一首歌，还是想批量出小样。

B. 通用音频 / 音乐生成工具箱

• AudioCraft（facebookresearch/audiocraft）：23,661 star，MIT。Meta 出品，包含 MusicGen（文生音乐）、AudioGen（文生音效）、EnCodec（神经音频编解码）三个模型。面世最早、生态最广，但最后一次推送停在 2026-03-03，节奏明显放缓。
• Amphion（open-mmlab/Amphion）：10,305 star，MIT。不是单模型，而是覆盖音频、音乐、语音三类任务的工具箱，适合做研究和二次开发。
• Stable Audio Open（Stability-AI/stable-audio-tools）：3,872 star，MIT。Stability AI 的音频生成工具链。注意它的定位是器乐与环境音，并不做人声演唱 —— 它和 YuE2 不是替代关系。
• AudioLDM2（haoheliu/AudioLDM2）：2,643 star，潜扩散路线，2024-09 之后基本停更。
• Make-An-Audio（Text-to-Audio/Make-An-Audio）：668 star，MIT，ICML 2023 的文本到音频工作，适合当参考基线。

C. 符号音乐与乐谱（YuE2 真正的差异点在这一类）

• Magenta（magenta/magenta）：19,795 star，Apache 2.0。Google 的经典项目，符号音乐生成的开山之作。该仓库现已归档，最后一次推送 2026-01-06。
• Magenta RealTime（magenta/magenta-realtime）：1,807 star，Apache 2.0，2025-06 建仓，2026-09 仍在活跃更新 —— Magenta 的思路在新仓库里延续，主打实时交互演奏。
• basic-pitch（spotify/basic-pitch）：5,655 star，Apache 2.0。Spotify 的轻量级音频转 MIDI工具，带弯音检测。如果你只想要"把录音变成可编辑的音符数据"，这个比装一个 24 GB 的大模型划算得多。
• SheetSage2：YuE2 自带的音频转乐谱组件，在 15 项基准指标中拿下 12 项 SOTA。它本身就是这一类里最新的一个。

把这一类和 A 类放在一起看，YuE2 的位置就清楚了：它是把"符号音乐生成"和"音频歌曲生成"缝在一起的那个尝试。以前这两件事分属两个社区，做符号的不出声，做音频的不可编辑。

D. 人声与翻唱

• RVC（RVC-Project/Retrieval-based-Voice-Conversion-WebUI）：38,552 star，MIT，Python。全赛道 star 最高的项目，"用 10 分钟以内的人声数据就能训练一个不错的变声模型"。2026-08 仍有推送，社区生态非常活跃。
• so-vits-svc（svc-develop-team/so-vits-svc）：28,101 star，AGPL 3.0。歌声转换的经典方案，但仓库已归档（最后推送 2023-11-11），是上一个时代的产物。

这两个是"换声不换曲"。YuE2 的零样本翻唱是"基于参考曲的旋律重新生成一首"，两者思路完全不同，可以组合使用。

E. 音乐表征与理解（上游基础件）

• MuQ（tencent-ailab/MuQ）：385 star，MIT，腾讯 AI Lab 的自监督音乐表征模型。
• MERT（yizhilll/MERT）：514 star，Apache 2.0，YuE2 所用 MERT2 的前身。

这一类不直接产出音乐，但决定了"模型有多懂音乐"。YuE2 把 MERT2 一并开源，等于把上游也交了出来。

八、怎么选：一张决策图

• 要精确控制旋律、想要可编辑的乐谱 → YuE2
• 要快、显存小、批量出小样 → ACE-Step（8 GB 可跑）
• 要极简的端到端整曲生成 → DiffRhythm
• 要中文歌曲、且看重歌词对齐 → SongGeneration / LeVo（先用官方 HF 页确认可用入口）
• 要纯器乐 / 音效 / 背景音乐，不需要人声 → Stable Audio Open 或 AudioCraft
• 要把录音变成 MIDI / 乐谱 → basic-pitch 或 SheetSage2
• 要换声、做 AI 翻唱音色 → RVC
• 要做研究、需要多任务工具箱 → Amphion

九、边界与风险

1. 官方自己承认翻唱和编辑都还需要人耳把关。 README 写明：翻唱工具虽然会保留人声的音高、起点和时值，但"仍需人工试听以检查人声串音和旋律还原度"；编辑功能则是"重新生成一段完整录音，并不会保留编辑范围之外的原波形"。也就是说，它不是波形级修音工具。
2. 显存门槛是实打实的。 24 GB 显存、Linux 环境，意味着绝大多数笔记本直接出局。官方标注 Windows 全链路适配仍在推进中。
3. 评测是自评。 前文已说明，WildSongBench 由项目方构建，且各参评设置的"挑选预算"不一致，最高分之间的差距官方自认不显著。把它当成"开源已进入第一梯队"的信号比较合适，不要当成定论。
4. 许可证要按身份对号入座。 个人创作者可商用变现；企业商用需要另谈权重授权。代码 Apache 2.0 不等于权重也能商用。
5. 训练数据的版权风险是全行业性的。 YuE2 已经算是做得比较干净的（以 CC0 和授权合成数据为主），但生成结果如果"过于接近"某首现有作品，风险仍然由使用者承担。官方声明是"as is, without warranties"。

十、一句话总结

YuE2 的价值不在于"开源模型也能唱得不错了"，而在于它给音乐生成装上了一层可检查、可修改的中间表示 —— 先写谱再演唱，让 AI 生成的音乐第一次有了"能被人接手修改"的可能。对想做 AI 音乐工作流的人来说，这是路线上的变化，不是分数上的变化。而如果只是想要一首能用的背景音乐，ACE-Step 或 Stable Audio Open 会更省事。

参考来源

• YuE2 官方项目主页 map-yue2.github.io（项目定位、架构说明、评测数据、训练数据与数据伦理声明）
• multimodal-art-projection/YuE 官方仓库 README、docs/generation.md、Release 与 News 记录
• 仓库元数据：GitHub REST API（star、fork、许可证、建仓与推送时间），查询时间 2026 年 10 月 2 日
• ACE-Step 官方仓库 README 与论文摘要（ace-step/ACE-Step）
• 同类项目 GitHub 仓库元数据：ASLP-lab/DiffRhythm、facebookresearch/audiocraft、open-mmlab/Amphion、Stability-AI/stable-audio-tools、haoheliu/AudioLDM2、Text-to-Audio/Make-An-Audio、magenta/magenta、magenta/magenta-realtime、spotify/basic-pitch、RVC-Project/Retrieval-based-Voice-Conversion-WebUI、svc-develop-team/so-vits-svc、tencent-ailab/MuQ、yizhilll/MERT
• 腾讯 AI Lab LeVo / SongGeneration 相关公开报道与论文信息（arXiv:2506.07520）

本文为项目与生态综述，信息取自上述官方仓库、官方主页与官方文档在 2026 年 10 月 2 日的公开内容，未在本地安装实测（YuE2 需 24 GB 显存 NVIDIA 显卡）。star 数、版本号与仓库地址会持续变化，请以官方页面为准。