AI华语歌，终于能听了！从零预训练十亿参数，告别「人机味」

Jay 发自 凹非寺
量子位 | 公众号 QbitAI

AI华语音乐，终于能听了。

母语羞耻、咬字飘忽、人机味……

没有。

全都没有。

这首歌，是我让它以一首我特别喜欢的Jazz Hiphop为灵感，给定歌词，zero-shot生成的。

命名为——《关于小羊》（doge）。

说实话，太灵了。

特别是verse第四句歌词开头那个「塞」的咬字，我很少听到AI国语音乐注意到这个细节，像s、c这种舌尖前音，其实是特别适合用带停顿的短促发音来制造律动的。

还有Pre-Hook前bridge结尾那个转音，我反复拉了无数遍进度条……

当然，最让我惊喜的还是最后一遍Hook。我歌词里明明没写，结果——

它自己即兴发挥加了段哼唱？？

这首《Coco》的结尾也用了这种手法。

另一个版本的《关于小羊》我也蛮满意的，大家可以边读文章边当bgm挂着。

上面这些音频丢给身边几位音乐发烧友听了下，得到的评价大多三个字：

很清爽。

说实话，我已经很久没有用「清爽」这个词来形容任何一首AI歌曲了。

这个清爽的模型，叫歌歌AI。

他们只做一件事——

让AI音乐，听起来像中国人写的歌。

重做AI音乐模型

听起来挺简单对吧。

但为了这一句话，他们从零预训练了一个十亿参数的模型。

端到端那种，用户输入歌词、风格情绪描述与指定歌手，模型一次性直接生成长达3分钟、人声与伴奏俱全的完整立体声歌曲，还能同步输出独立的人声分轨与伴奏分轨。

我猜你看到「预训练」这三个字的第一反应，应该和我最开始一样：

哈？为啥不直接微调？？

这事吧，得先从一个更本质的问题聊起——

为什么以前的AI唱不好中文歌？

现在市面上的主流AI音乐模型，从出生的第一天起就是为英语准备的。

但汉语的演唱逻辑完全不同。

1、固定声调。

中文每个字本身带音高走势，四声之别，「妈」和「骂」就是完全不同的两个字。

2、音节边界。

英语里一个词可能有多个音节，而且弱读、连读、吞音很多，比如I wanna know，唱起来可以糊成一串，也能听懂。

但中文是一个字一个音节，边界很清楚，一旦连得太厉害，基本听不懂。

这也是为什么，YouTube英文播客基本无自带字幕，但在中文社区，内嵌字幕是必备的。

3、字音对齐逻辑。

简单来说就是，模型得知道哪个字落在哪个拍子上，哪个字可以拖，哪个字不能乱拖。

英语是重音计时型语言，一个音节可以拉多长都行，无所谓；中文歌词和旋律、节拍之间的对应关系会更难把握。比如爱可以拖成「爱～～」，但如果把「的」「了」「着」这种轻声助词拖得特别长，会巨奇怪。

总而言之就是，基于英语AI音乐模型做本土化，无异于强行让外国人唱京剧。

结果就是——

人声机械生硬、情感表达空洞干瘪，对国风、华语流行、民谣等国民主流曲风适配度极低。

问题根本不在参数上。

在架构。

这也是为什么歌歌AI选择从零开始，为华语音乐重新设计一套技术栈。

主要有三层——

双流独立生成架构

一首AI音乐，人声和伴奏是怎么组合起来的？

传统AI音乐的做法是「事后对拍」。人声和伴奏各自生成完毕，再像两个图层一样硬叠在一起。

拆开做当然技术难度更低，但总会觉得人声和伴奏之间隔了一层什么东西。各唱各的，没有呼吸感。

真人歌手在录音棚里是什么状态？

他听着伴奏的律动，感受着鼓点的推进，然后决定——这个气口落在哪里，这个音要怎么咬，这段尾音该收还是该放。

这是一个和伴奏「对话」的心流过程。

歌歌AI做的事情，正是把种「心流」，搬进了模型里。

原生双流设计——人声一条通路，伴奏一条通路，各走各的生成链路。两条线并行往下跑，中间通过跨流注意力机制，实时完成节奏与和声的精准对齐。

音素时序软对齐

咬字一直是个大坑。

模型如果搞不清每个字在时间轴上的精确位置、发音时长，就会出现音节错位、字音模糊。听着像嘴里含着糖在唱歌……

正常聊天无所谓，音乐是有「节奏」限制的，人耳在这种场景下非常敏锐，模型即便每句歌词只有一个字没咬对，那就是灾难。

怎么让AI维持更稳定的咬字？

歌歌AI的解法是：先画一张地图。

在模型「开嗓」之前，先告诉它每个字的拼音在时间轴上大致落在哪个位置。这张“地图”作为先验知识，直接注入到生成过程中。

按图索骥——每个字什么时候起、什么时候落，有这套上下文后会稳定很多。

分层多维条件控制

最后，也是我觉得最能体现他们野心的。

情绪。

亚洲和欧美所有文化作品（小说、电影、音乐……）的差异，几乎都能收缩到一个第一性原理——情感表达。

老外要直抒胸臆点。情情爱爱啥的很正常，歌词本里love you、baby当标点符号用。

老中含蓄得多。更喜欢用意象做暗示，说月光不说想你，说落叶不说离别，巴拉巴拉。

演唱方式同样也是这种理念的一个抽象。我们更偏爱细腻的人声处理——华语流行乐坛的黄金时代，从邓丽君到四大天王，几乎全是这个路子。时间也证明了，这类风格就是比爵士、福音（gospel）啥的更受市场欢迎。

但「细腻」这个概念，太难了。

音乐是千人千面的。你很难用一句自然语言描述，去如此高颗粒度地对齐人声的情绪。

大学时去过不少次录音棚，我常能听到这类云里雾里的对话：

好听的兄弟，唱得再伤感一点就更好了，但不要太沉了，有空气感一点。

为了更好地翻译这类抽象需求，歌歌AI的解法是——一套分层多维条件控制体系。

情绪、曲风、调性这些全局风格信息，通过一个叫AdaLN-Zero的机制，去逐层调制模型的生成行为。从第一层到最后一层，情绪基调始终贯通，不会唱着唱着就「跑调」。

更关键的是，他们在不同条件维度上，各自装了独立的引导强度旋钮。比如你可以让模型「贴紧歌词情绪」，同时让「旋律自由发挥」。

是的，就跟个混音台一样。

只不过这次你混的不是音轨，而是情绪本身。

王炸！AI音乐+抖音

聊了这么多技术，你可能会问一个问题。

技术确实看着挺厉害。但AI写歌，会员买了，Token也烧了，然后呢？

确实，这正是目前AI音乐赛道最尴尬的地方。

市面上的AI音乐工具一抓一大把。你花五分钟做了一首歌，觉得挺好，发个朋友圈，收获几十个赞——

然后……就没有然后了。

没有分发渠道的AI音乐，本质上只是高级玩具，纯自嗨。

歌歌AI显然不想只做一个玩具。他们在商业闭环这件事上，直接找到了一张王牌——跟字节跳动签了版权分成合作。

是的，你用歌歌AI生成的原创歌曲、录音制品、MV版权内容，全部可以合规上架抖音、剪映、汽水音乐、西瓜视频、今日头条……整个字节系全家桶。

什么意思？

数以亿计的创作者，他们可以直接从歌歌AI的版权曲库里选歌，拿去做短视频配乐、直播间BGM、翻唱二创。

AI音乐，不再只是躺在云盘上的音频文件。

歌曲在汽水音乐的会员付费、数字专辑、单曲售卖、平台广告分成，以及番茄系平台有效播放产生的收益，全部按照合同约定，真金白银地分成结算。

更关键的是，后续歌歌AI新生成的非独家版权曲目，会自动纳入授权曲库。你每多做一首歌，这个正版曲库就厚一分。

这就是常说的飞轮效应。

这，是最好的传承

好，技术和商业都讲完了。

最后，是这篇文章我最想聊的部分。

「歌歌AI正式启动了民乐专属AI模型的研发项目。」

大家应该知道我想说什么。

我太清楚现在的AI生成的国风音乐是什么样子了——

古筝弹得像电子琴，戏曲能比念稿还令人母语羞耻……

绝大多数AI模型，根本没听过真正的中国民乐。它们训练用的素材，大多是从网上扒来的、经过二次加工的电子音源。骨子里的韵味和灵气，在一遍遍电子化的过程中，早就被滤干净了。

这不是一个可以通过调参来解决的问题。

训练数据里没有真正的民乐，模型就永远生成不出真正的民乐。

这也是为什么，歌歌AI决定自己补上这块数据空缺。

他们要去陕西的老戏台找秦腔老艺人、去江南水乡录评弹琵琶、去云南的村寨采葫芦丝和芦笙、去陕北的黄土高坡听唢呐……请那些守了一辈子的非遗传承人、民间老艺人，在他们最熟悉的角落里打开录音机，录下那些指尖自然流淌出来的声音。

这些一手采集的原声，全部会完成正版版权归档，用来训练一个真正的民乐AI模型。

说实话，我难以想象内部在头脑风暴时会是个什么场景。

诶，我有个好主意，要不咱直接去录吧？
对，就是背上录音机走到黄土高坡去。跟《海上钢琴师》里，唱片公司到船上找1900录音一样。

（doge）

不开玩笑了，讲讲为什么我对这件事特别有感概。

传统民乐这些年在中国的处境，说实话，不太好。

你在街上随便拉住一个00后，他大概率说不全五种传统民族乐器。再问他，上次听秦腔是什么时候，他可能歪头一愣。

这些声音，正在从日常生活中消失。

不是没有人想保护它们。有非遗项目，有纪录片，有各种各样的文化保护行动。

但传播太难了。

你让一个不看纪录片、不听戏曲频道的年轻人，主动去接触秦腔、评弹、葫芦丝，几乎不可能。

但这是个幸运的时代，我们有AI。

如果神经网络的权重记住了这些声音，它就可以把它们融进任何一首新创作的歌里。

而这些歌，可以轻易生成数十首类似的，投放到抖音上。只要有一首中了，就有可能被千万人刷到，被用来做短视频配乐，甚至走在路上就无意识哼唱出来……

这就是最好的传承。

我们不需要只被供在博物馆里的传承。

歌歌AI官网：https://gegemusic.cn/