AI音乐缺一场公开评测｜谱乐AI

千人盲听评测五大模型，评测报告为每位参与者署名

AI 音乐发展到今天，模型已经可以写出完整的歌，却始终缺少一样东西：一场公开、中立、由真实听众决定结果的评测。

今天，谱乐 AI 决定站出来，补上这个缺口。

我们正式发起「AI 音乐评测 · 千人听审行动」，公开招募1000 名听审员，对当今最前沿的五个 AI 音乐模型进行匿名盲听评测。评测的方法、数据与结论将以《AI 音乐模型评测报告》（AI Music Benchmark Report）完整公开——每一位有效完成听审的参与者，都将以「AI 音乐共评人」的身份在报告上署名。

01.

一个没有标尺的行业，

所有人都在付代价

每一次重要的 AI 技术浪潮走向成熟，都离不开一套被行业广泛认可的评测体系。计算机视觉的爆发，一个公认的转折点是 ImageNet；大语言模型时代，Chatbot Arena 又通过海量真实用户的匿名投票，建立起一把衡量人类偏好的标尺。公开评测正在成为一个技术品类的重要基础设施，让行业从「各说各话」走向「共同语言」。

AI 音乐至今没有这样一把标尺，代价由所有人分担：用户挑模型只能靠广告和声量，创作者只能一个个买会员试错，厂商投入巨大研发却拿不到一份中立的用户反馈，整个行业无法证明自己这一年究竟进步了多少。

眼下评价 AI 音乐，主要依靠两类方法：机器打分，和人来听。

机器已经可以衡量音质、分布相似度、文本匹配等指标，但音乐最重要的部分——是否自然、是否动听、是否让人愿意听下去——至今仍很难被一个数字完整概括。近年的研究也反复发现，自动指标与真实听众偏好之间仍存在明显差距。机器能分析音乐，却还不能替人喜欢音乐。

因此，人类听评仍被视为 AI 音乐评测的最终标尺。问题在于，现有听评往往规模有限、标准不一，或由模型厂商自行组织，评测方法与完整数据也很少公开。

音乐没有标准答案。一首歌好不好，最终应该交给足够多真实的耳朵来决定。评价权属于听众。

02.

为什么是1000个普通人，

不是10位专家

专家能评判技术水准，但决定一首歌能否流传下去的，从来是普罗大众。音乐的终点是耳机里、车里、深夜的房间里。一个模型唱得准不准，专家听得出来；唱得动不动人，得由足够多的普通人说了算。

更何况 AI 音乐今天真正的使用者，本就是普通人：想给女朋友写首歌的男生，给视频配原创 BGM 的 UP 主，终于能把心里那段旋律做出来的业余创作者。他们的耳朵，才是这项技术真正的考场。

所以我们把评判权交给 1000 个真实的人，同时让每一份判断都经得起推敲：八道统一考题覆盖流行、抒情、国风、说唱、摇滚、电子，外加复杂指令与长结构两道压力测试；所有模型答同一张卷，版本与参数全程冻结，反复生成后汇成一个1000 余首作品的盲听曲库；每首作品需充分试听后才可投票，页面上只有「作品 A」与「作品 B」，位置随机，全部结束才统一揭晓。

最终结果采用 Bradley-Terry 相对偏好模型计算，连同 95% 置信区间一并公布。差异不显著时，我们会如实写明「本次样本中未形成稳定差异」，绝不制造虚假冠军。

1000 余首曲库，1000 名听审员，6000 次有效判断。这个规模足以让结论摆脱个人口味的偶然，成为一份可被引用、也可被复核的公共知识。

03.

为什么这件事由谱乐AI来做

谱乐 AI 深耕 AI 音乐两年多，是行业里长期运营、同时接入多家主流音乐模型供用户使用的独立品牌。也正因为如此，我们一直站在第三方视角，持续观察不同模型的进步，以及整个 AI 音乐行业的发展。

对我们来说，没有哪一家模型“必须赢”。模型整体越强，用户和行业越受益。

同时，谱乐 AI 具备统一的测试环境：同一个播放器、同一套生成参数、同一批真实听众，让不同模型在完全一致的条件下接受评测。

本次评测由谱乐 AI 自行出资发起，谢绝厂商付费与干预。

04.

参评模型：国际双雄对阵国产三强

五家模型将在完全一致的条件下答同一张卷，生成的 1000 余首作品全部进入盲听曲库，接受同一批耳朵的检验。

世界第一蒙上名字，还是不是第一？答案将由各位听审员投出。

05.

听审员：这场测评里最重要的角色

模型接受评判，我们负责记录。你不需要懂乐理，也不需要看参数，只需要一双不受品牌影响的耳朵，和半小时的认真。

你的耳朵，就是这场评测的仪器。

听审分两步：

1.六轮匿名盲听：系统随机分配六轮题目，每轮两首作品，听完选出更好的一方，或选「差不多」；

2.统一揭晓：六轮结束后，查看自己每一轮投给了哪个模型，得到一份专属的听觉偏好画像；

完成听审，你将获得：

•评测报告署名：以「AI 音乐共评人」身份，列入报告署名页；

•唯一编号数字证书：每位听审员一个专属编号，记录你的听审数据与最看重的评价维度；

•积分奖励：完成六轮有效盲听即入账；

•长期听审员资格：进入首批听审员池，后续新模型评测优先受邀。

06.

这场测评里最重要的角色会给行业留下什么

听审结束后，我们将完整公开：

•完整榜单：五个模型的相对偏好得分、两两胜率、平局率与各题型表现，连同样本量与置信区间一并公布；

•《AI 音乐模型评测报告》：方法、样本、统计过程与研究局限全部写明，供全行业引用，也接受全行业质疑；

•八类场景分析：国风该找谁、说唱该找谁、长结构歌曲谁扛得住，一题一题给出答案，这是一张给创作者用的实用地图；

•方法论与题库公开：任何机构都可以复用、复现，乃至挑战我们的结论；

•分模型诊断材料：向每家参评厂商提供其模型的分场景表现诊断。

这些是一套评测基础设施的第一块砖。模型一代代更新，这套评测会一季季做下去，用同一套方法与题库，让每一次进步都能被真实衡量。

07.

名额1000名，这是第一批

你投出的每一票，都会成为一条正式研究数据，进入白皮书，被行业看到，被厂商研读，影响下一代模型的迭代方向。参与这场听审，就是在参与定义一个新兴行业的评价标准。

多年以后，当 AI 音乐终于有了被公认的评价体系，回看它的起点，那份最初的白皮书上会留着 1000 个名字。

其中一个，可以是你的。

- End -