你让一个音乐生成模型写一段南印度街头节庆的鼓,它交出来的东西总是差一口气。不是模型不够大,是它从训练第一天起就只认西方4/4拍。
ACE-Step 1.5 是当前音乐生成领域的技术标杆之一,但它带着一个系统性的盲区:训练数据以西方4/4结构为主。当你用它生成 Parai、Thappu 或高能量 Dappankuthu 这类传统南印度原声打击乐时,输出会明显塌掉。
原因既是音乐上的,也是数学上的。南印度民间鼓乐依赖 6/8 复合拍(tha-ki-tta,tha-ki-tta),加上快速的声学瞬态尖峰,标准的交叉注意力层在二进制网格上根本解析不了这种节奏。
有人选择自己动手补上这块短板。开发者基于 ACE-Step 1.5 基础架构微调并开源了 SouthIndiaParaiLoRA,专门用来生成南印度打击乐。
训练是怎么做的
基础架构用的是 ACE-Step 1.5,兼容 acestep-v15-x1-base 与 turbo 版本。数据集是 393 段录音室品质的 Parai、Thappu、Thappattam 和 Urumi 循环素材,速度范围覆盖 80 到 172 BPM。
硬件方面,在 NVIDIA A40(48GB 显存)上通过 RunPod 跑了 30 个 epoch。LoRA 配置为 Rank 64、Alpha 128。最终损失从 1.97 的基线降到 0.48,削减了 75.5%。
怎么跑起来
模型权重以标准 .safetensors 格式发布,两种方式都能用。
在 ACE-Step Playground 里,先克隆引擎 ACE-Step-1.5-PlayGround--Engine,把 adapter_model.safetensors 和 adapter_config.json 放进 checkpoints/SouthIndiaParaiLoRA/final/ 目录,启动 WebUI 后在 LoRA 下拉菜单里选中 SouthIndiaParaiLoRA 即可。
在 ComfyUI 里更直接,把 adapter_model.safetensors 加载进标准的 ACE-Step 1.5 LoRA loader 节点就行。
官方给出的示例提示词是这样的:High energy South Indian dappankuthu street festival drumming, massive thappu ensemble, authentic 6/8 compound folk rhythm at 145 BPM, urumi and parai dynamic groove。歌词栏填 [Instrumental],LoRA Scale 设为 0.85。
适配器权重和 7 段预渲染音频演示已经以 Apache 2.0 协议发布在 Hugging Face 上,演示覆盖了不同速度和节奏变化。开发者表示,希望听到来自研究者、音频工程师以及正在折腾 ACE-Step 或区域音乐合成的开发者的反馈。
这件事的意义不在于一个 LoRA 本身。它说明当基础模型的训练分布偏向某一种音乐传统时,补齐短板的成本可以低到一个人、一张 A40、三十个 epoch。剩下的问题是:还有多少种节奏,正卡在同一张二进制网格外面。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.