参考文献:Luo Y, Yu J. Music source separation with band-split rnn[J]. arXiv preprint arXiv:2209.15174, 2022.这里的核心思想是音乐信号除了在时间上存在着很强的相互关系,同时在频域上也存在着很强的关系,BSRNN 从音乐信号的本质考虑分离任务,相比于之前直接用更深的网络,或者从 CV 等其他领域去迁移到音频领域的方式,对音乐领域可能具有更强的适配性。
另外一些应用场景包括,TME 聚星平台、TME Studio 和启明星,直接面向用户提供音乐分离服务,包括声伴分离,6 轨分离,大家可以到官网体验。
除了在 QQ 音乐上应用音乐分离,在全民 K 歌上也有很多应用场景,比如全民 K 歌临境音效,作为 VIP 用户的核心权益,用户可以 DIY 音效,在分离之后,用户可以根据自己的喜好去设置乐器的不同摆放方位,获得实时空间感的体验。此外,音乐分离还可以用于全民 K 歌五维打分模板的制作,以及全民 K 歌伴奏库,帮助实现伴奏分离,补充全民 K 歌伴奏库。
另外,音乐分离还应用在懒人听书,比如长音频消伴场景。因为有些长音频,会存在背景音乐或噪声,而用户可能只关注于内容本身,这时可以通过干声分离技术为用户提供纯净版的音频,也就是更优质的音质选项。音乐分离技术还应用到了 AIGC-X,通过干声分离将歌曲人声分离出来,然后通过模型去判断这个人声是否是 AI 生成的。另一应用场景是启明星音色试唱,通过声伴分离,干声音色转换,再与伴奏 mix,生成一个新的试听 Demo。