正在加载图片...
第1期 陈壮豪，等：基于序列模型的音乐词曲匹配度智能评估算法 ·69· , 歌词序列是不合理的，因此不应通过该方式进行 own.pre-tend-ing he's be-side me. All a- 乱序操作。其次对于以单词为最小粒度的乱序， 这种方式相对词块方式更加合理，这种方式会破 me.what I want to and all I. need is 坏句子语意。同时表达了节奏上的不匹配和语意 图2情感反例展示 上不匹配。所以可以作为打乱的最小粒度。最后 Fig.2 Negative music example 对于以歌词片段为最小粒度的乱序，片段长度设 可以发现，其实在进行情感音乐词曲交换后， 定为尽可能包含一个句子的长度，因此该乱序方 反例音乐一方面是由于情感不一致，而导致不匹 式，最大程度地保留了语意上的特征。同时表达 配。但更具体的体现为歌词和旋律的整体节奏产 了节奏上的不匹配。其构建算法流程如下： 生了不一致。这种不一致，使得词曲原先相互呼 算法1音乐歌词乱序算法 应的情感关系被破坏，从而导致词曲不匹配。换 输入m首输入音乐的输入歌词L,ie(0,m),L0= 句话说，情感很大程度上还是通过节奏表现出来 {,L9,L9,…,L,乱序方式shu田e_level∈{WORD, 的。比如存在一些音乐，歌词在没有旋律的情况 SENTENCE) 下，仅理解歌词含义，可能表达的是悲伤的情感， 参数输入音乐歌词长度n=len(L),歌曲片 但是结合旋律以后，会发现其实这首音乐听起来 段长度I=len(L),随机种子seed。 是欢快的。仔细探究，便会发现其实歌词中，通 输出乱序后的音乐歌词。 过大量的有节奏性的重复操作，使得整首歌的节 流程对整体的迭代次数i=0,1,2,…,m: 奏感很强，因此不会透露出悲伤的情绪。 1)生成随机数seed,作为当前歌曲乱序的随 12音乐节奏反例构建 机种子。 对于一首音乐，节奏至关重要。其中歌词和 2)根据乱序标志符shuffle level决定对当前 旋律常在节奏上，如发音的音调上；或者是对于 音乐样本进行词级别还是片段级别乱序。 短且快的旋律片段常对应发音可以较短的歌词， 3)对于单首音乐片段个数，循环次数i=0.1. 而不是复杂的歌词；在相同的旋律片段下，对应 2,…,length: 的歌词也具有足够的相似性，即在节奏上与歌词 D if shuffle level=SENTENCE: 保持一致等。本文通过歌词乱序的方法将原有的 a要交换音乐歌词片段的索引： 节奏联系打破，从而实现节奏反例构建。 k=int(ramdom (seed)*(j+1)) 而要对歌词进行乱序操作，就必须确定乱序 b.交换两个音乐片段： 的粒度，即以歌词片段、以单词或者以词块为最 swap(9,L9） 小粒度进行乱序。以《on my own》歌曲为例，如 2 if shuffle level=WORD: 图3~5所示为3种乱序方式。 for y in range(): a.此片段要交换单词的索引： pre-tend-ing he's be-side me. k=int (ramdom (seed)*(v+1)) own. ingsidehe's tend beside me. b.交换此片段中的两个单词： 图3以词块为最小粒度的乱序 swap(L(v).L(k)) Fig.3 Shuffle in word-piece level 1.3音乐反例构建结果 基于已情感标定的1275首正例音乐，并利用 网preend he百e:nc之 上述两种音乐反例构建方法，随机选择其中一部 hes l preniend-ing me be.sde 分的音乐用于音乐反例构建。随机选择主要是为 图4以单词为最小粒度的乱序 了避免模型在特定样本中学到过多额外的特征， Fig.4 Shuffle in word-level 使得泛化性能降低。如表2所示，其中音乐情感 ,ec驿。 反例为1184首，音乐节奏反例为1175首，共计 own.pre-tend-ing he's be-side me. →a 2359首反例音乐。 表2音乐反例数目统计 图5以歌词片段为最小粒度的乱序 Table 2 Negative music statistics Fig.5 Shuffle in sentence 反例类别 音乐情感反例音乐节奏反例 反例总和 首先对于以词块为最小粒度的乱序会存在破 坏基本单词结构，比如连续唱出词块ig。这样的 数目/省 1184 1175 2359 he′s 图 2 情感反例展示 Fig. 2 Negative music example 可以发现，其实在进行情感音乐词曲交换后， 反例音乐一方面是由于情感不一致，而导致不匹 配。但更具体的体现为歌词和旋律的整体节奏产 生了不一致。这种不一致，使得词曲原先相互呼 应的情感关系被破坏，从而导致词曲不匹配。换 句话说，情感很大程度上还是通过节奏表现出来 的。比如存在一些音乐，歌词在没有旋律的情况 下，仅理解歌词含义，可能表达的是悲伤的情感， 但是结合旋律以后，会发现其实这首音乐听起来 是欢快的。仔细探究，便会发现其实歌词中，通 过大量的有节奏性的重复操作，使得整首歌的节 奏感很强，因此不会透露出悲伤的情绪。 1.2 音乐节奏反例构建 对于一首音乐，节奏至关重要。其中歌词和 旋律常在节奏上，如发音的音调上；或者是对于 短且快的旋律片段常对应发音可以较短的歌词， 而不是复杂的歌词；在相同的旋律片段下，对应 的歌词也具有足够的相似性，即在节奏上与歌词 保持一致等。本文通过歌词乱序的方法将原有的 节奏联系打破，从而实现节奏反例构建。 而要对歌词进行乱序操作，就必须确定乱序 的粒度，即以歌词片段、以单词或者以词块为最 小粒度进行乱序。以《on my own》歌曲为例，如 图 3~5 所示为 3 种乱序方式。 ing - side - he′s he′s 图 3 以词块为最小粒度的乱序 Fig. 3 Shuffle in word-piece level he′s. he′s be - side be - side 图 4 以单词为最小粒度的乱序 Fig. 4 Shuffle in word-level 进行片段 级别乱序 he′s he′s 图 5 以歌词片段为最小粒度的乱序 Fig. 5 Shuffle in sentence 首先对于以词块为最小粒度的乱序会存在破 坏基本单词结构，比如连续唱出词块 ing。这样的 歌词序列是不合理的，因此不应通过该方式进行 乱序操作。其次对于以单词为最小粒度的乱序， 这种方式相对词块方式更加合理，这种方式会破 坏句子语意。同时表达了节奏上的不匹配和语意 上不匹配。所以可以作为打乱的最小粒度。最后 对于以歌词片段为最小粒度的乱序，片段长度设 定为尽可能包含一个句子的长度，因此该乱序方 式，最大程度地保留了语意上的特征。同时表达 了节奏上的不匹配。其构建算法流程如下： 算法 1 音乐歌词乱序算法 L(i) ,i ∈ (0,m),L(i) = L(i) 0 ,L(i) 1 ,L(i) 2 ,··· ,L(i) n shuffle_level ∈ 输入 m首输入音乐的输入歌词 ，乱序方式 {WORD， SENTENCE}。 n = len(L) l = len L(i) n 参数 输入音乐歌词长度 ，歌曲片 段长度 ，随机种子 seed。 输出 乱序后的音乐歌词。 流程 对整体的迭代次数 i = 0,1,2,··· ,m： 1）生成随机数 seed，作为当前歌曲乱序的随 机种子。 2）根据乱序标志符 shuffle_level 决定对当前 音乐样本进行词级别还是片段级别乱序。 j = 0,1, 2,··· ,length 3）对于单首音乐片段个数，循环次数 ： ① if shuffle_level=SENTENCE： a.要交换音乐歌词片段的索引： k = int(ramdom(seed)∗(j+1)) b. 交换两个音乐片段： swap L(i) j ,L(i) k ② if shuffle_level=WORD： for v in range (l) : a. 此片段要交换单词的索引： k = int(ramdom(seed)∗(v+1)) b. 交换此片段中的两个单词： swap L(i) j (v),L(i) j (k) 1.3 音乐反例构建结果 基于已情感标定的 1 275 首正例音乐，并利用 上述两种音乐反例构建方法，随机选择其中一部 分的音乐用于音乐反例构建。随机选择主要是为 了避免模型在特定样本中学到过多额外的特征， 使得泛化性能降低。如表 2 所示，其中音乐情感 反例为 1 184 首，音乐节奏反例为 1 175 首，共计 2 359 首反例音乐。 表 2 音乐反例数目统计 Table 2 Negative music statistics 反例类别 音乐情感反例 音乐节奏反例 反例总和 数目/首 1 184 1 175 2 359 第 1 期 陈壮豪，等：基于序列模型的音乐词曲匹配度智能评估算法 ·69·