·70· 智能系统学报 第15卷 1.4音乐歌词及旋律表达形式 Vlyrics-VwordllVpiece 由于本文使用的是英文的音乐数据集，而英 式中：Vod为词向量，”pe为词块向量。拼接得到 文是表音的，在音乐中，单词的后缀发音等对音 歌词向量。如对于单词womon,由词块wom,on 乐本身的节奏是有影响的。因此对于音乐中的歌 组成，则：2=om+oaa,其中2。表示音乐片 词，为了更好地捕捉歌词的含义及发音。采用分 段中第j个词块；对于音乐旋律，将音符转换为音高 布式形式表示门，同时将单词拆分为更小的词块 音长、休止时长来进行表征，则在第j个词块对应 (word piece),考虑单词编码和词块编码，充分提取 的音符编码向量表示为2ay=(pitch,.uration,res。 英文歌词中发音的特征，即： 如表3所示，为旋律编码结果。 表3旋律编码结果 Table 3 Melody encode result American womon stay away from me A mer i can wom on stay a way from me 音符 B4 A5 A5 A5 A5 G5 B4 B4 D5 E5 E5 音长 0.5 0.5 0.5 0.5 1.5 4.0 0.75 0.5 1.5 1.0 2.0 休止 0 0 0 0 0 0 1 0 0 0 1.5音乐切分方法 ③构造旋律片段样本： 本文将用于训练的单曲划分为多个片段，采 L;=L[start,end]: 用滑动窗口的方法对音乐进行切分，假设音乐长 3)重新构建M、L: 度N=10,每个窗口长短为I=4,窗口移动步长 M={Mo,M1,…,Mn}MeM s=2=2,则切分效果如图6。 L={Lo,L,…,Ln}LeL 2词曲匹配度评估算法 D7 通过数据处理，得到了用于训练词曲匹配算 法模型的样本数据。本节综合考虑音乐词曲情感 图6输入音乐切分效果示意 Fig.6 music segmentation diagram 及节奏特征，提出基于序列模型⑧的词曲匹配度 智能评估算法。 通过设置合理的窗口大小，能尽可能保证每 2.1算法原理及框图 个片段的语意完整，且每个音乐片段长度固定。 第一章中提到，对旋律或歌词进行单独的情 本文中将窗口大小1设定为20。算法流程如下： 感分析是不准确的，主要包含两点：1)缺少旋律 算法2音乐切分算法 衬托的歌词无法确定作曲者要突出的内容，从而 输入音乐S=MUL,且len(S)=N。 对情感的分析是不准确的：2)在没有旋律背景下 参数窗口大小1，移动步长s=2。 的歌词，容易忽略歌词中的节奏感，而节奏感在 输出切分后的词曲片段数组M,L。 音乐中，对情感表达是非常重要的，正如本文提 流程如下： 出的观点：情感很大程度上还是通过音乐节奏表 1)计算循环次数（乐曲片段数）： 现出来的。因此本节设计的算法，将情感和节奏 N-l-1 (W-1-1)MODs=0 两者综合考虑，设计得到词曲匹配算法模型如图7。 结合模型框图，给出算法定义如下： (N-l-1)MODs,≠0 给定输入音乐S=MUL,其中输入旋律M= 式中：L表向下取整，MOD表取余。 (Mo,M,…,Mn)包含n个旋律片段，每个输入旋律 2)对于整体循环次数i=0,1,2,…,: 片段包含I个音符，即M=(M,M,…,M1,同理 ①计算单个片段范围： 对于输入歌词L={亿o,L1,…,Ln}包含n个歌词片 start=is,end=start+/; 段，每个歌词片段包含1个词块，即L={亿，L”,…, ②构造旋律片段样本： L}。音乐词曲匹配算法通过歌词编码器和旋律 M:M[start,end]; 编码器，对输入旋律片段M,、输入歌词片段L中1.4 音乐歌词及旋律表达形式 由于本文使用的是英文的音乐数据集，而英 文是表音的，在音乐中，单词的后缀发音等对音 乐本身的节奏是有影响的。因此对于音乐中的歌 词，为了更好地捕捉歌词的含义及发音。采用分 布式形式表示[7] ，同时将单词拆分为更小的词块 (word piece)，考虑单词编码和词块编码，充分提取 英文歌词中发音的特征，即： vlyrics = vword||vpiece wom,on v ⟨j⟩ lyrics = vwom +vwomon v ⟨j⟩ lyrics v ⟨j⟩ melody = { pitch,duration,rest} 式中：vword 为词向量，vpiece 为词块向量。拼接得到 歌词向量。如对于单词 womon，由词块 组成，则： ，其中 表示音乐片 段中第 j 个词块；对于音乐旋律，将音符转换为音高、 音长、休止时长来进行表征，则在第 j 个词块对应 的音符编码向量表示为 。 如表 3 所示，为旋律编码结果。 表 3 旋律编码结果 Table 3 Melody encode result American womon stay away from me A mer i can wom on stay a way from me 音符 B4 A5 A5 A5 A5 G5 B4 B4 D5 E5 E5 音长 0.5 0.5 0.5 0.5 1.5 4.0 0.75 0.5 1.5 1.0 2.0 休止 0 0 0 0 0 0 1 0 0 0 1 1.5 音乐切分方法 本文将用于训练的单曲划分为多个片段，采 用滑动窗口的方法对音乐进行切分，假设音乐长 度 N=10，每个窗口长短为 l=4，窗口移动步长 s=l/2=2，则切分效果如图 6。 C Well. she was an merA - -- cani Well. wasit kind - a cold that night. __ __ D7 图 6 输入音乐切分效果示意 Fig. 6 music segmentation diagram 通过设置合理的窗口大小，能尽可能保证每 个片段的语意完整，且每个音乐片段长度固定。 本文中将窗口大小 l 设定为 20。算法流程如下： 算法 2 音乐切分算法 输入 音乐 S = M ∪L ，且 len(S ) = N。 参数 窗口大小 l，移动步长 s=l/2。 输出 切分后的词曲片段数组 M,L。 流程如下： 1）计算循环次数 (乐曲片段数)n： n =    ⌊ N −l−1 s ⌋ , (N −l−1)MODs = 0 ⌊ N −l−1 s +1 ⌋ , (N −l−1)MODs,, 0 式中： 表向下取整， ⌊ ⌋ MOD 表取余。 2）对于整体循环次数 i = 0,1,2,··· ,n： ①计算单个片段范围： start=i·s，end=start+l； ②构造旋律片段样本： Mi = M [start, end] ； ③构造旋律片段样本： Li = L[start, end] ； 3）重新构建 、 M L： M = {M0, M1,··· , Mn} MiϵM L = {L0,L1,··· ,Ln}LiϵL 2 词曲匹配度评估算法 通过数据处理，得到了用于训练词曲匹配算 法模型的样本数据。本节综合考虑音乐词曲情感 及节奏特征，提出基于序列模型[8] 的词曲匹配度 智能评估算法。 2.1 算法原理及框图 第一章中提到，对旋律或歌词进行单独的情 感分析是不准确的，主要包含两点：1）缺少旋律 衬托的歌词无法确定作曲者要突出的内容，从而 对情感的分析是不准确的；2）在没有旋律背景下 的歌词，容易忽略歌词中的节奏感，而节奏感在 音乐中，对情感表达是非常重要的，正如本文提 出的观点：情感很大程度上还是通过音乐节奏表 现出来的。因此本节设计的算法，将情感和节奏 两者综合考虑，设计得到词曲匹配算法模型如图 7。 结合模型框图，给出算法定义如下： M = {M0, M1, ···, Mn} {M ⟨0⟩ i , M ⟨1⟩ i ,··· , M ⟨l⟩ i } L = {L0,L1, ··· ,Ln} Li = { L ⟨0⟩ i ,L ⟨1⟩ i ,··· , L ⟨l⟩ i } 给定输入音乐 S=M∪L，其中输入旋律 包含 n 个旋律片段，每个输入旋律 片段包含 l 个音符，即 Mi= ，同理 对于输入歌词 包含 n 个歌词片 段，每个歌词片段包含 l 个词块，即 。音乐词曲匹配算法通过歌词编码器和旋律 编码器，对输入旋律片段 Mi、输入歌词片段 Li 中 ·70· 智 能 系 统 学 报 第 15 卷