第1期 陈壮豪，等：基于序列模型的音乐词曲匹配度智能评估算法 ·71· 对应的词块L少和音符M进行同步编码，并将 配关系的状态信息，实现音乐片段的词曲匹配判 编码结果通过词曲匹配解码器解析、判断当前词 断，综合输入音乐的n个词曲片段匹配程度，判断 曲匹配度，并在解过程中，保存更新词曲特征匹 当前输入音乐词曲匹配程度。 !词曲匹配解码器 词曲匹配度 1全连接层 -= 旋律编码器 歌词编码器 pitch norm 0.570.690.69 0.630.63 Lyrics vector pitch 71 81 81 1 76 <Scaling note B4 A5 E5 E5 Piece vector American womon stay away from me duration 0.5 0.5 0.5 1.0 2.0 Word vector American womon stay away from me rest 0 0 0 0 0 Lyrics American womon stay away from me 图7词曲匹配算法框架 Fig.7 Music lyrics-melody matching algorithm 基于词曲匹配算法框架，算法计算流程如下： rest};歌词L包含n个歌词片段，每个片段包含 算法3词曲匹配算法 1个词块，L表示第i个输入歌词片段中的第j个 输入旋律M包含n个旋律片段，每个片段 歌词的向量表示为：yic=ywod+ypee,其中Vword为歌 包含I个音符，M表示第i个输入旋律片段中的 词词向量，ypae为歌词词块向量； 第j个音符的向量表示，MW={norm(pitch),duration, 模型参数如表4所示。 表4模型参数 Table 4 Configuration of matching model 层 旋律编辑器 歌词编码器 词曲匹配度 Input 3(Pitch,Duration,Rest) 20(Vlyries） 128(code) Layerl 64,LSTM 64,LSTM 128.LSTM Layer2 64,LSTM 64,LSTM 128,LSTM,fully-connected,sigmoid Output 64(codenote) 64(codelyries) 2 (real or fake),sigmoid 输出输入词曲的匹配程度 code=a=T4otanh(c) (6) 流程如下： 式中“。”表示前后量之间对应元素相乘。 1)令XW=MP,通过循环神经网络，即通过 对于输入旋律片段M,的第j个时间步M以及 式(1)~(6)，对输入旋律进行编码，同理，令 输入歌词片段L,的第j个时间步L9。可计算得 X”=L,对输入歌词进行编码。 到第了个时间步的旋律编码向量和歌词编码 T=G(W,a-1.x+b) (1) 向量。 T9=o(w.a,X9]+b) (2) code.=fsmu(M） (7 20=tanh(Wela-.x]+be) (3) code=f无smm(亿P） (8) Co=Toc-1)+Ton (4) 式中：code表示第j个音符的编码向量，为旋律 T。9=c(wa,X]+b) (5) 编码器输出；code0表示第j个歌词的编码向量，Lj i Mj 对应的词块 i 和音符 进行同步编码，并将 编码结果通过词曲匹配解码器解析、判断当前词 曲匹配度，并在解过程中，保存更新词曲特征匹 配关系的状态信息，实现音乐片段的词曲匹配判 断，综合输入音乐的 n 个词曲片段匹配程度，判断 当前输入音乐词曲匹配程度。                  词曲匹配解码器 旋律编码器 歌词编码器 词曲匹配度 全连接层                                                      图 7 词曲匹配算法框架 Fig. 7 Music lyrics-melody matching algorithm 基于词曲匹配算法框架，算法计算流程如下： 算法 3 词曲匹配算法 Mj i Mj i =  norm pitch ,duration, 输入 旋律 M 包含 n 个旋律片段，每个片段 包含 l 个音符， 表示第 i 个输入旋律片段中的 第 j 个音符的向量表示， Lj i rest}；歌词 L 包含 n 个歌词片段，每个片段包含 l 个词块， 表示第 i 个输入歌词片段中的第 j 个 歌词的向量表示为：vlyrics=vword+vpiece，其中 vword 为歌 词词向量，vpiece 为歌词词块向量； 模型参数如表 4 所示。 表 4 模型参数 Table 4 Configuration of matching model 层 旋律编辑器 歌词编码器 词曲匹配度 Input 3(Pitch, Duration, Rest) 20(vlyrics) 128(code) Layer1 64, LSTM 64, LSTM 128, LSTM Layer2 64, LSTM 64, LSTM 128, LSTM, fully-connected, sigmoid Output 64(codenote) 64(codelyrics) 2 (real or fake), sigmoid 输出 输入词曲的匹配程度 流程如下： Xj i = Mj i Xj i = Lj i 1）令 ，通过循环神经网络，即通过 式 (1)~(6) ，对输入旋律进行编码，同理，令 ，对输入歌词进行编码。 Ti f = σ  Wf  ai−1 ,Xj i  +bf  (1) Ti u = σ  Wu  ai−1 ,Xj i  +bu  (2) cˆ i = tanh WC  ai−1 ,Xj i  +bC  (3) ci = Ti f ◦ ci−1 +Ti u ◦ cˆ i (4) Ti o = σ  Wo  ai−1 ,Xj i  +bo  (5) codej = ai = Ti o ◦ tanh ci  (6) 式中“◦”表示前后量之间对应元素相乘。 Mj i Lj i 对于输入旋律片段 Mi 的第 j 个时间步 以及 输入歌词片段 Li 的第 j 个时间步 。可计算得 到 第 j 个时间步的旋律编码向量和歌词编码 向量。 codej note = fLSTM  Mj i  (7) codej lyrics = fLSTM  Lj i  (8) codej note codej lyrics 式中： 表示第 j 个音符的编码向量，为旋律 编码器输出； 表示第 j 个歌词的编码向量， 第 1 期 陈壮豪，等：基于序列模型的音乐词曲匹配度智能评估算法 ·71·