第1期 刘彪，等：基于卷积神经网络的盲文音乐识别研究 ·187· 声消除、图像分割、特征提取和字符识别等步骤， 1识别模型 其识别率达到94.39%，但使用了固定盲文单元大 小和盲文点的位置来识别盲文符号，其可扩展性 卷积神经网络(convolutional neural network, 极其有限。文献「4]提出了一种用于识别双面盲 CNN因其具有独特的结构1，在进行图像特征 文内容的高效算法，即通过对凸点和凹点的灰度 提取的同时，还能够提取更细节的图像信息。这 值变化来区分正面点和反面点，识别率虽然比较 样不仅解决了多数的传统神经网络中参数较多、 乐观，但其局限性在于当正面点和反面点重叠较 训练缓慢的难题，而且还防止了过拟合的出现。 多时，对每个盲文点的质心检测和识别会出现很 自2016年AlphaGo战胜世界围棋冠军李世石以 多歧义，其识别效果也因此受到较大影响。文 来，卷积神经网络再一次被推向浪潮，尤其是在 献[5-7]采用传统的方法对盲文音乐符号进行识 计算机视觉领域的研究更是大热。卷积神经网络 别，其中文献[7]以MusicXML作为中间桥梁来实 具有了两个很重要的特点： 现盲文的转换，并由此设计了从MusicXML到盲 1)共享权值6”。传统的神经网络中每一层 文乐谱ASCIⅡ码的自动转换软件。文献[8]提出 的权值w仅使用一次，而当下一次使用时便会重 一种基于深度学习模型识别盲文字符的方法，使 新生成不同的权值w。但在卷积网络中，卷积核 用堆叠去噪自动编码器来解决盲文识别过程中特 要与图像中的每个像素值（输入向量）进行卷积 征自动提取与降维等问题，利用SDAE自动学习 运算，所以仅需要一组权值即可。当输入向量与 盲文点字的图片特征，使用Softmax分类器进行 该组权值运算完毕时，则表明该次卷积操作结 盲文识别。文献[9]提出将双面阿姆哈拉盲文图 束。共享权值的设计在前向传播阶段并未缩减消 片翻译为阿姆哈拉文的系统。该系统使用方向场 耗时间，但是却在某种程度上将整个模型所需要 张量从背景中分割盲文点，使用梯度场识别正面 的权重参数的数量大大降低，很大程度上提高了 点和反面点；对于重叠盲文点的分割是该文的核 计算机的运算性能。在进行卷积运算时，卷积核 心内容，使用盲文点的属性（质心和面积）来分割 按照给定的步长s在输入图像上从左到右、从上 重叠点并且提出了相应的正面点和反面点识别算 到下依次进行滑动，直至操作结束。相对于传统 法。文献[10]使用人工神经网络对单面的阿姆哈 的神经网络而言，卷积神经网络的参数数量不仅 拉图片进行识别，采用自适应直方图均衡化和形 降低了，而且其运算速度也在一定程度上提高了。 态学操作相结合来对文件中的不同等级的噪声进 2)稀疏连接。为了挖掘图像空间局部关联 行降噪处理，并在识别阶段采用人工神经网络和 的信息，卷积神经网络采用了通过加强神经网络 二进制编码相结合的形式进行盲文图像识别，识 中相邻层之间节点的局部连接模式，而摒弃了全 别率达到95.5%。文献[11]采用BP神经网络对 连接的方式，即采用核少于输入的方式来完成。 英语盲文数字(0~9)图像进行识别。该文展示了 例如，如果有m个输入n个输出，传统的神经网 BP神经网络的参数设置以及图像的特征提取过 络会把每个输出与每个输入进行矩阵乘法运算， 程，其训练精度达到97.1%，测试精度达到85%。 则时间复杂度为Om×n),而卷积神经网络只提取 文献[12]在FCM和KNN的启发下，提出了一个 其中有意义的k个输入，其时间复杂度为Ok×), 模糊的聚类算法和一种新的数字特征检测算法， 因为在实际应用中，k一般远小于m,并更有实际 称之为斑点检测算法，即在4个扫描方向上扫描 意义，这一方面降低了时间复杂度，也提升了存 1个盲文单元，从而生成1个八进制编码。然后 储的效率。 模糊分类算法根据生成的八进制编码来识别相应 2盲文音乐识别方法 的盲文字符，识别精度达到83%。上述这些研究 存在识别过程较烦琐、识别度较低、泛化能力较 在传统的盲文音乐识别方法中，人工介入的 差等问题。 工作量较大。尽管目前部分传统模型提出的算法 为了使研究具有较强泛化能力和较高识别 在一定程度上能够实现对盲文图像的特征提取 度，同时简化其识别过程，本文从盲文音乐图片 但是对于以点状为基本组成且难以分辨的盲文音 的结构出发，应用卷积神经网络的识别模型，并 乐图片而言，其识别的效果并不理想，这归咎于 在Tensorflow深度学习框架下进行实验。实验表 其弱学习能力和弱适应性。而相比之下，近年来 明，采用卷积神经网络模型来识别盲文音乐图片 发展迅速的CNN的效果却较为乐观90，表现出 具有较为乐观的结果。 较高的识别精准率和较强的泛化能力。声消除、图像分割、特征提取和字符识别等步骤， 其识别率达到 94.39%，但使用了固定盲文单元大 小和盲文点的位置来识别盲文符号，其可扩展性 极其有限。文献 [4] 提出了一种用于识别双面盲 文内容的高效算法，即通过对凸点和凹点的灰度 值变化来区分正面点和反面点，识别率虽然比较 乐观，但其局限性在于当正面点和反面点重叠较 多时，对每个盲文点的质心检测和识别会出现很 多歧义，其识别效果也因此受到较大影响。文 献 [5-7] 采用传统的方法对盲文音乐符号进行识 别，其中文献 [7] 以 MusicXML 作为中间桥梁来实 现盲文的转换，并由此设计了从 MusicXML 到盲 文乐谱 ASCII 码的自动转换软件。文献 [8] 提出 一种基于深度学习模型识别盲文字符的方法，使 用堆叠去噪自动编码器来解决盲文识别过程中特 征自动提取与降维等问题，利用 SDAE 自动学习 盲文点字的图片特征，使用 Softmax 分类器进行 盲文识别。文献 [9] 提出将双面阿姆哈拉盲文图 片翻译为阿姆哈拉文的系统。该系统使用方向场 张量从背景中分割盲文点，使用梯度场识别正面 点和反面点；对于重叠盲文点的分割是该文的核 心内容，使用盲文点的属性 (质心和面积) 来分割 重叠点并且提出了相应的正面点和反面点识别算 法。文献 [10] 使用人工神经网络对单面的阿姆哈 拉图片进行识别，采用自适应直方图均衡化和形 态学操作相结合来对文件中的不同等级的噪声进 行降噪处理，并在识别阶段采用人工神经网络和 二进制编码相结合的形式进行盲文图像识别，识 别率达到 95.5%。文献 [11] 采用 BP 神经网络对 英语盲文数字 (0~9) 图像进行识别。该文展示了 BP 神经网络的参数设置以及图像的特征提取过 程，其训练精度达到 97.1%，测试精度达到 85%。 文献 [12] 在 FCM 和 KNN 的启发下，提出了一个 模糊的聚类算法和一种新的数字特征检测算法， 称之为斑点检测算法，即在 4 个扫描方向上扫描 1 个盲文单元，从而生成 1 个八进制编码。然后 模糊分类算法根据生成的八进制编码来识别相应 的盲文字符，识别精度达到 83%。上述这些研究 存在识别过程较烦琐、识别度较低、泛化能力较 差等问题。 为了使研究具有较强泛化能力和较高识别 度，同时简化其识别过程，本文从盲文音乐图片 的结构出发，应用卷积神经网络的识别模型，并 在 Tensorflow 深度学习框架下进行实验。实验表 明，采用卷积神经网络模型来识别盲文音乐图片 具有较为乐观的结果。 1 识别模型 卷积神经网络 (convolutional neural network, CNN) 因其具有独特的结构[13-15] ，在进行图像特征 提取的同时，还能够提取更细节的图像信息。这 样不仅解决了多数的传统神经网络中参数较多、 训练缓慢的难题，而且还防止了过拟合的出现。 自 2016 年 AlphaGo 战胜世界围棋冠军李世石以 来，卷积神经网络再一次被推向浪潮，尤其是在 计算机视觉领域的研究更是大热。卷积神经网络 具有了两个很重要的特点： 1) 共享权值[16-17]。传统的神经网络中每一层 的权值 w 仅使用一次 ，而当下一次使用时便会重 新生成不同的权值 w。但在卷积网络中，卷积核 要与图像中的每个像素值 (输入向量) 进行卷积 运算，所以仅需要一组权值即可。当输入向量与 该组权值运算完毕时，则表明该次卷积操作结 束。共享权值的设计在前向传播阶段并未缩减消 耗时间，但是却在某种程度上将整个模型所需要 的权重参数的数量大大降低，很大程度上提高了 计算机的运算性能。在进行卷积运算时，卷积核 按照给定的步长 s 在输入图像上从左到右、从上 到下依次进行滑动，直至操作结束。相对于传统 的神经网络而言，卷积神经网络的参数数量不仅 降低了，而且其运算速度也在一定程度上提高了。 O(m×n) O(k×n) 2) 稀疏连接[18]。为了挖掘图像空间局部关联 的信息，卷积神经网络采用了通过加强神经网络 中相邻层之间节点的局部连接模式，而摒弃了全 连接的方式，即采用核少于输入的方式来完成。 例如，如果有 m 个输入 n 个输出，传统的神经网 络会把每个输出与每个输入进行矩阵乘法运算， 则时间复杂度为 ，而卷积神经网络只提取 其中有意义的 k 个输入，其时间复杂度为 ， 因为在实际应用中，k 一般远小于 m，并更有实际 意义，这一方面降低了时间复杂度，也提升了存 储的效率。 2 盲文音乐识别方法 在传统的盲文音乐识别方法中，人工介入的 工作量较大。尽管目前部分传统模型提出的算法 在一定程度上能够实现对盲文图像的特征提取， 但是对于以点状为基本组成且难以分辨的盲文音 乐图片而言，其识别的效果并不理想，这归咎于 其弱学习能力和弱适应性。而相比之下，近年来 发展迅速的 CNN 的效果却较为乐观[19-20] ，表现出 较高的识别精准率和较强的泛化能力。 第 1 期 刘彪，等：基于卷积神经网络的盲文音乐识别研究 ·187·