第14卷第2期 智能系统学报 Vol.14 No.2 2019年3月 CAAI Transactions on Intelligent Systems Mar.2019 D0:10.11992/tis.201710005 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180413.0946.004html 卷积神经网络的贴片电阻识别应用 谌贵辉，何龙，李忠兵，亢宇欣，江枭宇 (西南石油大学电气信息学院，四川成都610500) 摘要：贴片电阻由于其体积微小、性能稳定等独特的性质，在当今智能化的电子设备中被广泛使用。为保证 贴片电阻的出厂质量，需要对其进行缺陷识别、极性方向识别、正反面识别和种类识别，目前很大程度上依靠 人工肉眼进行识别检测，效率低、容易误检、成本高。本文针对传统图像识别方法的局限性，结合近年来卷积 神经网络在图像识别方面所取得的巨大成就，基于AlexNet模型、GoogLeNet模型、ResNet模型思想设计了3种 深度适宜、可训练参数约4×10（百万）的卷积神经网络，克服了当前主流卷积神经网络模型由于可训练参数过 多、模型层数太深导致在贴片电阻识别应用中识别速度不能满足实时性要求、泛化识别准确率低的问题。实 验表明，3种模型的识别准确率均超过90%.最高识别准确率达到95%.识别速度达到0.203s/张(256像 素×256像素，COE5)。因此，本文设计的3种卷积神经网络可根据具体实际需求进行选用，在实践中具有极 强的可行性和可推广性，同时也在提升企业生产效率和产品质量方面具有重要意义。 关键词：贴片电阻识别；卷积神经网络；AlexNet模型；GoogLeNet模型；ResNet模型 中图分类号：TP391文献标志码：A文章编号：1673-4785(2019)02-0263-10 中文引用格式：谌贵辉，何龙，李忠兵，等.卷积神经网络的贴片电阻识别应用.智能系统学报，2019,142)：263-272. 英文引用格式：CHEN Guihui,HE Long,.LI Zhongbing,etal.Chip resistance recognition based on convolution neural network J, CAAI transactions on intelligent systems,2019,14(2):263-272. Chip resistance recognition based on convolution neural network CHEN Guihui,HE Long,LI Zhongbing,KANG Yuxin,JIANG Xiaoyu (School of Electrical Information,Southwest Petroleum University,Chengdu 610500,China) Abstract:Chip resistors are widely used in intelligent electronic devices because of their unique properties such as small size and stable performance.The chip resistors produced by the factory must be identified for defects in both front and back faces,polarity,and type in order to guarantee the quality.However,such identification largely relies on the eye de- tection,which is inefficient,prone to error,and costly.In this paper,considering the limitation of the traditional image recognition methods and the great achievements of convolutional neural network(CNN)in image recognition in recent years,three CNN models,AlexNet model,GoogLeNet model,and ResNet model,with appropriate depth and training parameters of about 4M(million)are designed to overcome the demerits of low speed that results in the inability to meet the real-time requirement.These models overcome the low accuracy problem of generalization recognition associated with the prevailing CNN models,which is caused by many trainable parameters and many layers of model.Experiments show that the recognition accuracy of these three models exceeds 90%.The highest recognition accuracy rate is 95%, and the recognition speed is 0.203 s/piece(256 x 256 pixels,CORE I5).Therefore,these three CNN models can be ad- opted in practice and have a strong feasibility and replicability;thus,they have a great potential to improve the produc- tion efficiency and product quality for chip resistors. Keywords:Chip resistance recognition:convolution neural network:AlexNet model:GoogLeNet model:ResNet model 收稿日期：2017-10-11.网络出版日期：2018-04-13. 基金项目：四川省科技支撑计划项目(2016GZ0107);四川省教 当今正处于信息智能时代，电子元器件犹如 育厅重点项目(16ZA0065):南充市重点科技项目 构筑起这个时代的一块块砖瓦，唯有对这些砖瓦 (NC17SY4001). 通信作者：何龙.E-mail:396024902@q9.com. 的质量进行保证，才能坚固地铸就属于这个时代
DOI: 10.11992/tis.201710005 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180413.0946.004.html 卷积神经网络的贴片电阻识别应用 谌贵辉，何龙，李忠兵，亢宇欣，江枭宇 （西南石油大学 电气信息学院，四川 成都 610500） 摘 要：贴片电阻由于其体积微小、性能稳定等独特的性质，在当今智能化的电子设备中被广泛使用。为保证 贴片电阻的出厂质量，需要对其进行缺陷识别、极性方向识别、正反面识别和种类识别，目前很大程度上依靠 人工肉眼进行识别检测，效率低、容易误检、成本高。本文针对传统图像识别方法的局限性，结合近年来卷积 神经网络在图像识别方面所取得的巨大成就，基于 AlexNet 模型、GoogLeNet 模型、ResNet 模型思想设计了 3 种 深度适宜、可训练参数约 4×106 (百万) 的卷积神经网络，克服了当前主流卷积神经网络模型由于可训练参数过 多、模型层数太深导致在贴片电阻识别应用中识别速度不能满足实时性要求、泛化识别准确率低的问题。实 验表明，3 种模型的识别准确率均超过 90%，最高识别准确率达到 95%，识别速度达到 0.203 s/张 (256 像 素×256 像素，CORE I5)。因此，本文设计的 3 种卷积神经网络可根据具体实际需求进行选用，在实践中具有极 强的可行性和可推广性，同时也在提升企业生产效率和产品质量方面具有重要意义。 关键词：贴片电阻识别；卷积神经网络；AlexNet 模型；GoogLeNet 模型；ResNet 模型 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2019)02−0263−10 中文引用格式：谌贵辉, 何龙, 李忠兵, 等. 卷积神经网络的贴片电阻识别应用[J]. 智能系统学报, 2019, 14(2): 263–272. 英文引用格式：CHEN Guihui, HE Long, LI Zhongbing, et al. Chip resistance recognition based on convolution neural network[J]. CAAI transactions on intelligent systems, 2019, 14(2): 263–272. Chip resistance recognition based on convolution neural network CHEN Guihui，HE Long，LI Zhongbing，KANG Yuxin，JIANG Xiaoyu (School of Electrical Information, Southwest Petroleum University, Chengdu 610500, China) Abstract: Chip resistors are widely used in intelligent electronic devices because of their unique properties such as small size and stable performance. The chip resistors produced by the factory must be identified for defects in both front and back faces, polarity, and type in order to guarantee the quality. However, such identification largely relies on the eye detection, which is inefficient, prone to error, and costly. In this paper, considering the limitation of the traditional image recognition methods and the great achievements of convolutional neural network (CNN) in image recognition in recent years, three CNN models, AlexNet model, GoogLeNet model, and ResNet model, with appropriate depth and training parameters of about 4M (million) are designed to overcome the demerits of low speed that results in the inability to meet the real-time requirement. These models overcome the low accuracy problem of generalization recognition associated with the prevailing CNN models, which is caused by many trainable parameters and many layers of model. Experiments show that the recognition accuracy of these three models exceeds 90%. The highest recognition accuracy rate is 95%, and the recognition speed is 0.203 s/piece (256 × 256 pixels, CORE I5). Therefore, these three CNN models can be adopted in practice and have a strong feasibility and replicability; thus, they have a great potential to improve the production efficiency and product quality for chip resistors. Keywords: Chip resistance recognition; convolution neural network; AlexNet model; GoogLeNet model; ResNet model 当今正处于信息智能时代，电子元器件犹如 构筑起这个时代的一块块砖瓦，唯有对这些砖瓦 的质量进行保证，才能坚固地铸就属于这个时代 收稿日期：2017−10−11. 网络出版日期：2018−04−13. 基金项目：四川省科技支撑计划项目 (2016GZ0107)；四川省教 育厅重点项目 (16ZA0065)；南充市重点科技项目 (NC17SY4001). 通信作者：何龙. E-mail：396024902@qq.com. 第 14 卷第 2 期 智 能 系 统 学 报 Vol.14 No.2 2019 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2019
·264· 智能系统学报 第14卷 的智能大厦，贴片电阻也不例外。工厂生产出来 码形式，提出一种Pre-Training的方法初始化权 的贴片电阻，首先需要对其进行缺陷识别、极性 重，使其更加接近全局最小，随后再通过梯度下 方向识别、正反面识别和种类识别，才能保证贴 降法来Fine-Turning网络权重值，证明了采用这 片电阻的出厂质量，因此，生产企业迫切需要一 样的方法训练的网络比PCA方法更好：同时也证 种可行的贴片电阻识别检测方法，截至目前，虽 明了在参数相同的情况下，一个更深的网络结构 然已经有论文提出针对贴片电阻缺陷进行识别的 在测试数据集上具有更低的错误识别率，但这种 方法，但生产企业由于其识别性能原因依旧没有 优势会随着权值参数的增多而逐渐消失。Hin- 广泛的使用，贴片电阻在实际生产过程中的缺陷 ton所证明的结论为后续网络模型设计提供了理 识别、方向识别等还是依靠人工肉眼进行识别检 论依据。而LeCun所提出的卷积神经网络架构， 测，不仅检测速度慢，而且长期成本高、误检率高。 是一个真正意义上的深度网络架构，其不同于 针对上述问题，学者们提出的很多理论方法 传统的全连接式的受限制波尔滋曼机，并在图像 均可在贴片电阻识别中进行应用，比如模板匹配 算法-以PCA(主成分分析)法B-、Canny边缘检测 识别领域中取得了许多振奋人心的结果，通过端 到端的训练，能够自学习出易于分类的低维特 算法、B样条小波多尺度积边缘检测算法、自 征，完全避免了人为专家知识系统的构造，与其 适应阈值SUSAN边缘算法m等，通过使用这些方 相反所带来的代价是训练样本数据的收集。Hin- 法首先对贴片电阻图片进行特征提取，然后将提 ton所证明的结论对于真正意义的深度网络模型 取出的特征通过一个分类器进行识别分类，比如 支持向量机、决策树、贝叶斯分类器等进行 是有效的，对于全连接式的深度网络模型并不适 用，全连接网络总是会陷入过拟合现象，使得实 分类。上述过程从本质上来讲，就是通过人为的 际泛化效果并不理想。因此，选择识别性能更优 方式构造专家系统和知识库对贴片电阻图片进行 的卷积神经网络用于贴片电阻识别，充分借鉴前 特征抽取，将高度相关的数据编码形式解耦成易 人思想设计卷积神经网络，尽可能精简整个卷积 于分类的低维数据形式，随后将提取出的低维数 神经网络的可训练参数从而保证识别速度，基于 据向量通过一个分类器进行识别分类。上述系 此，对比研究得出了3种不同卷积神经网络结构 统的识别性能很大程度上取决于前半部分专家系 在贴片电阻识别任务中的实际效果。 统的构造，即对特定论域问题是否提取出了有用 的特征和是否将高维数据转换到易于分类的低维 1贴片电阻识别任务分析 有效空间，通常要构造出一个专家知识系统是极其 困难的，而且当研究论域一旦改变或者扩展，之前 从企业中调研可以发现，贴片电阻识别问题 构造的专家系统又不得不重新进行构造，这样的 是一个复杂的多分类任务问题。图1所示贴片电 再构造过程不仅是极其枯燥和乏味的，而且通常 阻图片来源于工厂实际拍摄，图中贴片电阻分类 情况由工厂中经验丰富的工人所提供，图l(a)为 情况下其实际效果也并不是事先所预想的那样。 50型号反面缺角缺陷，图1(c)为50型号正面涂 然而，上述问题可以通过卷积神经网络的方 层缺角缺陷，图1（©）为50型号反面腐蚀缺陷，图1 法进行特征提取，从而避免繁琐的专家知识系统 (g)为正面字迹不清缺陷，其余4张图片为无缺陷 的构造。神经网络早在20世纪40年代就已经被 电阻面。另一方面，假设贴片电阻已经做了外观 提出，其作为连接主义智能实现的典范，是当今 缺陷检查，通过的合格电阻在自动编带时还需确 人工智能深度学习方法的重要思想源泉，也是当 保正反面、方向的一致性，因此需要对贴片电阻 前类脑智能研究中的有效工具。自2006年以 正反面和方向进行识别，由于企业生产的贴片电 来，Hinton等在《科学》上发表文章将神经网络 阻型号种类繁多，如图2所示，尺寸一样表示同一 推向了深度学习时代，指出一个训练好的多层 种封装形式的贴片电阻，故还需要对贴片电阻种 神经网络可以将高维的数据转换成低维的数据编 类进行识别。 (a)反面缺角缺陷 (b)对应(a)的反面正常 (©)正面涂层缺角缺陷 (d)对应(c)的正面正常
的智能大厦，贴片电阻也不例外。工厂生产出来 的贴片电阻，首先需要对其进行缺陷识别、极性 方向识别、正反面识别和种类识别，才能保证贴 片电阻的出厂质量，因此，生产企业迫切需要一 种可行的贴片电阻识别检测方法，截至目前，虽 然已经有论文提出针对贴片电阻缺陷进行识别的 方法，但生产企业由于其识别性能原因依旧没有 广泛的使用，贴片电阻在实际生产过程中的缺陷 识别、方向识别等还是依靠人工肉眼进行识别检 测，不仅检测速度慢，而且长期成本高、误检率高。 针对上述问题，学者们提出的很多理论方法 均可在贴片电阻识别中进行应用，比如模板匹配 算法[1-2] 、PCA(主成分分析) 法 [3-4] 、Canny 边缘检测 算法[5] 、B 样条小波多尺度积边缘检测算法[6] 、自 适应阈值 SUSAN 边缘算法[7]等，通过使用这些方 法首先对贴片电阻图片进行特征提取，然后将提 取出的特征通过一个分类器进行识别分类，比如 支持向量机[8] 、决策树[9] 、贝叶斯分类器[10]等进行 分类。上述过程从本质上来讲，就是通过人为的 方式构造专家系统和知识库对贴片电阻图片进行 特征抽取，将高度相关的数据编码形式解耦成易 于分类的低维数据形式，随后将提取出的低维数 据向量通过一个分类器进行识别分类。上述系 统的识别性能很大程度上取决于前半部分专家系 统的构造，即对特定论域问题是否提取出了有用 的特征和是否将高维数据转换到易于分类的低维 有效空间，通常要构造出一个专家知识系统是极其 困难的，而且当研究论域一旦改变或者扩展，之前 构造的专家系统又不得不重新进行构造，这样的 再构造过程不仅是极其枯燥和乏味的，而且通常 情况下其实际效果也并不是事先所预想的那样。 然而，上述问题可以通过卷积神经网络的方 法进行特征提取，从而避免繁琐的专家知识系统 的构造。神经网络早在 20 世纪 40 年代就已经被 提出，其作为连接主义智能实现的典范，是当今 人工智能深度学习方法的重要思想源泉，也是当 前类脑智能研究中的有效工具[11]。自 2006 年以 来，Hinton 等在《科学》上发表文章将神经网络 推向了深度学习时代[12] ，指出一个训练好的多层 神经网络可以将高维的数据转换成低维的数据编 码形式，提出一种 Pre-Training[13]的方法初始化权 重，使其更加接近全局最小，随后再通过梯度下 降法来 Fine-Turning 网络权重值，证明了采用这 样的方法训练的网络比 PCA 方法更好；同时也证 明了在参数相同的情况下，一个更深的网络结构 在测试数据集上具有更低的错误识别率，但这种 优势会随着权值参数的增多而逐渐消失。Hinton 所证明的结论为后续网络模型设计提供了理 论依据。而 LeCun 所提出的卷积神经网络架构， 是一个真正意义上的深度网络架构[14] ，其不同于 传统的全连接式的受限制波尔兹曼机，并在图像 识别领域中取得了许多振奋人心的结果，通过端 到端的训练，能够自学习出易于分类的低维特 征，完全避免了人为专家知识系统的构造，与其 相反所带来的代价是训练样本数据的收集。Hinton 所证明的结论对于真正意义的深度网络模型 是有效的，对于全连接式的深度网络模型并不适 用，全连接网络总是会陷入过拟合现象，使得实 际泛化效果并不理想。因此，选择识别性能更优 的卷积神经网络用于贴片电阻识别，充分借鉴前 人思想设计卷积神经网络，尽可能精简整个卷积 神经网络的可训练参数从而保证识别速度，基于 此，对比研究得出了 3 种不同卷积神经网络结构 在贴片电阻识别任务中的实际效果。 1 贴片电阻识别任务分析 从企业中调研可以发现，贴片电阻识别问题 是一个复杂的多分类任务问题。图 1 所示贴片电 阻图片来源于工厂实际拍摄，图中贴片电阻分类 情况由工厂中经验丰富的工人所提供，图 1(a) 为 50 型号反面缺角缺陷，图 1(c) 为 50 型号正面涂 层缺角缺陷，图 1(e) 为 50 型号反面腐蚀缺陷，图 1 (g) 为正面字迹不清缺陷，其余 4 张图片为无缺陷 电阻面。另一方面，假设贴片电阻已经做了外观 缺陷检查，通过的合格电阻在自动编带时还需确 保正反面、方向的一致性，因此需要对贴片电阻 正反面和方向进行识别，由于企业生产的贴片电 阻型号种类繁多，如图 2 所示，尺寸一样表示同一 种封装形式的贴片电阻，故还需要对贴片电阻种 类进行识别。 (a) 反面缺角缺陷 (b) 对应(a)的反面正常 (c) 正面涂层缺角缺陷 (d) 对应(c)的正面正常 ·264· 智 能 系 统 学 报 第 14 卷
第2期 湛贵辉，等：卷积神经网络的贴片电阻识别应用 ·265· .20 (e)反面腐蚀缺陷 (①对应(e)的反面正常 (g)正面字迹不清 h)对应(g)的正面正常 图1一种典型电阻型号需识别种类数 Fig.1 A typical resistance type is required to identify the number of categories 2卷积神经网络相关数学理论 300240121331 5R17R 242 272 当前主流的3种用于模式识别的卷积神经网络 模型一AlexNet模型1、GoogLeNet模型16i列 图2需要识别的不同型号的贴片电阻示意 ResNet模型u.,分别在2012年、2014年、2015 Fig.2 Different types of chip resistors that need to be 年的ILSVRC竞赛中取得第一名的成绩，其模型 identified 架构思想可以用图4进行概括，图中卷积层实现 因此，为了覆盖上述识别的所有情况，通过在 特征提取，全连接层实现特征分类。 实际工厂中拍摄大量的贴片电阻图片，再经过人 2.1卷积层模型 工严格筛选和预处理算法处理之后，本文制作出 卷积神经网络模型首先由LeCun所提出，其 了包含29种类别的贴片电阻数据样本集。类别 卷积过程类似于对图像抽取特征的各种算子，如 标签1~13主要是电阻缺陷识别，14~29主要是方 Sobel算子、Laplace算子。算子的卷积过程： 向、正反面以及种类识别，总的贴片电阻样本数 量为1044张，每一类别包含36张样本，经过预 O(m.n)=I(m.n)*H(m.n)= 处理算法处理之后的图片，每张图片被剪切为320× 320像素大小，贴片电阻居于图像正中位置，贴片 岁艺1i,Hm-in-= m=0n=0 (1) 电阻以外其余的像素点全部被置零为黑色背景， 即清除了贴片电阻图像背景特征。在后续的实验 分为m-i-7h6D 中，每一类别均随机选取5张电阻图片用于准确 00 率测试，其余的贴片电阻均作为训练样本，详细数据 式中：I表示输入灰度图像；H表示图像操作算子； 集及标签类别对应情况如图3和表1所示，图3 M、N和I、J表示卷积核大小，其操作过程为一固 中相邻两张图片为一个类别，以阅读的顺序与表1 定大小的卷积核在图像像素点上进行了一次动态 中的标签依次对应（如图3中第一行前两张图片 扫描。但卷积神经网络的卷积过程有其自己独有 对应标签为1，所属类别为50型号反面弹珠缺陷)。 的特点，引入了通道的概念，则式(1)变为 O(m,m)=产(m,n）⑧H(m,m)= ∑∑∑r产m+in+D, (2) k=0=00 式中：k表示输入通道；1表示输出通道。卷积神经 网络在进行逐层特征抽取的过程中，每个通道仍 然按照二维卷积方式计算，输入的多个通道与多 个卷积核分别进行二维卷积，得到多通道输出， 需要“合并”为一个通道，则每层总的卷积核个数 为k!个。通过卷积的方式，卷积层在输出特征图 维度实现了权值共享，相比全连接的方式，不仅 极大减少了训练参数，而且二维卷积核的卷积过 图3预处理后的29种贴片电阻图片样例 Fig.3 Samples of 29 kinds of chip resistors after preprocessing 程也符合图像的结构特征
因此，为了覆盖上述识别的所有情况，通过在 实际工厂中拍摄大量的贴片电阻图片，再经过人 工严格筛选和预处理算法处理之后，本文制作出 了包含 29 种类别的贴片电阻数据样本集。类别 标签 1~13 主要是电阻缺陷识别，14~29 主要是方 向、正反面以及种类识别，总的贴片电阻样本数 量为 1 044 张，每一类别包含 36 张样本，经过预 处理算法处理之后的图片，每张图片被剪切为 320× 320 像素大小，贴片电阻居于图像正中位置，贴片 电阻以外其余的像素点全部被置零为黑色背景， 即清除了贴片电阻图像背景特征。在后续的实验 中，每一类别均随机选取 5 张电阻图片用于准确 率测试，其余的贴片电阻均作为训练样本，详细数据 集及标签类别对应情况如图 3 和表 1 所示，图 3 中相邻两张图片为一个类别，以阅读的顺序与表 1 中的标签依次对应 (如图 3 中第一行前两张图片 对应标签为 1，所属类别为 50 型号反面弹珠缺陷)。 2 卷积神经网络相关数学理论 当前主流的 3 种用于模式识别的卷积神经网络 模型——AlexNet 模型[15] 、GoogLeNet 模型[16-17] 、 ResNet 模型[18-19] ，分别在 2012 年、2014 年、2015 年的 ILSVRC 竞赛中取得第一名的成绩，其模型 架构思想可以用图 4 进行概括，图中卷积层实现 特征提取，全连接层实现特征分类。 2.1 卷积层模型 卷积神经网络模型首先由 LeCun 所提出，其 卷积过程类似于对图像抽取特征的各种算子，如 Sobel 算子、Laplace 算子。算子的卷积过程： O(m,n)=I(m,n) ∗ H(m,n)= ∑M−1 m=0 ∑N−1 n=0 I(i, j)H(m−i,n− j)= ∑I−1 i=0 ∑J−1 j=0 I(m−i,n− j)H(i, j) (1) 式中：I 表示输入灰度图像； H 表示图像操作算子； M、N 和 I、J 表示卷积核大小，其操作过程为一固 定大小的卷积核在图像像素点上进行了一次动态 扫描。但卷积神经网络的卷积过程有其自己独有 的特点，引入了通道的概念，则式 (1) 变为 O l (m,n) = I k (m,n)⊗ H kl(m,n) = ∑K−1 k=0 ∑I−1 i=0 ∑J−1 j=0 I k (m+i,n+ j)H kl(i, j) (2) k l kl 式中： 表示输入通道； 表示输出通道。卷积神经 网络在进行逐层特征抽取的过程中，每个通道仍 然按照二维卷积方式计算，输入的多个通道与多 个卷积核分别进行二维卷积，得到多通道输出， 需要“合并”为一个通道，则每层总的卷积核个数 为 个。通过卷积的方式，卷积层在输出特征图 维度实现了权值共享，相比全连接的方式，不仅 极大减少了训练参数，而且二维卷积核的卷积过 程也符合图像的结构特征。 (e) 反面腐蚀缺陷 (f) 对应(e)的反面正常 (g) 正面字迹不清 (h) 对应(g)的正面正常 图 1 一种典型电阻型号需识别种类数 Fig. 1 A typical resistance type is required to identify the number of categories 图 2 需要识别的不同型号的贴片电阻示意 Fig. 2 Different types of chip resistors that need to be identified 图 3 预处理后的 29 种贴片电阻图片样例 Fig. 3 Samples of 29 kinds of chip resistors after preprocessing 第 2 期 谌贵辉，等：卷积神经网络的贴片电阻识别应用 ·265·
·266· 智 能系统学报 第14卷 表1实验详细数据表 非线性特性和稀疏特性。数学家们将这样的阈值 Table 1 Experimental detailed data sheet 函数称为激活函数，早期的激活函数主要有Sig moid函数和tanh函数两种，但二者均由于使梯度 标签训练样本数测试样本数 种类名称 在反向传播过程中衰减过快而被人们所放弃，过 31 50型号反面弹珠缺陷 快的梯度衰减与构造一个更深的卷积神经网络是 31 50型号反面两块整电阻缺陷 矛盾的。因此人们提出了RLU非线性激活函数P四， 31 50型号反面无规则裂角缺陷 其表达式为 31 J 50型号反面腐蚀缺陷 f(x)= x,x>0 10,x≤0 (3) 31 50型号反面缺角缺陷 式(3)的激活函数不仅能够减少计算量，在 6 31 J 50型号反面桥接缺陷 定程度上克服了梯度反向传播消失问题，并且增 > 31 50型号正面弹珠缺陷 加了网络的稀疏性，因此而被广泛的使用。 31 J 50型号正面两块整电阻缺陷 2.3 Dropout(随机丢弃)层 9 31 50型号正面无规则裂角缺陷 Dropout.层是为了增加神经网络的稀疏性而 特别设计的，其背后的理论依据是为了模仿大脑 10 31 50型号正面腐蚀缺陷 的稀疏特性。人脑的神经元大多处于抑制状态， 11 31 50型号正面缺角缺陷 只有不到10%的神经元处于活动状态，因此，人 31 50型号正面黑色涂层缺角 脑是一个典型的稀疏结构，每次训练网络通过选 13 31 50型号正面字迹不清 择性的丢弃某些神经元，使其不参与前向传播和 14 31 50型号反面无缺陷方向朝东 反向传播过程，一方面可以增加网络的稀疏性， 另一方面提供了正则化一大类模型的方法。 15 31 50型号正面无缺陷方向朝东 24 Pooling(池化)层 16 50型号反面无缺陷方向朝西 Pooling层是为了快速降低特征图维度而设 17 31 50型号正面无缺陷方向朝西 计的，从而减轻计算的负担。Pooling层通过汇总 18 31 103,184,222,型号反面有缺陷 上一层特征图相邻神经元的输出，输出一个维度 19 31 103,184,222,型号反面无缺陷 被降低的特征图。通过Pooling层的操作，模型计 20 分 算量被减少，网络过拟合问题得到一定的缓解， 103型号正面有缺陷 网络整体性能也有所提升。常见的汇总操作有 21 31 103型号正面无缺陷 MAX和AVE,MAX操作为局部相邻神经元的最 22 31 184型号正面无缺陷 大值作为输出，AVE操作为局部相邻神经元的平 23 31 222型号正面电极不对称缺陷 均值作为输出，与图像均值滤波类似。 24 31 222型号正面无缺陷 2.5 LRN(local response normalization) LRN层为局部响应值归一化层，LRN层跟随 25 31 300型号正面无缺陷 在Pooling层之后，通过对局部神经元的活动创建 31 103型号正面无缺陷字迹反向 竞争机制，使得其中响应比较大的值变得相对更 27 31 184型号正面无缺陷字迹反向 大，并抑制其他反馈较小的神经元，保留关键特 31 222型号正面无缺陷字迹反向 征，抑制非重要特征。LRN层具体归一化公式 如式(4)所示： 29 31 5 300型号正面无缺陷字迹反向 min(N-1.i+n/2) 卷积层池化层LRN层BN层 全连接分类器 b,=d, k+a∑a 4) 预 Dropout 理 结果输出 式中：d,表示第个特征图像素位置为x、y的值： N表示特征图的总个数；n表示沿着特征图（也称 通道)方向需要被归一化的像素点个数；k、α、B为 可自由设置的超参数。求和函数中的min和max用 图4常见卷积模型图 于避免数据溢出特征图个数（通道个数）之外。 Fig.4 Common convolution model diagram 2.6 BatchNorm层 2.2ReLU非线性函数 BatchNorm层为步长归一化层，卷积神经网 根据神经科学的研究，存在一个阈值来控制 络在读入训练数据和测试数据时，并不是每次只 神经元的选择性输出，从而增加整个神经系统的 读取一张图片，而是一次读取一个Batch(步长)值
结果输出 预 处 理 后 图 片 卷积层 池化层 LRN 层 BN 层 全连接分类器 Dropout 图 4 常见卷积模型图 Fig. 4 Common convolution model diagram 2.2 ReLU 非线性函数 根据神经科学的研究，存在一个阈值来控制 神经元的选择性输出，从而增加整个神经系统的 非线性特性和稀疏特性。数学家们将这样的阈值 函数称为激活函数，早期的激活函数主要有 Sigmoid 函数和 tanh 函数两种，但二者均由于使梯度 在反向传播过程中衰减过快而被人们所放弃，过 快的梯度衰减与构造一个更深的卷积神经网络是 矛盾的。因此人们提出了 ReLU 非线性激活函数[20] ， 其表达式为 f (x) = { x, x > 0 0, x ⩽ 0 (3) 式 (3) 的激活函数不仅能够减少计算量，在一 定程度上克服了梯度反向传播消失问题，并且增 加了网络的稀疏性，因此而被广泛的使用。 2.3 Dropout(随机丢弃) 层 Dropout 层是为了增加神经网络的稀疏性而 特别设计的，其背后的理论依据是为了模仿大脑 的稀疏特性。人脑的神经元大多处于抑制状态， 只有不到 10% 的神经元处于活动状态，因此，人 脑是一个典型的稀疏结构，每次训练网络通过选 择性的丢弃某些神经元，使其不参与前向传播和 反向传播过程，一方面可以增加网络的稀疏性， 另一方面提供了正则化一大类模型的方法。 2.4 Pooling(池化) 层 Pooling 层是为了快速降低特征图维度而设 计的，从而减轻计算的负担。Pooling 层通过汇总 上一层特征图相邻神经元的输出，输出一个维度 被降低的特征图。通过 Pooling 层的操作，模型计 算量被减少，网络过拟合问题得到一定的缓解， 网络整体性能也有所提升。常见的汇总操作有 MAX 和 AVE，MAX 操作为局部相邻神经元的最 大值作为输出，AVE 操作为局部相邻神经元的平 均值作为输出，与图像均值滤波类似。 2.5 LRN(local response normalization) 层 LRN 层为局部响应值归一化层，LRN 层跟随 在 Pooling 层之后，通过对局部神经元的活动创建 竞争机制，使得其中响应比较大的值变得相对更 大，并抑制其他反馈较小的神经元，保留关键特 征，抑制非重要特征[15]。LRN 层具体归一化公式 如式 (4) 所示： b i x,y = a i x,y / k+α min(N∑−1,i+n/2) j=max(0,i−n/2) ( a j x,y )2 β (4) a i x,y i x y N n k α β min max 式中： 表示第 个特征图像素位置为 、 的值； 表示特征图的总个数； 表示沿着特征图 (也称 通道) 方向需要被归一化的像素点个数； 、 、 为 可自由设置的超参数。求和函数中的 和 用 于避免数据溢出特征图个数 (通道个数) 之外。 2.6 BatchNorm 层 BatchNorm 层为步长归一化层，卷积神经网 络在读入训练数据和测试数据时，并不是每次只 读取一张图片，而是一次读取一个 Batch(步长) 值 表 1 实验详细数据表 Table 1 Experimental detailed data sheet 标签 训练样本数 测试样本数 种类名称 1 31 5 50 型号反面弹珠缺陷 2 31 5 50 型号反面两块整电阻缺陷 3 31 5 50 型号反面无规则裂角缺陷 4 31 5 50 型号反面腐蚀缺陷 5 31 5 50 型号反面缺角缺陷 6 31 5 50 型号反面桥接缺陷 7 31 5 50 型号正面弹珠缺陷 8 31 5 50 型号正面两块整电阻缺陷 9 31 5 50 型号正面无规则裂角缺陷 10 31 5 50 型号正面腐蚀缺陷 11 31 5 50 型号正面缺角缺陷 12 31 5 50 型号正面黑色涂层缺角 13 31 5 50 型号正面字迹不清 14 31 5 50 型号反面无缺陷方向朝东 15 31 5 50 型号正面无缺陷方向朝东 16 31 5 50 型号反面无缺陷方向朝西 17 31 5 50 型号正面无缺陷方向朝西 18 31 5 103,184,222,型号反面有缺陷 19 31 5 103,184,222,型号反面无缺陷 20 31 5 103 型号正面有缺陷 21 31 5 103 型号正面无缺陷 22 31 5 184 型号正面无缺陷 23 31 5 222 型号正面电极不对称缺陷 24 31 5 222 型号正面无缺陷 25 31 5 300 型号正面无缺陷 26 31 5 103 型号正面无缺陷字迹反向 27 31 5 184 型号正面无缺陷字迹反向 28 31 5 222 型号正面无缺陷字迹反向 29 31 5 300 型号正面无缺陷字迹反向 ·266· 智 能 系 统 学 报 第 14 卷
第2期 湛贵辉，等：卷积神经网络的贴片电阻识别应用 ·267· 的图片数据。这样就带来一个问题，深度神经网 图像 络每一层的输人分布在训练的时候会发生改变 11×11卷积，48,4☐ 导致卷积神经网络难以学习到数据中蕴藏的本 ReLU 质，这使得要训练这样的网络变得困难复杂，而 LRN 这样的问题可以通过归一化每一层的输入来解 3×3最大值池化，2 决。BN的本质作用原理是强行将每一层输人分 布的变化进行矫正，使得每一层输入在进行卷积 5×5卷积，128 之前保持零均值和单位方差I。使用BN层的深 ReLU 度网络结构，可以使用更高的学习率进行训练， LRN 而且也不用过多的关心训练权值初始化问题。实 3×3最大值池化.2 践证明加入BN层的深度网络不仅训练收敛速度 极大提高，而且识别准确率也得到改善。 3×3卷积，192 ReLU 3卷积模型架构设计 3×3卷积，192 ReLU 3×3卷积，128 Hinton证明了在参数相同的情况下，一个更 ReLU 深的网络结构在测试数据集上具有更低的错误识 3×3最大值池化，2 别率，但这种优势会随着权值参数的增多而逐渐 消失，本文基于此理论依据，针对传统图像识别 全连接层512神经元 ReLU/Dropout 方法的局限性，结合AlexNet模型、GoogLeNet模 全连接层512神经元 型、ResNet模型思想和其突出的图像识别分类能 ReLU/Dropout 力，设计了3种卷积神经网络模型用于识别贴片 全连接层29神经元 电阻图像，需同时保证设计模型的识别准确率和 Softmax 输出 识别速度。 起初AlexNet模型被设计的目的是用于参加 图5 识别贴片电阻的8层经典卷积网络结构，可训练 ILSVRC图像分类竞赛，同时消除人们对卷积神 参数为4.07×10 经网络识别性能的质疑。网络总共包含60M的 Fig.5 The 8-layer classical convolution network structure 可训练参数，主要是为了提升网络容量，应对包 of identify the chip resistors with a training parameter 含千万张图像的ImageNet数据集，但贴片电阻识 0f4.07×10° 别并不需要如此巨大的可训练参数，这是因为贴 基于谷歌Inception结构思想设计的16层4- 片电阻数据并不像Imagenet数据集那样蕴含大量 Inception网络如图6所示，模型中将两个Incep- 的特征，并且在实践中企业迫切希望使用少量的 tion结构组合构成一个基本的结构单元，取名为 训练样本去达到非常理想的识别准确率，因此需 4-Inception(参见图7)，这样可以方便网络结构呈 要对已有模型可训练参数进行减少，防止过拟合 现。在4-Inception的卷积结构当中，卷积核大小 现象。同时，贴片电阻识别既需要保证高识别准 全部使用1×1、3×3、5×5，参数设计思想是随着深 确率，也需要保证高识别速度，这就需要将卷积 神经网络的深度控制在一个合理的范围之内。因 度的增加，提取出的特征越来越抽象，每个特征 此，设计的网络需从整体上进行“瘦身”，同理，另 所涉及的感受野(receptive field)越来越大。故网 外2种模型的修改思路亦是如此，将修改后的 络越到后面，3×3、5×5卷积核比例相应增加.但卷 3种模型可训练参数保持一致，可以方便比较他 积核的增加会带来巨大的训练参数和计算量，因 们的综合性能。 此在进行卷积之前先进行1×1卷积降低特征图 基于上述思想，由AlexNet模型思想修改后 (通道)个数。为了克服连接器拼接特征图维度对 的网络依旧为8层深度，结构与原来保持不变，做 齐问题，1×1、3×3、5×5卷积时要分别设定填充大 出的改动是对原模型可训练参数进行了大量精简， 小为0、1、2，则卷积后的尺寸保持不变，更易对 可训练参数从原来的60×10降低为4×10左右， 训练参数只有原来的1/15，详细参数设置如图5 齐。采用此结构设计的16层深度卷积网络，由 所示，图中参数设置含义为，比如(11×11卷积，48.4) 于4-Inception基本结构单元比较复杂，需要利用 表示卷积核大小为11×11，输出特征图个数为48， 多尺度的训练方法对其进行训练，从而提高网络 卷积时滑动步长为4，没有写滑动步长表示默认 训练收敛速度。图7中3个4-Inception结构参数 为1，其他同理，后续网络中参数设置含义与此类似。 详细设置见表2
的图片数据。这样就带来一个问题，深度神经网 络每一层的输入分布在训练的时候会发生改变， 导致卷积神经网络难以学习到数据中蕴藏的本 质，这使得要训练这样的网络变得困难复杂，而 这样的问题可以通过归一化每一层的输入来解 决。BN 的本质作用原理是强行将每一层输入分 布的变化进行矫正，使得每一层输入在进行卷积 之前保持零均值和单位方差[19]。使用 BN 层的深 度网络结构，可以使用更高的学习率进行训练， 而且也不用过多的关心训练权值初始化问题。实 践证明加入 BN 层的深度网络不仅训练收敛速度 极大提高，而且识别准确率也得到改善。 3 卷积模型架构设计 Hinton 证明了在参数相同的情况下，一个更 深的网络结构在测试数据集上具有更低的错误识 别率，但这种优势会随着权值参数的增多而逐渐 消失，本文基于此理论依据，针对传统图像识别 方法的局限性，结合 AlexNet 模型、GoogLeNet 模 型、ResNet 模型思想和其突出的图像识别分类能 力，设计了 3 种卷积神经网络模型用于识别贴片 电阻图像，需同时保证设计模型的识别准确率和 识别速度。 起初 AlexNet 模型被设计的目的是用于参加 ILSVRC 图像分类竞赛，同时消除人们对卷积神 经网络识别性能的质疑。网络总共包含 60M 的 可训练参数，主要是为了提升网络容量，应对包 含千万张图像的 ImageNet 数据集，但贴片电阻识 别并不需要如此巨大的可训练参数，这是因为贴 片电阻数据并不像 Imagenet 数据集那样蕴含大量 的特征，并且在实践中企业迫切希望使用少量的 训练样本去达到非常理想的识别准确率，因此需 要对已有模型可训练参数进行减少，防止过拟合 现象。同时，贴片电阻识别既需要保证高识别准 确率，也需要保证高识别速度，这就需要将卷积 神经网络的深度控制在一个合理的范围之内。因 此，设计的网络需从整体上进行“瘦身”，同理，另 外 2 种模型的修改思路亦是如此，将修改后的 3 种模型可训练参数保持一致，可以方便比较他 们的综合性能。 基于上述思想，由 AlexNet 模型思想修改后 的网络依旧为 8 层深度，结构与原来保持不变，做 出的改动是对原模型可训练参数进行了大量精简， 可训练参数从原来的 60×106 降低为 4×106 左右， 训练参数只有原来的 1/15，详细参数设置如图 5 所示，图中参数设置含义为，比如 (11×11 卷积，48，/4) 表示卷积核大小为 11×11，输出特征图个数为 48， 卷积时滑动步长为 4，没有写滑动步长表示默认 为 1，其他同理，后续网络中参数设置含义与此类似。 基于谷歌 Inception 结构思想设计的 16 层 4- Inception 网络如图 6 所示，模型中将两个 Inception 结构组合构成一个基本的结构单元，取名为 4-Inception(参见图 7)，这样可以方便网络结构呈 现。在 4-Inception 的卷积结构当中，卷积核大小 全部使用 1×1、3×3、5×5，参数设计思想是随着深 度的增加，提取出的特征越来越抽象，每个特征 所涉及的感受野 (receptive field) 越来越大。故网 络越到后面，3×3、5×5 卷积核比例相应增加，但卷 积核的增加会带来巨大的训练参数和计算量，因 此在进行卷积之前先进行 1×1 卷积降低特征图 (通道) 个数。为了克服连接器拼接特征图维度对 齐问题，1×1、3×3、5×5 卷积时要分别设定填充大 小为 0、1、2，则卷积后的尺寸保持不变，更易对 齐。采用此结构设计的 16 层深度卷积网络，由 于 4-Inception 基本结构单元比较复杂，需要利用 多尺度的训练方法对其进行训练，从而提高网络 训练收敛速度。图 7 中 3 个 4-Inception 结构参数 详细设置见表 2。 图像 LRN 3×3 最大值池化,/2 5×5 卷积, 128 LRN 3×3 最大值池化,/2 3×3 卷积, 192 3×3 卷积, 192 3×3 卷积, 128 3×3 最大值池化,/2 全连接层 512 神经元 全连接层 512 神经元 全连接层 29 神经元 11×11 卷积, 48,/4 输出 ReLU ReLU ReLU ReLU ReLU ReLU/Dropout ReLU/Dropout Softmax 图 5 识别贴片电阻的 8 层经典卷积网络结构，可训练 参数为 4.07×106 Fig. 5 The 8-layer classical convolution network structure of identify the chip resistors with a training parameter of 4.07×106 第 2 期 谌贵辉，等：卷积神经网络的贴片电阻识别应用 ·267·
·268· 智能系统学报 第14卷 图像 式，虽然能够很好地训练出网络模型，但同样深 [7×7卷积，642 度的残差网络结构，直接采用端到端的训练方 ReLU 式，即可使网络快速收敛并取得很好的训练结 3×3最天值池化，2 果。从图9中很容易看出，梯度在反向传播的时 LRN 候，求和后的函数的导数为 1×1卷积，64 a(f(x)+x)af(x) 1 (5) ReLU Ox 0x 3×3卷积，192 ReLU 表24-Inception详细参数设置 LRN Table 2 4-Inception detailed parameter settings 3×3最大值池化.2 Inception-4/1 上半参数 下半参数 4--Inception☐多尺度训练输出 1×1卷积 64 128 Softmax 3×3最大值池化2 1×1卷积 96 128 3×3卷积 128 4-Inception☐ 192 多尺度训练输出 Softmax 1×1卷积 16 3×3最大值池化2 32 5×5卷积 32 96 4-Inception☐ 3×3池化 无 无 7×7均值池化 Dropout 1×1卷积 32 64 全连接层29神经元 Softmax Inception-4/2 上半参数 下半参数 输出 1×1卷积 192 160 图6识别贴片电阻的16层深度4-nception模型图，可 训练参数为3.8×10 1×1卷积 96 224 Fig.6 The 16-layer depth 4-Inception model of identify the 3×3卷积 208 224 chip resistors with a training parameter of 3.8x10 1×1卷积 16 24 先前层 5×5卷积 48 64 3×3池化 无 无 1×1卷积 1×1卷积 3×3最大值池化 1×1卷积 64 64 1×1卷积 ReLU ReLU ReLU 3×3卷积 5×5卷积 1×1卷积 Inception-4/3 上半参数 下半参数 ReLU ReLU ReLU ReLU 1×1卷积 256 384 连接器 1×1卷积 160 192 3×3卷积 320 384 1×1卷积 1×1卷积 3×3最大值池化 1×1卷积 ReLU 1×1卷积 ReLU ReLU 32 48 ReLU 3×3卷积 5×5卷积 1×1卷积 5×5卷积 128 128 ReLU ReLU ReLU 3×3池化 无 无 连接器 1×1卷积 128 128 图7谷歌Inception卷积结构(4-Inception) 导数为1不会对梯度有任何的衰减，且直接 Fig.7 Google Inception convolution structure(4-Inception) 跨越多个卷积层进行反向传播，和多尺度进行训 基于残差思想设计的16层4-ResNet网络如 练的方法有着异曲同工之妙，这就是残差网络能 图8所示，图中4-ResNet详细结构如图9所示，该 够快速收敛并取得良好训练结果的原因。图9中 结构的主要思想是为了加深网络结构，克服梯度 输入引出的1×1卷积可以使得第一次求和的特征 反向传播过程中梯度消失问题。对比本文16层 图维度相同，残差结构的本质精髓就在于图9中 深度4-Inception结构需要采用多尺度训练的方 所示的圆弧线，其能同时跨越多个（不一定是两个）
基于残差思想设计的 16 层 4-ResNet 网络如 图 8 所示，图中 4-ResNet 详细结构如图 9 所示，该 结构的主要思想是为了加深网络结构，克服梯度 反向传播过程中梯度消失问题。对比本文 16 层 深度 4-Inception 结构需要采用多尺度训练的方 式，虽然能够很好地训练出网络模型，但同样深 度的残差网络结构，直接采用端到端的训练方 式，即可使网络快速收敛并取得很好的训练结 果。从图 9 中很容易看出，梯度在反向传播的时 候，求和后的函数的导数为 ∂(f(x)+ x) ∂x = ∂ f(x) ∂x +1 (5) 导数为 1 不会对梯度有任何的衰减，且直接 跨越多个卷积层进行反向传播，和多尺度进行训 练的方法有着异曲同工之妙，这就是残差网络能 够快速收敛并取得良好训练结果的原因。图 9 中 输入引出的 1×1 卷积可以使得第一次求和的特征 图维度相同，残差结构的本质精髓就在于图 9 中 所示的圆弧线，其能同时跨越多个 (不一定是两个) 表 2 4-Inception 详细参数设置 Table 2 4-Inception detailed parameter settings Inception-4/1 上半参数 下半参数 1×1 卷积 64 128 1×1 卷积 96 128 3×3 卷积 128 192 1×1 卷积 16 32 5×5 卷积 32 96 3×3 池化 无 无 1×1 卷积 32 64 Inception-4/2 上半参数 下半参数 1×1 卷积 192 160 1×1 卷积 96 224 3×3 卷积 208 224 1×1 卷积 16 24 5×5 卷积 48 64 3×3 池化 无 无 1×1 卷积 64 64 Inception-4/3 上半参数 下半参数 1×1 卷积 256 384 1×1 卷积 160 192 3×3 卷积 320 384 1×1 卷积 32 48 5×5 卷积 128 128 3×3 池化 无 无 1×1 卷积 128 128 1×1 卷积 1×1 卷积 3×3 卷积 1×1 卷积 5×5 卷积 3×3 最大值池化 1×1 卷积 先前层 连接器 1×1 卷积 1×1 卷积 3×3 卷积 1×1 卷积 5×5 卷积 3×3 最大值池化 1×1 卷积 连接器 ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU ReLU 图 7 谷歌 Inception 卷积结构 (4-Inception) Fig. 7 Google Inception convolution structure (4-Inception) 图像 7×7 卷积, 64,/2 1×1 卷积, 64 3×3 卷积,192 3×3 最大值池化,/2 LRN LRN 4-Inception 4-Inception 4-Inception 7×7 均值池化 3×3 最大值池化,/2 全连接层 29 神经元 输出 多尺度训练输出 多尺度训练输出 3×3 最大值池化,/2 3×3 最大值池化,/2 ReLU ReLU ReLU Dropout Softmax Softmax Softmax 图 6 识别贴片电阻的 16 层深度 4-Inception 模型图，可 训练参数为 3.8×106 Fig. 6 The 16-layer depth 4-Inception model of identify the chip resistors with a training parameter of 3.8×106 ·268· 智 能 系 统 学 报 第 14 卷
第2期 湛贵辉，等：卷积神经网络的贴片电阻识别应用 ·269· 卷积层。从图8中可以详细的看出模型的参数设 (8) 置，4-ResNet结构中的卷积核参数全部设置成148。 图像 总的识别错误数为 [7×7卷积642 (9) ReLU 3×3最大值池化，2 因此，总的贴片电阻识别准确率为 LRN ace all-()00 (10) 1×1卷积，64 任意贴片电阻类别的总识别错误率为 ReLU eral=号×100% (11) 3×3卷积，128 ReLU 任意贴片电阻类别的识别准确率为 LRN (12) 3×3最大值池化，2 4-ResNet 输 人 3×3卷积 4-ResNet/2 ReLU/BN 1×1卷积 3×3卷积 BN 4-ResNet/2 BN 7×7均值池化☐ (求和 xReLU 全连接层29神经元 3×3卷积 Softmax 7输出 ReLU/BN 3×3卷积 图8识别贴片电阻的16层深度4-ResNet模型，可训练 BN 参数为4.0×109 求和) Fig.8 The 16-layer depth 4-ResNet model of identify the F(x)tx TReLU chip resistors with a training parameter of 4.0x10 图9残差网络结构，取名4 ResNet 3种模型的输出神经元均被设置成29，这是 Fig.9 Residual network structure,named 4-ResNet 由实验数据集包含29个类别所导致的，训练时均 4.2实验过程 采用随机梯度下降法进行训练，选择Softmax回 在贴片电阻姿态固定而位置随机情况下，设 归模型对网络进行优化，权值更新公式为 计的3种卷积神经网络模型对贴片电阻进行识别 aLl +1=0.9X%-0.0005×ε×%，-8× 的准确率分析，实际中贴片电阻会被限制在一个 (6) 导轨上进行运动，所拍摄的贴片电阻位置并不会 W+1=w:+V+l 都严格居于图像正中间，因此对贴片电阻随机位 式中：i是迭代次数；v是运动常量；e是学习率； 置的识别是与实际情况更加吻合的。 (偿)是损失西数相对于，的横导在第改步长 为了模拟贴片电阻在图像中位置随机的情 输入数据D,上的平均。 况，每次迭代训练都进行随机截取256像素×256 像素大小图片输入网络进行训练。原始数据集中 4实验及讨论 每张图片为320像素×320像素大小是事先设计好 的，这样总可以保证每次随机截取的256像素×256 4.1贴片电阻识别指标定义 像素大小图片完全将贴片电阻信息包含在图像中。 假设贴片电阻存在m个类别，每种类别训练 整个实验过程基于Caffe深度学习框架，计 样本数为n1,n2,…,nm,测试样本数为t,2,…,tm,识 算GPU显卡为GeForce GTX10606GB。执行训 别错误数为e1,e2,…,em,则易得总的训练样本数为 练时，训练步长(batch)为32张图片，迭代4次输 (7) 出一次训练损失值，每训练20次执行一次准确率 测试。测试步长(batch)为l6张图片，测试迭代 总的测试样本数为 次数为10次。网络训练动量因子为0.9，初始学
卷积层。从图 8 中可以详细的看出模型的参数设 置，4-ResNet 结构中的卷积核参数全部设置成 148。 图像 7×7 卷积, 64,/2 1×1 卷积, 64 3×3 卷积, 128 3×3 最大值池化,/2 LRN LRN 4-ResNet 4-ResNet,/2 4-ResNet,/2 7×7 均值池化 3×3 最大值池化,/2 全连接层 29 神经元 输出 ReLU ReLU ReLU Softmax 图 8 识别贴片电阻的 16 层深度 4-ResNet 模型，可训练 参数为 4.0×106 Fig. 8 The 16-layer depth 4-ResNet model of identify the chip resistors with a training parameter of 4.0×106 3 种模型的输出神经元均被设置成 29，这是 由实验数据集包含 29 个类别所导致的，训练时均 采用随机梯度下降法进行训练，选择 Softmax 回 归模型对网络进行优化，权值更新公式为 vi+1 = 0.9×vi −0.000 5×ε×wi −ε× ⟨ ∂L ∂w wi ⟩ Di wi+1 = wi +vi+1 (6) i v ε ⟨ ∂L ∂w wi ⟩ Di w i Di 式中： 是迭代次数； 是运动常量； 是学习率； 是损失函数相对于 的偏导在第 次步长 输入数据 上的平均。 4 实验及讨论 4.1 贴片电阻识别指标定义 m n1,n2,··· ,nm t1,t2,··· ,tm e1, e2,··· , em 假设贴片电阻存在 个类别，每种类别训练 样本数为 ，测试样本数为 ，识 别错误数为 ，则易得总的训练样本数为 N = ∑m i=1 ni (7) 总的测试样本数为 T = ∑m i=1 ti (8) 总的识别错误数为 E = ∑m i=1 ei (9) 因此，总的贴片电阻识别准确率为 acc_all = ( 1− E T ) ×100% (10) 任意贴片电阻类别 的总识别错误率为 err_all = ei T ×100% (11) 任意贴片电阻类别 i 的识别准确率为 acc_i = ( 1− ei ti ) ×100% (12) 求和 3×3 卷积 3×3 卷积 1×1 卷积 3×3 卷积 3×3 卷积 求和 输 入 ReLU/BN BN BN ReLU ReLU/BN BN F(x)+x ReLU x 图 9 残差网络结构，取名 4-ResNet Fig. 9 Residual network structure, named 4-ResNet 4.2 实验过程 在贴片电阻姿态固定而位置随机情况下，设 计的 3 种卷积神经网络模型对贴片电阻进行识别 的准确率分析，实际中贴片电阻会被限制在一个 导轨上进行运动，所拍摄的贴片电阻位置并不会 都严格居于图像正中间，因此对贴片电阻随机位 置的识别是与实际情况更加吻合的。 为了模拟贴片电阻在图像中位置随机的情 况，每次迭代训练都进行随机截取 256 像素×256 像素大小图片输入网络进行训练。原始数据集中 每张图片为 320 像素×320 像素大小是事先设计好 的，这样总可以保证每次随机截取的 256 像素×256 像素大小图片完全将贴片电阻信息包含在图像中。 整个实验过程基于 Caffe 深度学习框架，计 算 GPU 显卡为 GeForce GTX 1060 6 GB。执行训 练时，训练步长 (batch) 为 32 张图片，迭代 4 次输 出一次训练损失值，每训练 20 次执行一次准确率 测试。测试步长 (batch) 为 16 张图片，测试迭代 次数为 10 次。网络训练动量因子为 0.9，初始学 第 2 期 谌贵辉，等：卷积神经网络的贴片电阻识别应用 ·269·
·270· 智能系统学报 第14卷 习率为0.01，权重衰减因子为0.0005，学习率更新 3种模型性能详细对比如表3所示，识别时 策略为默认方法。总的训练次数为7200次，即 间最快的是8层深度卷积网络，低至0.203秒/张 训练周期约为240个(epoch)。 (256×256像素/C0REI5),识别准确率最高的是 4.3实验结果分析 16层4-Inception网络，识别准确率达95%，残差 3种模型的训练结果分别如图10~11所示，可 网络性能折中。 以看出，由于贴片电阻位置的随机性，识别准确 表33种模型识别时间及准确率对比 Table 3 Comparison of 3 model identification times and 率最高的为l6层4-Inception网络，识别准确率达 accuracy 到95%，这说明层数更深的4-Inception网络更加 测试图片 8层深度 16层4- 16层4- 擅长处理复杂情况下的图像识别，特征解耦更 大小平台 卷积网络Inception网络ResNet网络 好，更适合贴片电阻识别分类任务。残差网络是 256像素×256像 收敛最快的网络结构，但其测试损失波动非常大 0.203秒/张0.556秒/张0.337秒/张 素/COREI5 并在迭代2500次后趋于平稳，继续训练则是过 总识别准确率% 90.63 ap 93.75 拟合训练，因此实验时训练迭代次数未到7200 次则将其停止。 3种模型的泛化识别错误率分布如图12~13 所示，可以看出，标签1~13主要属于缺陷类别识 5.0 别，是识别错误率的主要来源。标签14~29主要 训练损失 测试损失 识别正反面、方向和种类，3种模型均取得了非常 5 测试准确率 3.0 理想的识别效果。图13(a)中的16层4-Incep- tion模型，其仅在缺陷识别上存在一定的错误率， 1.5 在种类、正反面和方向识别上取得了100%的识 1 0.90625 别准确率。 05 ×10 综上所述，当贴片电阻在图像中位置随机时， 345 67 8 迭代次数 基于AlexNet思想“瘦身”后的8层深度卷积神经 网络识别时间最短，l6层4-Inception网络准确性 图10贴片电阻位置随机8层深度卷积模型训练结果 更加突出，进一步提高识别准确率可适当增加缺 Fig.10 Chip resistor position random 8-layer depth convolution model training results 陷样本的数量。 50 2.5 4.5 训练损失 4.0 测试损失 2.0 测试准确率 1.5 25 1.5 0,95 0.5 0.5 2 4.5 x10 6 7 8 0 10 20 迭代次数 29种类别贴片电阻标签编号 (a)贴片电阻位置随机l6层4-Inception网络 图128层深度卷积网络总识别错误率分布 5.0 Fig.12 Total error rate distribution of 8-layer deep 训练损失 0 convolutional networks 3.5 测试损失 2.5 3 测试准确率 2.5 2.0 0.9375 1.5 1.0 5*10 1.0 0 4 迭代次数 05 (b)贴片电阻位置随机16层4-ResNet网络 0 10 152025 图11网络训练结果 29种类别贴片电阻标签编号 Fig.11 Network training results (a)l6层深度4-Inception网络
习率为 0.01，权重衰减因子为 0.000 5，学习率更新 策略为默认方法。总的训练次数为 7 200 次，即 训练周期约为 240 个 (epoch)。 4.3 实验结果分析 3 种模型的训练结果分别如图 10~11 所示，可 以看出，由于贴片电阻位置的随机性，识别准确 率最高的为 16 层 4-Inception 网络，识别准确率达 到 95%，这说明层数更深的 4-Inception 网络更加 擅长处理复杂情况下的图像识别，特征解耦更 好，更适合贴片电阻识别分类任务。残差网络是 收敛最快的网络结构，但其测试损失波动非常大 并在迭代 2 500 次后趋于平稳，继续训练则是过 拟合训练，因此实验时训练迭代次数未到 7 200 次则将其停止。 0 1 2 3 4 5 6 7 8 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 0.906 25 迭代次数 损失值、准确率 训练损失 测试损失 测试准确率 ×103 图 10 贴片电阻位置随机 8 层深度卷积模型训练结果 Fig. 10 Chip resistor position random 8-layer depth convolution model training results 3 种模型性能详细对比如表 3 所示，识别时 间最快的是 8 层深度卷积网络，低至 0.203 秒/张 (256×256 像素/COREI5)，识别准确率最高的是 16 层 4-Inception 网络，识别准确率达 95%，残差 网络性能折中。 3 种模型的泛化识别错误率分布如图 12~13 所示，可以看出，标签 1~13 主要属于缺陷类别识 别，是识别错误率的主要来源。标签 14~29 主要 识别正反面、方向和种类，3 种模型均取得了非常 理想的识别效果。图 13(a) 中的 16 层 4-Inception 模型，其仅在缺陷识别上存在一定的错误率， 在种类、正反面和方向识别上取得了 100% 的识 别准确率。 综上所述，当贴片电阻在图像中位置随机时， 基于 AlexNet 思想“瘦身”后的 8 层深度卷积神经 网络识别时间最短，16 层 4-Inception 网络准确性 更加突出，进一步提高识别准确率可适当增加缺 陷样本的数量。 0 5 10 15 20 25 30 0.5 1.0 1.5 2.0 2.5 29 种类别贴片电阻标签编号 总识别错误率分布 (e/T)/% 图 12 8 层深度卷积网络总识别错误率分布 Fig. 12 Total error rate distribution of 8-layer deep convolutional networks 表 3 3 种模型识别时间及准确率对比 Table 3 Comparison of 3 model identification times and accuracy 测试图片 大小/平台 8 层深度 卷积网络 16 层 4- Inception 网络 16 层 4- ResNet 网络 256 像素×256 像 素/COREI5 0.203 秒/张 0.556 秒/张 0.337 秒/张 总识别准确率/% 90.63 95 93.75 0 1 2 3 4 5 6 8 7 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 迭代次数 损失值、准确率 训练损失 测试损失 测试准确率 0.95 ×103 ×103 0 1 2 3 4 5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 迭代次数 损失值、准确率 训练损失 测试损失 测试准确率 0.937 5 (a) 贴片电阻位置随机 16 层 4-Inception 网络 (b) 贴片电阻位置随机 16 层 4-ResNet 网络 图 11 网络训练结果 Fig. 11 Network training results 0 5 10 15 20 25 30 0.5 1.0 1.5 2.0 2.5 29 种类别贴片电阻标签编号 总识别错误率分布 (e/T)/% (a) 16 层深度 4-Inception 网络 ·270· 智 能 系 统 学 报 第 14 卷
第2期 湛贵辉，等：卷积神经网络的贴片电阻识别应用 ·271· 2.5 [6]DUCOTTET C,FOURNEL T,BARAT C.Scale-adaptive 2.0 detection and local characterization of edges based on wavelet transform[J].Signal processing,2004,84(11):2115-2137. 1.5 [7]SMITH S M,BRADY J M.SUSAN-a new approach to 0 low level image processing[J].International journal of computer vision,1997.23(1):45-78. 0.5 [8]CORTES C,VAPNIK V.Support-vector networks[J].Ma- chine learning.1995,20(3):273-297. 10 15 20. 25 30 29种类别贴片电阻标签编号 [9]GUO H.GELFAND S B.Classification trees with neural (b)16层深度4-ResNet网络 network feature extraction[J.IEEE transactions on neural networks.1992.3(6):923-33. 图13网络总识别错误分布 [10]GOLDSZMIDT M.Bayesian network classifiers[J].Ma- Fig.13 Networks total error rate distribution chine learning.2011.29(2/3):598-605 5结束语 [11]焦李成，杨淑媛，刘芳，等.神经网络七十年：回顾与展 望U.计算机学报，2016,39(8)：1697-1717 本文基于AlexNet模型、GoogLeNet模型、 JIAO Licheng,YANG Shuyuan,LIU Fang,et al.Seventy ResNet模型思想设计了3种卷积神经网络模型， years beyond neural networks:retrospect and prospect[J]. 用于解决实际工业生产中贴片电阻识别问题，包 Chinese journal of computers,2016,39(8):1697-1717. 括缺陷识别、方向识别、正反面识别和种类识 [12]HINTON G E,SALAKHUTDINOV RR.Reducing the 别。实验表明，设计的3种卷积神经网络模型中， dimensionality of data with neural networks[J].Science, 基于AlexNet模型思想“瘦身”后的卷积神经网络 2006,313(5786):504-507. 识别时间最短，识别时间低至0.203秒/张(256× [13]ERHAN D.MANZAGOL P A,BENGIO Y,et al.The 256像素，CORE I5),16层4-Inception网络准确性 difficulty of training deep architectures and the effect of 更加突出，总识别准确率达95%；16层4-ResNet unsupervised pre-training[C]//Appearing in Proceedings 网络性能折中，克服了当前主流卷积模型由于可 of the 12th International Conference on Artificial Intelli- 训练参数过多、模型层数太深导致在贴片电阻识 gence and Statistics.Florida.USA.2009:153-160 别应用中识别速度不能满足实时性要求、泛化识 [14]LECUN Y.BENGIO Y.Convolutional networks for im 别准确率低的问题。上述3种卷积模型可根据具 ages,speech,and time series[M]//ARBIB M A.The 体实际需求进行选用，有望解决工业界贴片电阻 Handbook of Brain Theory and Neural Networks.Cam- 分类依靠人工方式的难题。 bridge,MA,USA:MIT Press,1998 [15]KRIZHEVSKY A,SUTSKEVER I,HINTON G E.Im- 参考文献： agenet classification with deep convolutional neural net- works[C]//International Conference on Neural Informa- [1]GIUNCHIGLIA F.YATSKEVICH M.Element level se- tion Processing Systems.Montreal,Canada,2012: mantic matching.Technical Report DIT-04-035[R]. 1097-1105. Trento,Italy:Information Engineering and Computer Sci- [16]SZEGEDY C,LIU Wei,JIA Yangqing,et al.Going deep- ence,2004. er with convolutions[Cl//Proceedings of 2015 IEEE Con- [2]OMACHI M,OMACHI S.Fast two-dimensional template ference on Computer Vision and Pattern Recognition.Bo- matching with fixed aspect ratio based on polynomial ap- ston.MA.USA.2014:1-9. proximation[C]//Proceedings of the 9th International Con- ference on Signal Processing.Beijing,China,2008:757-760. [17]SZEGEDY C,IOFFE S,VANHOUCKE V,et al.Incep- [3]JOLLIFFE I T.Principal component analysis[M].New tion-v4,inception-resnet and the impact of residual con- York,USA:Springer-Verlag,1986. nections on learning[J].arXiv:1602.07261,2016. [4]ZHANG Xingfu,REN Xiangmin.Two dimensional prin- [18]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al. cipal component analysis based independent component Deep residual learning for image recognition[C]//Proceed- analysis for face recognition[C]//Proceedings of 2011 In- ings of 2016 IEEE Conference on Computer Vision and ternational Conference on Multimedia Technology.Hang- Pattern Recognition.Las Vegas,NV,USA,2016:770-778. zhou,China,2011:934-936. [19]IOFFE S,SZEGEDY C.Batch normalization:accelerat- [5]PELLEGRINO F A,VANZELLA W,TORRE V.Edge de- ing deep network training by reducing internal covariate tection revisited[J].IEEE transactions on systems,man, shift[C]//Proceedings of the 32nd International Confer- and cybernetics,part b(cybernetics),2004,34(3):1500-1518. ence on Machine Learning.Lille,France,2015:448-456
5 结束语 本文基于 AlexNet 模型、GoogLeNet 模型、 ResNet 模型思想设计了 3 种卷积神经网络模型， 用于解决实际工业生产中贴片电阻识别问题，包 括缺陷识别、方向识别、正反面识别和种类识 别。实验表明，设计的 3 种卷积神经网络模型中， 基于 AlexNet 模型思想“瘦身”后的卷积神经网络 识别时间最短，识别时间低至 0.203 秒/张 (256× 256 像素，CORE I5)，16 层 4-Inception 网络准确性 更加突出，总识别准确率达 95%；16 层 4-ResNet 网络性能折中，克服了当前主流卷积模型由于可 训练参数过多、模型层数太深导致在贴片电阻识 别应用中识别速度不能满足实时性要求、泛化识 别准确率低的问题。上述 3 种卷积模型可根据具 体实际需求进行选用，有望解决工业界贴片电阻 分类依靠人工方式的难题。 参考文献： GIUNCHIGLIA F, YATSKEVICH M. Element level semantic matching. Technical Report DIT-04-035[R]. Trento, Italy: Information Engineering and Computer Science, 2004. [1] OMACHI M, OMACHI S. Fast two-dimensional template matching with fixed aspect ratio based on polynomial approximation[C]//Proceedings of the 9th International Conference on Signal Processing. Beijing, China, 2008: 757–760. [2] JOLLIFFE I T. Principal component analysis[M]. New York, USA: Springer-Verlag, 1986. [3] ZHANG Xingfu, REN Xiangmin. Two dimensional principal component analysis based independent component analysis for face recognition[C]//Proceedings of 2011 International Conference on Multimedia Technology. Hangzhou, China, 2011: 934–936. [4] PELLEGRINO F A, VANZELLA W, TORRE V. Edge detection revisited[J]. IEEE transactions on systems, man, and cybernetics, part b (cybernetics), 2004, 34(3): 1500–1518. [5] DUCOTTET C, FOURNEL T, BARAT C. Scale-adaptive detection and local characterization of edges based on wavelet transform[J]. Signal processing, 2004, 84(11): 2115–2137. [6] SMITH S M, BRADY J M. SUSAN-a new approach to low level image processing[J]. International journal of computer vision, 1997, 23(1): 45–78. [7] CORTES C, VAPNIK V. Support-vector networks[J]. Machine learning, 1995, 20(3): 273–297. [8] GUO H, GELFAND S B. Classification trees with neural network feature extraction[J]. IEEE transactions on neural networks, 1992, 3(6): 923–33. [9] GOLDSZMIDT M. Bayesian network classifiers[J]. Machine learning, 2011, 29(2/3): 598–605. [10] 焦李成, 杨淑媛, 刘芳, 等. 神经网络七十年: 回顾与展 望[J]. 计算机学报, 2016, 39(8): 1697–1717. JIAO Licheng, YANG Shuyuan, LIU Fang, et al. Seventy years beyond neural networks: retrospect and prospect[J]. Chinese journal of computers, 2016, 39(8): 1697–1717. [11] HINTON G E, SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science, 2006, 313(5786): 504–507. [12] ERHAN D, MANZAGOL P A, BENGIO Y, et al. The difficulty of training deep architectures and the effect of unsupervised pre-training[C]//Appearing in Proceedings of the 12th International Conference on Artificial Intelligence and Statistics. Florida, USA, 2009: 153–160. [13] LECUN Y, BENGIO Y. Convolutional networks for images, speech, and time series[M]//ARBIB M A. The Handbook of Brain Theory and Neural Networks. Cambridge, MA, USA: MIT Press, 1998. [14] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//International Conference on Neural Information Processing Systems. Montreal, Canada, 2012: 1097–1105. [15] SZEGEDY C, LIU Wei, JIA Yangqing, et al. Going deeper with convolutions[C]//Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston, MA, USA, 2014: 1–9. [16] SZEGEDY C, IOFFE S, VANHOUCKE V, et al. Inception-v4, inception-resnet and the impact of residual connections on learning[J]. arXiv: 1602.07261, 2016. [17] HE Kaiming, ZHANG Xiangyu, REN Shaoqing, et al. Deep residual learning for image recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA, 2016: 770–778. [18] IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 448–456. [19] 0 5 10 15 20 25 30 0.5 1.0 1.5 2.0 2.5 29 种类别贴片电阻标签编号 总识别错误率分布 (e/T)/% (b) 16 层深度 4-ResNet 网络 图 13 网络总识别错误分布 Fig. 13 Networks total error rate distribution 第 2 期 谌贵辉，等：卷积神经网络的贴片电阻识别应用 ·271·
·272· 智能系统学报 第14卷 [20]GLOROT X,BORDES A,BENGIO Y.Deep sparse recti- 何龙，男，1991年生，硕士研究 生，主要研究方向为智能控制、模式 fier neural networks[C]//Proceedings of the 14th Interna- 识别。 tional Conference on Artificial Intelligence and Statistics. Fort Lauderdale,FL,USA,2011:315-323. 作者简介： 湛贵辉，男，1971年生，教授，主 李忠兵，男，1987年生，博士，主 要研究方向为MEMS集成器件及传 要研究方向为图像处理、精密仪器及 感器、智能仪表、计算机仿真及模拟技 现代信号处理。 术及图像处理及模式识别技术。 第15届中国智能系统会议(CISC2019) 征文通知 中国智能系统会议是由中国人工智能学会智能空天系统专业委员会发起的系列学术会议，其宗旨是为 本领域的专家学者、研究生以及工程技术人员提供一个学术交流的平台，以推动我国智能系统相关理论、技 术与应用的发展。第15届中国智能系统会议(CISC2019)将于2019年10月26一27日在海南省海口市召开。 本次会议由中国人工智能学会主办，中国人工智能学会智能空天系统专业委员会协办，海南大学与北京 航空航天大学联合承办。会议论文集将由Springer出版社在Lecture Notes in Electrical Engineering系列正式 出版，E收录。热忱欢迎海内外广大同仁踊跃投稿并出席本届会议，交流学术成果。 投稿要求： 1.论文未曾在国内外杂志或会议上发表； 2.稿件写作必须使用英文，并严格按照模板要求进行排版： 3.所有论文采用网上投稿，投稿系统网址为https://easychair.org/conferences/?conf=cisc20l91 如有疑问请邮件咨询cisc2019@126.com 论文模板： 会议提供LaTeX和Microsoft Word模（分别见附件2和附件3）。我们强烈建议您的论文使用会议模板进 行编排。您也可以不使用这些模板，但必须严格按照模板中的规范编排您的论文。如果您使用MS Word 2007及以上版本编排论文，请使用MS Word2003兼容格式。 重要日期： 论文投稿截止日期：2019年4月30日。 论文录用通知日期：2019年6月20日。 会议注册/终稿提交截止日期：2019年7月10日
GLOROT X, BORDES A, BENGIO Y. Deep sparse rectifier neural networks[C]//Proceedings of the 14th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale, FL, USA, 2011: 315–323. [20] 作者简介： 谌贵辉，男，1971 年生，教授，主 要研究方向为 MEMS 集成器件及传 感器、智能仪表、计算机仿真及模拟技 术及图像处理及模式识别技术。 何龙，男，1991 年生，硕士研究 生，主要研究方向为智能控制、模式 识别。 李忠兵，男，1987 年生，博士，主 要研究方向为图像处理、精密仪器及 现代信号处理。 第 15 届中国智能系统会议 (CISC2019) 征文通知 中国智能系统会议是由中国人工智能学会智能空天系统专业委员会发起的系列学术会议，其宗旨是为 本领域的专家学者、研究生以及工程技术人员提供一个学术交流的平台，以推动我国智能系统相关理论、技 术与应用的发展。第 15 届中国智能系统会议 (CISC2019) 将于 2019 年 10 月 26—27 日在海南省海口市召开。 本次会议由中国人工智能学会主办，中国人工智能学会智能空天系统专业委员会协办，海南大学与北京 航空航天大学联合承办。会议论文集将由 Springer 出版社在 Lecture Notes in Electrical Engineering 系列正式 出版，EI 收录。热忱欢迎海内外广大同仁踊跃投稿并出席本届会议，交流学术成果。 投稿要求： 1. 论文未曾在国内外杂志或会议上发表； 2. 稿件写作必须使用英文，并严格按照模板要求进行排版； 3. 所有论文采用网上投稿，投稿系统网址为 https://easychair.org/conferences/?conf=cisc20191 如有疑问请邮件咨询 cisc2019@126.com 论文模板： 会议提供 LaTeX 和 Microsoft Word 模 (分别见附件 2 和附件 3)。我们强烈建议您的论文使用会议模板进 行编排。您也可以不使用这些模板，但必须严格按照模板中的规范编排您的论文。如果您使用 MS Word 2007 及以上版本编排论文，请使用 MS Word 2003 兼容格式。 重要日期： 论文投稿截止日期：2019 年 4 月 30 日。 论文录用通知日期：2019 年 6 月 20 日。 会议注册/ 终稿提交截止日期：2019 年 7 月 10 日。 ·272· 智 能 系 统 学 报 第 14 卷