第15卷第6期 智能系统学报 Vol.15 No.6 2020年11月 CAAI Transactions on Intelligent Systems Nov.2020 D0L:10.11992tis.202007022 PSdropout卷积神经网络在危化品巡检车中的应用 沙芸，李齐飞，甘建旺，刘学君，隗立昂 (北京石油化工学院信息工程学院，北京102617) 摘要：危化品仓储环境复杂多变，基于卷积神经网络的视觉巡检车需要快速的训练方法以便适用不同的 环境，提高卷积神经网络的训练速度是当前亟待解决的问题。迅速在网络中提取有效的神经元，是提高算法训 练速度的关键。传统的算法中，全链接层神经元的去留问题通常采用基于伯努力分布假设的Dropout方法，本 文提出一种基于泊松分布的Dropout方法。理论上看，在充分利用神经元历史行为的基础上，基于泊松分布与 基于伯努力分布的最大似然函数类似。实验结果表明，在保持正确率的情况下，训练提前收敛，节约了训练 时间。 关键词：危化品仓储：巡检车；卷积神经网络；神经元筛选；泊松分布；子网络；全链接层；网络架构 中图分类号：TP391.4;TQ086.5文献标志码：A文章编号：1673-4785(2020)06-1131-09 中文引用格式：沙芸，李齐飞，甘建旺，等.PSdropout卷积神经网络在危化品巡检车中的应用小.智能系统学报，2020,15(6)： 1131-1139. 英文引用格式：SHA Yun,LI Qifei,GAN Jianwang,etal.Application of PSdropout convolutional neural network in inspection car for hazardous chemicals[J].CAAI transactions on intelligent systems,2020,15(6):1131-1139. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals SHA Yun,LI Qifei,GAN Jianwang,LIU Xuejun,WEI Li'ang (School of Information Engineering,Beijing Institute of Petrochemical Technology,Beijing 102617,China) Abstract:The storage environment of hazardous chemicals is complex and changeable.To adapt to different environ- ments,visual-inspection vehicles based on convolutional neural networks require fast training methods,but the problem of improving the training speed of convolutional neural networks remains to be solved.To improve the training speed of the algorithm,effective neural cell in network must be extracted from the network more quickly.In the traditional al- gorithm,the removal of neurons from the fully connected layer is typically performed using the dropout method,which is based on the Bernoulli distribution hypothesis.In this paper,we propose a dropout method based on the Poisson dis- tribution.Theoretically,by making full use of the historical behavior of neurons,the maximum likelihood function based on the Poisson distribution is similar to that based on the Bernoulli distribution.The experimental results show that while maintaining the correct rate,the training can be converged in advance,thereby saving the training time. Keywords:storage of hazardous chemicals;inspection vehicle;convolutional neural network;dropout;Poisson distribu- tion;subnetwork;full link layer,network architecture 危化品仓库中存储物通常是易燃、易爆、腐 储环境，前人主要从危险化学品堆垛安全距 蚀性强的危险化学品。危化品存储时，有些种类 离1、堆垛位置布局优化方面来解决问题，这 严禁混存，可以混存的有严格距离要求，违反这 些方法大部分是布置静态摄像头计算距离，但是 些规定会引发重大的安全事故，危化品的存储安 存在镜头遮挡和计算偏差等问题。将卷积神经网 全是当前亟待解决的问题。针对复杂的危化品仓 络应用于危化品仓储巡检车视觉中，利用自动巡 检车对仓库进行自动巡检，并实时给出反馈是当 收稿日期：2020-07-12. 基金项目：国家重点研发计划项目子项目(2016YFC0801500), 前研究的热点。实际危化品仓库中光线不清、危 通信作者：沙芸.E-mail:shayun@bipt.edu.cn. 化品货物压线、危化品场景多变、仓库巡检路线
DOI: 10.11992/tis.202007022 PSdropout 卷积神经网络在危化品巡检车中的应用 沙芸，李齐飞，甘建旺，刘学君，隗立昂 （北京石油化工学院 信息工程学院，北京 102617） 摘 要 ：危化品仓储环境复杂多变，基于卷积神经网络的视觉巡检车需要快速的训练方法以便适用不同的 环境，提高卷积神经网络的训练速度是当前亟待解决的问题。迅速在网络中提取有效的神经元，是提高算法训 练速度的关键。传统的算法中，全链接层神经元的去留问题通常采用基于伯努力分布假设的 Dropout 方法，本 文提出一种基于泊松分布的 Dropout 方法。理论上看，在充分利用神经元历史行为的基础上，基于泊松分布与 基于伯努力分布的最大似然函数类似。实验结果表明，在保持正确率的情况下，训练提前收敛，节约了训练 时间。 关键词：危化品仓储；巡检车；卷积神经网络；神经元筛选；泊松分布；子网络；全链接层；网络架构 中图分类号：TP391.4；TQ086.5 文献标志码：A 文章编号：1673−4785(2020)06−1131−09 中文引用格式：沙芸, 李齐飞, 甘建旺, 等. PSdropout 卷积神经网络在危化品巡检车中的应用 [J]. 智能系统学报, 2020, 15(6): 1131–1139. 英文引用格式：SHA Yun, LI Qifei, GAN Jianwang, et al. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals[J]. CAAI transactions on intelligent systems, 2020, 15(6): 1131–1139. Application of PSdropout convolutional neural network in inspection car for hazardous chemicals SHA Yun，LI Qifei，GAN Jianwang，LIU Xuejun，WEI Li’ang (School of Information Engineering, Beijing Institute of Petrochemical Technology, Beijing 102617, China) Abstract: The storage environment of hazardous chemicals is complex and changeable. To adapt to different environments, visual-inspection vehicles based on convolutional neural networks require fast training methods, but the problem of improving the training speed of convolutional neural networks remains to be solved. To improve the training speed of the algorithm, effective neural cell in network must be extracted from the network more quickly. In the traditional algorithm, the removal of neurons from the fully connected layer is typically performed using the dropout method, which is based on the Bernoulli distribution hypothesis. In this paper, we propose a dropout method based on the Poisson distribution. Theoretically, by making full use of the historical behavior of neurons, the maximum likelihood function based on the Poisson distribution is similar to that based on the Bernoulli distribution. The experimental results show that while maintaining the correct rate, the training can be converged in advance, thereby saving the training time. Keywords: storage of hazardous chemicals; inspection vehicle; convolutional neural network; dropout; Poisson distribution; subnetwork; full link layer; network architecture 危化品仓库中存储物通常是易燃、易爆、腐 蚀性强的危险化学品。危化品存储时，有些种类 严禁混存，可以混存的有严格距离要求，违反这 些规定会引发重大的安全事故，危化品的存储安 全是当前亟待解决的问题。针对复杂的危化品仓 储环境，前人主要从危险化学品堆垛安全距 离 [1-4] 、堆垛位置布局[5] 优化方面来解决问题，这 些方法大部分是布置静态摄像头计算距离，但是 存在镜头遮挡和计算偏差等问题。将卷积神经网 络应用于危化品仓储巡检车视觉中，利用自动巡 检车对仓库进行自动巡检，并实时给出反馈是当 前研究的热点。实际危化品仓库中光线不清、危 化品货物压线、危化品场景多变、仓库巡检路线 收稿日期：2020−07−12. 基金项目：国家重点研发计划项目子项目 (2016YFC0801500). 通信作者：沙芸. E-mail：shayun@bipt.edu.cn. 第 15 卷第 6 期 智 能 系 统 学 报 Vol.15 No.6 2020 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2020
·1132· 智能系统学 报 第15卷 遮挡等都会造成巡检困难。当场景变化比较多的 能力的迁移。 时候，需要模型具有较强的适应能力。 1.2具体实现 目前卷积神经网络研究中，网络层数和神经 搭建网络架构，如图1所示，本文的参数设 元数目越来越多，模型对特征的刻画和表达能力 置经过多次在本样本上实验测试，综合考量loss 越来越强，测试准确率不断提高。但是随着参数 与准确率情况选定而来。 不断增多，模型复杂度迅速提升，计算复杂度越 来越高，计算时间越来越长。然而实际工业应用 输 特征图特征图 中，模型需要具备快速的训练方法，较强的适用 激励层 0☑-0 能力。卷积神经网络必须降低网络的训练时长和 特征图特征图 0☑0 计算复杂度才能得到实际的工业应用。因此，基 特征图 0☑0 0-☑-0 于卷积神经网络的危化品仓储巡检车的视觉模型 o m7o 应当在保持准确率的同时，具有规模小、训练速 0-☑-0 0-☑-0 度快的特点。 池化层 y池化卷积 在设计卷积神经网络时，需要保持特征提取 88 卷积层 层 层 全连接层 能力的同时减少参数数量，压缩、修剪网络框架 图1网络架构 是目前较常用降低计算复杂度的方法。Srinivas Fig.1 Network architecture 等提出了修剪神经元的方法，在神经元显著性 最低时删除两个相似神经元中的一个神经元，提 网络框架参数设置： 高了计算效率，简化了网络架构，但是神经元显 首先，将原始图片归一化为120×120×3大小 著性的量化难于界定。Han等在训练网络架构 的样本作为输入，采用步长为1具有32个5×5 时探索连接的重要性，修剪不重要的连接以减少 大小的卷积核的卷积层作为第1层。采用步长 连接的数量。在一定程度上，修剪连接可以简化 为2的池化层作为第2层。采用步长为1具有 网络架构，但是性能与修剪神经元相比还是差强 64个5×5大小的卷积核的卷积层作为第3层，采 人意的。Chen等s提出了HashedNets,使用一个 用步长为2的池化层作为第4层。后接入512个 哈希函数将权重随机分组到HashedNets中，一个 神经元的全链接层。每层卷积层和全链接层之后 HashedNets中的连接将共享相同的参数，参数共 紧接ReLu非线性激活函数21以提高网络性能， 享极大地简化了计算过程，加速网络训练速度， 保证提取到更有用的信息。利用Dropout方法抑 但是参数在共享计算时并非对网络架构中的所有 制过拟合现象。实验中，将训练好的模型进行测 神经元都是友好的。在文献[9]中，权值小于阈 试，将当前画面中人为控制的巡检车的行驶角度 值的连接将被视为不必要的连接并被删除，对权 和行驶速度是否相等作为测试评判标准，损失函 值进行量化，并对量化后的权值进行霍夫曼编 码，进一步压缩网络，精简网络框架，但是阈值的 数2为 设定需要一定的工作量。网络压缩01)、网络剪 La,=MsE=∑（化）-yX8f 枝W、Dropout-16的相关改进本质上都是精简网 i=I 以上的卷积神经网络模型在实验样本中取得 络架构，修剪神经元、修剪神经元之间的连接、 了较好的测试结果，但是仍存在训练过程中损失 Dropout神经元，使网络变得稀疏，简化计算过 下降及收敛缓慢、对其他危化品仓库场景样本适 程。同时，由于在一定程度上抑制提取的特征同 化现象，可以有效缓解过拟合的发生。 应性较低的问题。因此，本文对Dropout进行改 本文将卷积神经网络应用于危化品仓储巡检 进，提出基于泊松分布的Dropout方法。 车中，主要任务为实现巡检车自主巡检，为加快 2 PSdropout抽样算法 10ss收敛速度对传统卷积神经网络算法进行改 进，提出了一种基于泊松分布的Dropout方法。 根据观察，不频繁更新的神经元在后期的训 练中，最终会以较大的概率被关闭。如果尽早根 1相关工作 据网络中神经元节点的历史激活状态进行神经元 1.1卷积神经网络 取舍，理论上可以快速找到作用大的子网络，从 卷积神经网络9能够很好地利用图像的结 而提高网络的训练速度。 构信息，可以较完整地提取图像中的特征信息。 2.1理论分析及算法步骤 文献[20]研究表明，全链接层可以保证模型表示 无Dropout的传统卷积网络计算公式为
遮挡等都会造成巡检困难。当场景变化比较多的 时候，需要模型具有较强的适应能力。 目前卷积神经网络研究中，网络层数和神经 元数目越来越多，模型对特征的刻画和表达能力 越来越强，测试准确率不断提高。但是随着参数 不断增多，模型复杂度迅速提升，计算复杂度越 来越高，计算时间越来越长。然而实际工业应用 中，模型需要具备快速的训练方法，较强的适用 能力。卷积神经网络必须降低网络的训练时长和 计算复杂度才能得到实际的工业应用。因此，基 于卷积神经网络的危化品仓储巡检车的视觉模型 应当在保持准确率的同时，具有规模小、训练速 度快的特点。 在设计卷积神经网络时，需要保持特征提取 能力的同时减少参数数量，压缩、修剪网络框架 是目前较常用降低计算复杂度的方法。Srinivas 等 [6] 提出了修剪神经元的方法，在神经元显著性 最低时删除两个相似神经元中的一个神经元，提 高了计算效率，简化了网络架构，但是神经元显 著性的量化难于界定。Han 等 [7] 在训练网络架构 时探索连接的重要性，修剪不重要的连接以减少 连接的数量。在一定程度上，修剪连接可以简化 网络架构，但是性能与修剪神经元相比还是差强 人意的。Chen 等 [8] 提出了 HashedNets，使用一个 哈希函数将权重随机分组到 HashedNets 中，一个 HashedNets 中的连接将共享相同的参数，参数共 享极大地简化了计算过程，加速网络训练速度， 但是参数在共享计算时并非对网络架构中的所有 神经元都是友好的。在文献 [9] 中，权值小于阈 值的连接将被视为不必要的连接并被删除，对权 值进行量化，并对量化后的权值进行霍夫曼编 码，进一步压缩网络，精简网络框架，但是阈值的 设定需要一定的工作量。网络压缩[10-13] 、网络剪 枝 [14] 、Dropout[15-16] 的相关改进本质上都是精简网 络架构，修剪神经元、修剪神经元之间的连接、 Dropout 神经元，使网络变得稀疏，简化计算过 程。同时，由于在一定程度上抑制提取的特征同 化现象，可以有效缓解过拟合的发生。 本文将卷积神经网络应用于危化品仓储巡检 车中，主要任务为实现巡检车自主巡检，为加快 loss 收敛速度对传统卷积神经网络算法进行改 进，提出了一种基于泊松分布的 Dropout 方法。 1 相关工作 1.1 卷积神经网络 卷积神经网络[17-19] 能够很好地利用图像的结 构信息，可以较完整地提取图像中的特征信息。 文献 [20] 研究表明，全链接层可以保证模型表示 能力的迁移。 1.2 具体实现 搭建网络架构[21] ，如图 1 所示，本文的参数设 置经过多次在本样本上实验测试，综合考量 loss 与准确率情况选定而来。 输 入 层 特征图 特征图 特征图 特征图 激励层 特征图 激励层 全连接层 卷积 核 卷积层 池化 层 池化层 卷积 层 图 1 网络架构 Fig. 1 Network architecture 网络框架参数设置： 120×120 ×3 5×5 5×5 首先，将原始图片归一化为 大小 的样本作为输入，采用步长为 1 具有 32 个 大小的卷积核的卷积层作为第 1 层。采用步长 为 2 的池化层作为第 2 层。采用步长为 1 具有 64 个 大小的卷积核的卷积层作为第 3 层，采 用步长为 2 的池化层作为第 4 层。后接入 512 个 神经元的全链接层。每层卷积层和全链接层之后 紧接 ReLu 非线性激活函数[22] 以提高网络性能， 保证提取到更有用的信息。利用 Dropout 方法抑 制过拟合现象。实验中，将训练好的模型进行测 试，将当前画面中人为控制的巡检车的行驶角度 和行驶速度是否相等作为测试评判标准，损失函 数 [23] 为 L(θ, θ∗ ,X) = MSE = 1 n ∑n i=1 eyi ( X, θ∗ i ) −yi(X, θi) 2 以上的卷积神经网络模型在实验样本中取得 了较好的测试结果，但是仍存在训练过程中损失 下降及收敛缓慢、对其他危化品仓库场景样本适 应性较低的问题。因此，本文对 Dropout 进行改 进，提出基于泊松分布的 Dropout 方法。 2 PSdropout 抽样算法 根据观察，不频繁更新的神经元在后期的训 练中，最终会以较大的概率被关闭。如果尽早根 据网络中神经元节点的历史激活状态进行神经元 取舍，理论上可以快速找到作用大的子网络，从 而提高网络的训练速度。 2.1 理论分析及算法步骤 无 Dropout 的传统卷积网络计算公式为 ·1132· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1133· 24”=wy+ 量实验结果中进行对比，综合Ioss和测试的结果， +=f) 选择实验结果最好的值作为p。 2012年，Hinton!在论文中提出Dropout,.当 按PSdropout更新当前层，公式如式(S)(10)。 一个复杂的神经网络用于训练特征较为简单的数 2.2理论推导 据集时，会很容易出现过拟合现象，主要表现为 Dropout与PSdropout抽样算法不同之处在于 训练时测试准确率很高、测试时测试准确率很 神经元的去留服从分布不同，极大似然估计的依 低。为了防止过拟合，可以通过阻止特征检测器 据是概率最大的事件最可能发生，在神经元去留 的共同作用来提高神经网络的性能。 问题上，神经元激活不同数目可作为不同事件， 采用Dropout的网络计算公式为 改进的PSdropout使具有积极意义的神经元最大 少~B(pa) (1) 化的激活这一事件发生概率可由极大似然估计进 y=r*yn (2) 行推导。另外，在理论中找相等是很难的，泊松 244=wy+b 分布和伯努利分布的极大似然相似，即可证明其 (3) y4=f(2） 有一定的相似性。对比伯努利分布与泊松分布， (4) 观测二者的极大似然估计值如下： Dropout方法神经元去留概率服从伯努利分 Dropout:在实验中，神经元去留概率服从伯 布，根据式(1)(4)对网络框架进行更新。Drop 努力分布： Connect!24]不再是随机将隐含层节点的输出清 D=y1,2,…ynl,y~B0 0,而是将节点中的每个与其相连的输入权值以一 似然函数为 定的概率清0，在输入处修剪掉多余的连接，在 Dropout概率设置为0.5时在本层网络中可以节省 L=p(Du）=ip6.l四）=iI--w 一半的计算量。以此算法作为实验中的对比算法。 取对数，整理化简： 泊松概率分布2l(poisson distribution)描述的 是在某段时间或某个空间内发生随机事件次数的 I=lnpD)=∑n(1--w= 概率，也就是根据过去某个随机事件在某段时间 或某个空间内发生的平均次数。在PSdropout抽 之：aa+0-)1n1-wy 样算法中，统计前一阶段训练中一定步数内的网 最大化似然函数，取导数为0的极值： 络框架中全链接层的神经元的修改次数情况，作 - 1 为下一阶段网络训练更新的指导，基于PSdro- a(1-四b4=0 1 pout的抽样算法神经元权重的筛选是服从泊松分 1- 布的。 N2. =1 采用PSdropout抽样算法的网络计算公式包括： PSdropout抽样算法：在实验中，神经元的去 pam二Runc (5) 留服从泊松分布： D=1y2,…,yn,y~Pd) ∫1，Pm≥Po P=0.Pm6.InA-Iny.) y=f2+） (10) =1 首先，根据式（⑤）记录当前神经元的修改次数 最大化似然函数，取导数为0的极值： Cw和训练次数Re,计算每个神经元权重的激活 al (抑制)概率Pm,Pm为激活张量，Pm来源符合泊松 =-W+>滥=0 =1 分布。 取出张量pm中的每一个元素与设定值p%作 MLE= 对比，若某个神经元的某个权重激活（抑制）概率 两种分布最终的极大似然函数取值相同，因 Pm>po,将当前Pn中对应位置设置为激活状态1， 此PSdropout抽样算法的神经元抽样方法的选取 否则，设置为抑制状态0，记录激活张量p;在大 是合理的
z (l+1) i = w l+1 i y l +b l+1 i y (l+1) i = f ( z l+1 i ) 2012 年，Hinton[15] 在论文中提出 Dropout，当 一个复杂的神经网络用于训练特征较为简单的数 据集时，会很容易出现过拟合现象，主要表现为 训练时测试准确率很高、测试时测试准确率很 低。为了防止过拟合，可以通过阻止特征检测器 的共同作用来提高神经网络的性能。 采用 Dropout 的网络计算公式为 r (l) j ∼ B(pm) (1) ∼ y l = r (l) ∗ y (l) (2) z (l+1) i = w (l+1) i ∼ y l +b (l+1) i (3) y (l+1) i = f ( z (l+1) i ) (4) Dropout 方法神经元去留概率服从伯努利分 布，根据式 (1)~(4) 对网络框架进行更新。DropConnect[ 2 4 ] 不再是随机将隐含层节点的输出清 0,而是将节点中的每个与其相连的输入权值以一 定的概率清 0，在输入处修剪掉多余的连接，在 Dropout 概率设置为 0.5 时在本层网络中可以节省 一半的计算量。以此算法作为实验中的对比算法。 泊松概率分布[25] (poisson distribution) 描述的 是在某段时间或某个空间内发生随机事件次数的 概率，也就是根据过去某个随机事件在某段时间 或某个空间内发生的平均次数。在 PSdropout 抽 样算法中，统计前一阶段训练中一定步数内的网 络框架中全链接层的神经元的修改次数情况，作 为下一阶段网络训练更新的指导，基于 PSdropout 的抽样算法神经元权重的筛选是服从泊松分 布的。 采用 PSdropout 抽样算法的网络计算公式包括： pm = Cw Rtimes (5) p ′ m = { 1, pm ⩾ p0 0, pm ,将当前 中对应位置设置为激活状态 1， 否则，设置为抑制状态 0，记录激活张量 ；在大 p0 量实验结果中进行对比，综合 loss 和测试的结果， 选择实验结果最好的值作为 。 按 PSdropout 更新当前层，公式如式 (5)~(10)。 2.2 理论推导 Dropout 与 PSdropout 抽样算法不同之处在于 神经元的去留服从分布不同，极大似然估计的依 据是概率最大的事件最可能发生，在神经元去留 问题上，神经元激活不同数目可作为不同事件， 改进的 PSdropout 使具有积极意义的神经元最大 化的激活这一事件发生概率可由极大似然估计进 行推导。另外，在理论中找相等是很难的，泊松 分布和伯努利分布的极大似然相似，即可证明其 有一定的相似性。对比伯努利分布与泊松分布， 观测二者的极大似然估计值如下： Dropout：在实验中，神经元去留概率服从伯 努力分布： D = {y1, y2,··· , yn}, y ∼ B(µ) 似然函数为 L = p(D|µ) = N Π n=1 p(yn |µ) = N Π n=1 µ yn (1−µ) (1−yn ) 取对数，整理化简： l = ln p(D|µ) = ∑N n=1 ln{ µ yn (1−µ) (1−yn) } = ∑N n=1 {yn lnµ+(1−yn)ln(1−µ)} 最大化似然函数，取导数为 0 的极值： ∂l ∂µ = ∑N n=1 { yn 1 µ (1−yn) 1 1−µ } = 1 µ(1−µ) {yn −µ} = 0 µMLE = 1 N ∑N n=1 yn PSdropout 抽样算法：在实验中，神经元的去 留服从泊松分布： D = {y1, y2,··· , yn}, y ∼ P(λ) 似然函数： L = N Π n=1 λ yn yn! e −λ = e −nλ N Π n=1 λ yn yn! 取对数，整理化简： l = lnL = −nλ+ ∑N n=1 (yn lnλ−lnyn) 最大化似然函数，取导数为 0 的极值： ∂l ∂λ = −N + ∑N n=1 yn λ = 0 λMLE = 1 N ∑N n=1 yn 两种分布最终的极大似然函数取值相同，因 此 PSdropout 抽样算法的神经元抽样方法的选取 是合理的。 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1133·
·1134· 智能系统学报 第15卷 3实验 及测试结果也差异较大，为探究PSdropout算法的 稳定性，选取数量不同的原始场景样本制作Ca 在主频为2.20GHz,CPU为GTX1080 Ti GPU 数据集进行训练并在Car测试集上进行测试，对 的服务器上，将典型卷积神经网络模型和改进后 1oss损失函数结果及测试结果进行分析：采集数 的网络模型进行实验并对比结果。 据量为5000、10000、15000、20000的样本进行实 3.1数据集 验，学习率设为固定值，Ioss测试结果如表1，测 实验中，选用不同的数据集对原始算法和 试准确率结果如表2。 PSdropout抽样算法的实验结果进行整理，以证明 表1Ioss统计结果 PSdropout抽样算法的有效性。采用智能小车采 Table 1 Statistical loss results 集彩色160×120大小的实验现场照片，将该数据 实验名称 Loss Dropout DropConnect PSdropout 命名为Car数据集，含有4个训练子集，样本数量 0.14 2200 3500 2000 为5000、10000、15000、20000；同时含有1个 5000原始 2000张照片的测试集。在实验中，使用了深度学 0.13 4500 4500 2800 样本实验 习网络架构对Car数据集进行训练。 0.12 未达到 7200 5400 部分Car原始场景训练数据集如图2所示， 0.14 4200 4200 3000 该数据集主要是危化品仓库中良好状态下采集的 10000原始 0.13 7100 7300 5800 样本，采集样本过程中无障碍物遮挡路线、光线 样本实验 0.12 未达到 未达到 7900 条件良好，拍摄清晰，以最优条件下采集的素材 作为实验中的训练集。 0.14 2500 3300 2000 15000原始 0.13 4200 4100 2700 样本实验 0.12 未达到 6300 5000 0.14 2500 4200 1800 20000原始 0.13 4000 7000 3800 (a)路面中间 (b)拐弯处 (⊙)一半被阴影 样本实验 不规则阴影 阴影 覆盖的路面 0.13 未达到 未达到 6800 图2原始场景样本图 表2测试结果 Fig.2 Sample pictures of original scene Table 2 Statistical test results 在实际的危化品仓库中，危化品智能巡检车 实验名称 Dropout Dropconnect PSdropout 的道路情况并非如实验样本中的理想化状态，实 5000原始样本实验 0.96 0.96 0.97 际采集的样本在道路线上存在着光线条件不好、 10000原始样本实验 0.95 0.95 0.96 障碍物遮挡道路线、不明物体遮挡道路线等一系 15000原始样本实验 0.96 0.95 0.96 列情况，将复杂场景情况下采集的道路样本作为 数据集，为以后在实际的危化品仓库中的应用以 20000原始样本实验 0.95 0.92 0.95 及重新训练奠定基础。图3为部分复杂样本图。 将学习率设置为固定值，进行训练，训练中 1oss的变化无其他变化因素干扰，可以更好地观 测PSdropout引起的变化。横向观测实验结果，就 表1的1oss统计结果来说，样本量分别定为5000 10000、15000、20000,DropConnect与Dropout相 (a)路面两侧 (b)左侧较远存在 (c)左侧压线 比，达到相同损失率时所用步骤相差不大，Drop 障碍物 压线障碍物 障碍物 Connect最终取得的loss值较小，而PSdropout抽 图3复杂场景样本图 样算法相比于Dropout和DropConnect能够以更 Fig.3 Sample photos of complex scene 少的训练轮数步骤取得更小的1oss值；就测试结 3.2单场景数据量测试实验 果而言，在4组实验中，PSdropout测试率皆高于 在深度学习训练中，训练数据是很重要的，在 前两者。 样本量方面，一是要有尽量多的训练样本，二是 纵向观测表2的测试结果，随着实验中训练 要保证样本的分布够均匀。但实际采集数据的过 样本的样本量不断增加，在3类实验中可以看到 程中，不同样本量的设置训练出来的网络架构以 测试准确率处于不断下降状态，因为随着样本量
3 实验 在主频为 2.20 GHz，CPU 为 GTX1080 Ti GPU 的服务器上，将典型卷积神经网络模型和改进后 的网络模型进行实验并对比结果。 3.1 数据集 实验中，选用不同的数据集对原始算法和 PSdropout 抽样算法的实验结果进行整理，以证明 PSdropout 抽样算法的有效性。采用智能小车采 集彩色 160×120 大小的实验现场照片，将该数据 命名为 Car 数据集，含有 4 个训练子集，样本数量 为 5 000、10 000、15 000、20 000；同时含有 1 个 2 000 张照片的测试集。在实验中，使用了深度学 习网络架构对 Car 数据集进行训练。 部分 Car 原始场景训练数据集如图 2 所示， 该数据集主要是危化品仓库中良好状态下采集的 样本，采集样本过程中无障碍物遮挡路线、光线 条件良好，拍摄清晰，以最优条件下采集的素材 作为实验中的训练集。 (a) 路面中间 不规则阴影 (c) 一半被阴影 覆盖的路面 (b) 拐弯处 阴影 图 2 原始场景样本图 Fig. 2 Sample pictures of original scene 在实际的危化品仓库中，危化品智能巡检车 的道路情况并非如实验样本中的理想化状态，实 际采集的样本在道路线上存在着光线条件不好、 障碍物遮挡道路线、不明物体遮挡道路线等一系 列情况，将复杂场景情况下采集的道路样本作为 数据集，为以后在实际的危化品仓库中的应用以 及重新训练奠定基础。图 3 为部分复杂样本图。 (a) 路面两侧 障碍物 (b) 左侧较远存在 压线障碍物 (c) 左侧压线 障碍物 图 3 复杂场景样本图 Fig. 3 Sample photos of complex scene 3.2 单场景数据量测试实验 在深度学习训练中，训练数据是很重要的，在 样本量方面，一是要有尽量多的训练样本，二是 要保证样本的分布够均匀。但实际采集数据的过 程中，不同样本量的设置训练出来的网络架构以 及测试结果也差异较大，为探究 PSdropout 算法的 稳定性，选取数量不同的原始场景样本制作 Car 数据集进行训练并在 Car 测试集上进行测试，对 loss 损失函数结果及测试结果进行分析：采集数 据量为 5 000、10 000、15 000、20 000 的样本进行实 验，学习率设为固定值，loss 测试结果如表 1，测 试准确率结果如表 2。 表 1 loss 统计结果 Table 1 Statistical loss results 实验名称 Loss Dropout DropConnect PSdropout 5000原始 样本实验 0.14 2 200 3 500 2 000 0.13 4 500 4 500 2800 0.12 未达到 7 200 5400 10000原始 样本实验 0.14 4 200 4 200 3000 0.13 7 100 7 300 5800 0.12 未达到 未达到 7900 15000原始 样本实验 0.14 2 500 3 300 2 000 0.13 4 200 4 100 2700 0.12 未达到 6 300 5000 20000原始 样本实验 0.14 2 500 4 200 1800 0.13 4 000 7 000 3800 0.13 未达到 未达到 6800 表 2 测试结果 Table 2 Statistical test results 实验名称 Dropout Dropconnect PSdropout 5000原始样本实验 0.96 0.96 0.97 10000原始样本实验 0.95 0.95 0.96 15000原始样本实验 0.96 0.95 0.96 20000原始样本实验 0.95 0.92 0.95 将学习率设置为固定值，进行训练，训练中 loss 的变化无其他变化因素干扰，可以更好地观 测 PSdropout 引起的变化。横向观测实验结果，就 表 1 的 loss 统计结果来说，样本量分别定为 5 000、 10 000、15 000、20 000，DropConnect 与 Dropout 相 比，达到相同损失率时所用步骤相差不大，DropConnect 最终取得的 loss 值较小，而 PSdropout 抽 样算法相比于 Dropout 和 DropConnect 能够以更 少的训练轮数步骤取得更小的 loss 值；就测试结 果而言，在 4 组实验中，PSdropout 测试率皆高于 前两者。 纵向观测表 2 的测试结果，随着实验中训练 样本的样本量不断增加，在 3 类实验中可以看到 测试准确率处于不断下降状态，因为随着样本量 ·1134· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1135· 的增加，网络的训练轮数不断增加，网络中的神 根据表3的1oss统计结果，原始样本数据集 经元会记忆训练样本，导致过学习现象。而较小 训练完成时，调用原始算法时1oss值未达到0.12 的实验样本量训练中，PSdropout抽样算法以较少 调用DropConnect时loss值达到0.12，调用PSdro-- 的训练步数取得了较好的1oss值，并且训练出的 pout抽样算法时loss最低值为0.12；复杂场景样 网络架构测试准确率更高。PSdropout抽样算法 本数据集训练完成时，调用原始算法时oss最低 为现今面临的样本缺失问题提供了一个新的解决 值未达到0.I3,调用DropConnect时loss值未达 问题思路。综合上述实验中Ioss的收敛以及测试 到0.13，调用抽样时1oss最低值为0.13。根据表4 结果，PSdropout抽样算法对不同数量样本的训练 测试结果，改进算法在原始样本数据集上训练的 集都有较好的适应能力，该算法是稳定健壮的。 模型测试结果皆高于原始算法，原始算法在复杂 3.3多场景测试 场景样本数据集上训练的模型测试结果高于 不同危化品仓库的地面与标志线差异较大， DropConnect和抽样。在保证正确率相差不大的 图4是一些危化品仓库的实景图，而实际仓库场 前提下，PSdropout抽样算法的训练步数明显减 景多，对于新场景的适应成为识别的一大难点。 少，训练速度提高。 3.4网络架构适应性测试 在实际的应用中，由于危化品仓库的跑道具 有多样性、多变性，不同的危化品仓库，地面与标 志线差异较大，场景多，对于新场景的适应成为 (a)礼花弹库 (b)液体危化品库 (c)油漆库 识别的一大难点，因此需要把训练的样本在多种 场景内进行应用，所以训练出的网络架构必须有 图4复杂危化品仓库实景图 Fig.4 Photos of complex chemical warehouses 较好的适应性，减少对样本的依赖。采取实验 因此，对多场景的适应能力好坏是评判改进 A和B对算法进行适应能力测试。实验A:在原 算法的一个重要依据。在不同场景的样本上进行 始样本数据集上进行训练，用复杂样本作为测试 集进行测试。实验B:在复杂样本数据集上进行 实验，分别用基于Dropout的原始算法、基于 训练，用简单样本作为测试集进行测试。表5中 DropConnect的对比算法、基于PSdropout抽样算 记录测试准确率： 法进行实验，因为DropConnect是对神经元之间 表5适应性测试 的连接的去留进行选择，来抑制过拟合现象，加 Table 5 Adaptive test results 速训练，与PSdropout算法中舍弃不活跃神经元的 方法是一致的，因此选择基于DropConnect的卷 实验名称 Dropout PSdropout 积神经网络作为对比算法进行实验，1oss结果如 实验A 0.79 0.79 表3，测试结果如表4。 实验B 0.95 0.96 表3L0ss统计结果 进行上述实验旨在检验两个算法训练的网络 Table 3 Statistical loss results 架构的适应性。由表5适应性测试的结果可以看 实验名称 损失值 Dropout DropConnect PSdropout 出PSdropout抽样算法对不同场景的适应能力更 0.14 2500 3300 2000 强，因为PSdropout算法能尽早抽取出活跃的神经 原始场景 0.13 4200 4100 2700 元，网络架构的学习能力更强，删除掉冗余的神 样本实验 经元，对于抑制过拟合现象有较好的贡献。这点 0.12 未达到 6300 5000 对于实际的危化品仓库现今存在的样本采集困 0.14 3500 6200 3700 复杂场景 难、网络架构适应差等问题，PSdropout抽样算法 0.14 6300 10000 3700 提供了新的解决思路。 样本实验 0.13 未达到 未达到 8600 3.5细节性实验 在原始场景数据集上训练，实验参数设置如 表4测试结果 下。原始算法：batchsize为50，优化函数算法为 Table 4 Statistical test results 随机梯度下降算法，实现参数更新，其中，学习率 实验名称 Dropout DropConnect PSdropout 为固定值0.01。PSdropout抽样算法：在原始算法 原始场景样本实验 0.96 0.95 0.96 基础上，对训练结果进行统计，每500步统计 复杂场景样本实验 1次，之后的500步训练根据前500步统计结果计 0.93 0.91 0.91 算出式（⑤）中的P更新，修改次数少的继续抑制
的增加，网络的训练轮数不断增加，网络中的神 经元会记忆训练样本，导致过学习现象。而较小 的实验样本量训练中，PSdropout 抽样算法以较少 的训练步数取得了较好的 loss 值，并且训练出的 网络架构测试准确率更高。PSdropout 抽样算法 为现今面临的样本缺失问题提供了一个新的解决 问题思路。综合上述实验中 loss 的收敛以及测试 结果，PSdropout 抽样算法对不同数量样本的训练 集都有较好的适应能力，该算法是稳定健壮的。 3.3 多场景测试 不同危化品仓库的地面与标志线差异较大， 图 4 是一些危化品仓库的实景图，而实际仓库场 景多，对于新场景的适应成为识别的一大难点。 (a) 礼花弹库 (b) 液体危化品库 (c) 油漆库 图 4 复杂危化品仓库实景图 Fig. 4 Photos of complex chemical warehouses 因此，对多场景的适应能力好坏是评判改进 算法的一个重要依据。在不同场景的样本上进行 实验，分别用基于 Dropout 的原始算法、基于 DropConnect 的对比算法、基于 PSdropout 抽样算 法进行实验，因为 DropConnect 是对神经元之间 的连接的去留进行选择，来抑制过拟合现象，加 速训练，与 PSdropout 算法中舍弃不活跃神经元的 方法是一致的，因此选择基于 DropConnect 的卷 积神经网络作为对比算法进行实验，loss 结果如 表 3，测试结果如表 4。 表 3 Loss 统计结果 Table 3 Statistical loss results 实验名称 损失值 Dropout DropConnect PSdropout 原始场景 样本实验 0.14 2500 3300 2000 0.13 4200 4100 2700 0.12 未达到 6300 5000 复杂场景 样本实验 0.14 3500 6200 3700 0.14 6300 10000 3700 0.13 未达到 未达到 8600 表 4 测试结果 Table 4 Statistical test results 实验名称 Dropout DropConnect PSdropout 原始场景样本实验 0.96 0.95 0.96 复杂场景样本实验 0.93 0.91 0.91 根据表 3 的 loss 统计结果，原始样本数据集 训练完成时，调用原始算法时 loss 值未达到 0.12， 调用 DropConnect 时 loss 值达到 0.12，调用 PSdropout 抽样算法时 loss 最低值为 0.12；复杂场景样 本数据集训练完成时，调用原始算法时 loss 最低 值未达到 0.13，调用 DropConnect 时 loss 值未达 到 0.13，调用抽样时 loss 最低值为 0.13。根据表 4 测试结果，改进算法在原始样本数据集上训练的 模型测试结果皆高于原始算法，原始算法在复杂 场景样本数据集上训练的模型测试结果高于 DropConnect 和抽样。在保证正确率相差不大的 前提下，PSdropout 抽样算法的训练步数明显减 少，训练速度提高。 3.4 网络架构适应性测试 在实际的应用中，由于危化品仓库的跑道具 有多样性、多变性，不同的危化品仓库，地面与标 志线差异较大，场景多，对于新场景的适应成为 识别的一大难点，因此需要把训练的样本在多种 场景内进行应用，所以训练出的网络架构必须有 较好的适应性，减少对样本的依赖。采取实验 A 和 B 对算法进行适应能力测试。实验 A：在原 始样本数据集上进行训练，用复杂样本作为测试 集进行测试。实验 B：在复杂样本数据集上进行 训练，用简单样本作为测试集进行测试。表 5 中 记录测试准确率： 表 5 适应性测试 Table 5 Adaptive test results 实验名称 Dropout PSdropout 实验A 0.79 0.79 实验B 0.95 0.96 进行上述实验旨在检验两个算法训练的网络 架构的适应性。由表 5 适应性测试的结果可以看 出 PSdropout 抽样算法对不同场景的适应能力更 强，因为 PSdropout 算法能尽早抽取出活跃的神经 元，网络架构的学习能力更强，删除掉冗余的神 经元，对于抑制过拟合现象有较好的贡献。这点 对于实际的危化品仓库现今存在的样本采集困 难、网络架构适应差等问题，PSdropout 抽样算法 提供了新的解决思路。 3.5 细节性实验 在原始场景数据集上训练，实验参数设置如 下。原始算法：batchsize 为 50，优化函数算法为 随机梯度下降算法，实现参数更新，其中，学习率 为固定值 0.01。PSdropout 抽样算法：在原始算法 基础上，对训练结果进行统计，每 500 步统计 1 次，之后的 500 步训练根据前 500 步统计结果计 算出式 (5) 中的 P 更新，修改次数少的继续抑制， 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1135·
·1136· 智能系统学报 第15卷 修改次数多的进行激活。在原始场景数据集上实 表6Ioss及准确率统计结果 验结果1oss函数值统计图如图5所示，横坐标为 Table 6 Loss and accuracy statistics 训练步数，纵坐标为l1oss值。 实验名称Loss Dropout PSdropout Dropout PSdropout 0.30 0.15 1100 1000 原始场景0.14 2500 1800 0.25 0.95 0.95 训练0.13 4000 3800 020 0.13未达到 6800 0.15 0.152000 1500 0.1 复杂场景0.14 3500 3700 012345678910 0.93 0.91 步数/103步 训练0.14 6300 4500 (a)Dropout算法训练结果 0.30 0.13未达到 8600 0.25 在原始样本数据集上，由原始Dropout和 0.20 PSdropout抽样的损失函数图（图5、图6）可以看 出loss的细节变化情况，训练过程中，调用PSdro- 0.15 pout抽样的每500步训练过程中，loss会明显下 0.1 降到[0.005,0.01]区间，之后的训练在调用Dro- 012345678910 步数/10步 pout时，loss会在短时间内出现上升趋势。以训练 (b)PSdropout算法训练结果 3500~4500步的损失值变化为例分析，3500~400 图5原始场景数据集上loss统计 0调用PSdropout抽样算法时，loss的变化整体呈 Fig.5 Loss statistics for the original scene data set 现迅速下降趋势，并且很快取得了1oss的一个极 在复杂场景数据集上实验结果Ioss函数值统 小值0.13，低于调用原始dropout时的0.14；训练 计如图6所示。 4000~5000步时，原始dropout的1oss值急剧上 升，出现这个变化的原因是对于网络架构有消极 0.30r 作用的神经元再次被激活。对以上实验数据整体 0.25 进行观察，调用dropout算法的loss实验结果波动 020 较大，训练中1oss最小值大概为0.129，出现在训 练步数为6700时，1oss值收敛最终在0.14左右浮 0.15 动；调用PSdropout抽样算法的loss实验结果，在 实验训练过程中波动较小，数据较为稳定，训练 0.10 012345678910 中1oss最小值大概为0.122，出现在训练步数为 步数/10步 (a)Dropout算法训练结果 4900时，最终1oss的收敛值在0.135左右浮动。 0.30r 复杂场景数据集由于道路环境复杂所以训练更为 困难，因此，1oss值大于原始场景数据集训练的 0.25 loss;由表6观测测试准确率，PSdropout抽样算法 0.20 测试结果和原始算法相差不大。综合loss下降速 度和测试准确率来看，PSdropout抽样算法效果优 0.15 于原始算法。 0.10 12345678910 3.6算法有效性验证实验 步数/103步 Mnist数据集为分类实验公共数据集，在训练 (b)PSdropout算法训练结果 网络架构中主要提取的特征为手写体数字的边缘 图6复杂场景数据集上I0ss统计 轮廓信息，而本实验提取的信息主要为危化品仓 Fig.6 Loss statistics for the complex scene data set 库道路样本的特征信息，侧重点同样在于道路边 原始、复杂场景数据集上的1oss统计结果、 缘，因此，为了测试PSdropout抽样的稳定性与有 测试结果如表6所示。 效性，采用深度学习经典公共数据集Mnist进行
修改次数多的进行激活。在原始场景数据集上实 验结果 loss函数值统计图如图 5 所示，横坐标为 训练步数，纵坐标为 loss 值。 步数/103 步 步数/103 步 损失值 损失值 (b) PSdropout 算法训练结果 0.25 0.30 0.20 0.15 0.10 0.25 0.30 0.20 0.15 0.10 0 2 4 6 8 9 1 10 3 5 7 0 2 4 6 8 9 1 10 3 5 7 (a) Dropout 算法训练结果 图 5 原始场景数据集上 loss 统计 Fig. 5 Loss statistics for the original scene data set 在复杂场景数据集上实验结果 loss 函数值统 计如图 6 所示。 损失值 步数/103 步 步数/103 步 (a) Dropout 算法训练结果 损失值 (b) PSdropout 算法训练结果 0.25 0.30 0.20 0.15 0.10 0.25 0.30 0.20 0.15 0.10 0 2 4 6 8 9 1 10 3 5 7 0 2 4 6 8 9 1 10 3 5 7 图 6 复杂场景数据集上 loss 统计 Fig. 6 Loss statistics for the complex scene data set 原始、复杂场景数据集上的 loss 统计结果、 测试结果如表 6 所示。 表 6 loss 及准确率统计结果 Table 6 Loss and accuracy statistics 实验名称 Loss Dropout PSdropout Dropout PSdropout 原始场景 训练 0.15 1100 1000 0.95 0.95 0.14 2500 1800 0.13 4000 3800 0.13 未达到 6800 复杂场景 训练 0.15 2 000 1500 0.93 0.91 0.14 3500 3700 0.14 6300 4500 0.13 未达到 8600 在原始样本数据集上，由原始 Dropout 和 PSdropout 抽样的损失函数图 (图 5、图 6) 可以看 出 loss 的细节变化情况，训练过程中，调用 PSdropout 抽样的每 500 步训练过程中，loss 会明显下 降到 [0.005，0.01] 区间，之后的训练在调用 Dropout 时，loss 会在短时间内出现上升趋势。以训练 3 500~4 500 步的损失值变化为例分析，3 500~4 00 0 调用 PSdropout 抽样算法时，loss 的变化整体呈 现迅速下降趋势，并且很快取得了 loss 的一个极 小值 0.13，低于调用原始 dropout 时的 0.14；训练 4 000~5 000 步时，原始 dropout 的 loss 值急剧上 升，出现这个变化的原因是对于网络架构有消极 作用的神经元再次被激活。对以上实验数据整体 进行观察，调用 dropout 算法的 loss 实验结果波动 较大，训练中 loss 最小值大概为 0.129，出现在训 练步数为 6 700 时，loss 值收敛最终在 0.14 左右浮 动；调用 PSdropout 抽样算法的 loss 实验结果，在 实验训练过程中波动较小，数据较为稳定，训练 中 loss 最小值大概为 0.122，出现在训练步数为 4 900 时，最终 loss 的收敛值在 0.135 左右浮动。 复杂场景数据集由于道路环境复杂所以训练更为 困难，因此，loss 值大于原始场景数据集训练的 loss；由表 6 观测测试准确率，PSdropout 抽样算法 测试结果和原始算法相差不大。综合 loss 下降速 度和测试准确率来看，PSdropout 抽样算法效果优 于原始算法。 3.6 算法有效性验证实验 Mnist 数据集为分类实验公共数据集，在训练 网络架构中主要提取的特征为手写体数字的边缘 轮廓信息，而本实验提取的信息主要为危化品仓 库道路样本的特征信息，侧重点同样在于道路边 缘，因此，为了测试 PSdropout 抽样的稳定性与有 效性，采用深度学习经典公共数据集 Mnist 进行 ·1136· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1137· 实验，训练集6000张图片，测试集为1000张照 神经元的去留作出取舍，神经元的去留情况服从 片，大小为28×28的灰度照片。 泊松分布，充分利用神经元选择的历史情况，快 对于数据集Mnist使用的损失函数是交叉熵 速抽取出适合本样本的网络架构。理论上看，在 损失函数，因为使用交叉熵能够提高精度和训练 充分利用神经元历史行为的基础上，本文的神经 速度，函数使用的是交叉熵损失函数。 元去留概率与原始的Dropout算法去留概率的最 MnistI:Mnist数据集，学习率调整形式为自 大似然函数类似；实验结果表明，在保持正确率 动指数衰减，改进函数统计前1000步的训练结 的情况下，训练提前收敛，节约了训练时间，并且 果，后续5000步按统计结果更新。 提高了巡检车对不同复杂度道路的识别能力。后 Mnist2.:Mnist数据集，学习率为固定值，改进 续可以将该方法与卷积神经网络的模型剪裁方法 函数统计前1000步的训练结果，后续9000步按 结合起来，进一步提高卷积神经网络训练速度。 统计结果更新。 表7中记录了loss函数值与测试准确率结果。 参考文献： 表7 Mnist数据集上训练结果 [I]刘学君，江帆，戴波，等.基于ARM的危化品仓库堆垛安 Table 7 Training results for Mnist data set 全距离监测装置的研究与开发).制造业自动化，2016 实验名称Loss Dropout PSdropout Dropout PSdropout 38(4):11-14,25 测试正确率测试正确率 LIU Xuejun,JIANG Fan,DAI Bo,et al.The research and 0.802300 1800 development of stack safe distance monitoring device for Mnist10.754500 3500 0.98 0.98 the chemicals warehouse based on ARM[J].Manufactur- 0.70未达到 ing automation,2016,38(4):11-14,25. 5000 [2]李琳.基于UWB定位的危化品仓库管理的设计和研 1.002500 1500 究D].北京：北京邮电大学，2018. Mnist20.759000 5000 0.97 0.98 LI Lin.Design and research of hazardous chemicals ware- 0.60未达到 10000 house management based on UWB positioning[D]. Beijing:Beijing University of Posts and Telecommunica- 综合表7显示的Mnist数据集上的训练结果， tions,2018. 进行分析。在实验Mnist1上，按自动指数衰减的 [3]戴波，周泽彧，张岩，等.危化品仓储堆垛安全距离监测 形式进行学习训练，PSdropout抽样算法训练的网 系统设计.化工学报，2019,70(002)：707-715 络架构获得的l0ss值下降迅速，最终的收敛值达 DAI Bo,ZHOU Zeyu,ZHANG Yan,et al.Design of safe 到0.7，而Dropout算法未达到0.7，而且PSdro- distance monitoring system for hazardous chemicals stor- pout抽样算法与Dropout算法的测试准确率相差 age stack[J].CIESC Journal,2019,70(002):707-715. 不大；在Mnist2实验中，采用固定值学习率进行 [4]戴波，吕昕，刘学君，等.基于UWB四参考点矢量补偿的 学习训练，PSdropout抽样算法在训练到10000步 危化品仓储堆垛货物定位方法[).化工学报，2016， 67(3):871-877 时，最终的收敛值达到0.6，而Dropout算法未达 DAI Bo,LU Xin,LIU Xuejun,et al.A UWB-based four 到0.6，PSdropout抽样算法测试准确率达到 reference vectors compensation method applied on hazard- 97.84%,而Dropout算法测试准确率为97.06%，而 ous chemicals warehouse stacking positioning[J].CIESC 且在训练过程中PSdropout抽样波动更小，表现更 journal,2016,673):871-877. 为稳定。在Mnist数据集上，相较于调整学习率 [5]DAI Bo,LI Yanfei,REN Haisheng,et al.Research on op- 的学习方式，PSdropout抽样算法更适合固定学习 timization for safe layout of hazardous chemicals ware- 率算法的学习方式。综合实验Mnist1、Mnist2, house based on genetic algorithm[J].IFAC-PapersOnline, PSdropout抽样算法是优于Dropout算法的。 2008,51(18):245-250. [6]SRINIVAS S,BABU R V.Data-free parameter pruning 4结束语 for deep neural networks[C]//Proceedings of British Ma- chine Vision Conference 2015.Swansea.UK,2015:1-12. 本文提出将卷积神经网络应用于危化品仓库 [7]HAN Song,POOL J,TRAN J,et al.Learning both weights 智能巡检车，为提高1oss收敛速度和对新样本的 and connections for efficient neural networks[Cl//Proceed- 适应性，提出一种基于泊松分布的Dropout方 ings of the 28th International Conference on Neural In- 法，即PSdropout抽样算法，将此方法用于卷积神 formation Processing Systems.Montreal,Quebec,Canada, 经网络中全链接层，根据前期的权重修改情况对 2015:1135-1143
实验，训练集 6 000 张图片，测试集为 1 000 张照 片，大小为 28×28 的灰度照片。 对于数据集 Mnist 使用的损失函数是交叉熵 损失函数，因为使用交叉熵能够提高精度和训练 速度,函数使用的是交叉熵损失函数。 Mnist1：Mnist 数据集，学习率调整形式为自 动指数衰减，改进函数统计前 1 000 步的训练结 果，后续 5000 步按统计结果更新。 Mnist2：Mnist 数据集，学习率为固定值，改进 函数统计前 1 000 步的训练结果，后续 9 000 步按 统计结果更新。 表 7 中记录了 loss 函数值与测试准确率结果。 表 7 Mnist 数据集上训练结果 Table 7 Training results for Mnist data set 实验名称 Loss Dropout PSdropout Dropout 测试正确率 PSdropout 测试正确率 Mnist1 0.80 2300 1800 0.75 4500 3500 0.98 0.98 0.70 未达到 5000 Mnist2 1.00 2500 1500 0.75 9000 5000 0.97 0.98 0.60 未达到 10000 综合表 7 显示的 Mnist 数据集上的训练结果， 进行分析。在实验 Mnist1 上，按自动指数衰减的 形式进行学习训练，PSdropout 抽样算法训练的网 络架构获得的 loss 值下降迅速，最终的收敛值达 到 0.7，而 Dropout 算法未达到 0.7，而且 PSdropout 抽样算法与 Dropout 算法的测试准确率相差 不大；在 Mnist2 实验中，采用固定值学习率进行 学习训练，PSdropout 抽样算法在训练到 10 000 步 时，最终的收敛值达到 0.6，而 Dropout 算法未达 到 0.6， PSdropout 抽样算法测试准确率达 到 97.84%，而 Dropout 算法测试准确率为 97.06%，而 且在训练过程中 PSdropout 抽样波动更小，表现更 为稳定。在 Mnist 数据集上，相较于调整学习率 的学习方式，PSdropout 抽样算法更适合固定学习 率算法的学习方式。综合实验 Mnist1、Mnist2， PSdropout 抽样算法是优于 Dropout 算法的。 4 结束语 本文提出将卷积神经网络应用于危化品仓库 智能巡检车，为提高 loss 收敛速度和对新样本的 适应性，提出一种基于泊松分布的 Dropout 方 法，即 PSdropout 抽样算法，将此方法用于卷积神 经网络中全链接层，根据前期的权重修改情况对 神经元的去留作出取舍，神经元的去留情况服从 泊松分布，充分利用神经元选择的历史情况，快 速抽取出适合本样本的网络架构。理论上看，在 充分利用神经元历史行为的基础上，本文的神经 元去留概率与原始的 Dropout 算法去留概率的最 大似然函数类似；实验结果表明，在保持正确率 的情况下，训练提前收敛，节约了训练时间，并且 提高了巡检车对不同复杂度道路的识别能力。后 续可以将该方法与卷积神经网络的模型剪裁方法 结合起来，进一步提高卷积神经网络训练速度。 参考文献： 刘学君, 江帆, 戴波, 等. 基于 ARM 的危化品仓库堆垛安 全距离监测装置的研究与开发 [J]. 制造业自动化, 2016, 38(4): 11–14, 25. LIU Xuejun, JIANG Fan, DAI Bo, et al. The research and development of stack safe distance monitoring device for the chemicals warehouse based on ARM[J]. Manufacturing automation, 2016, 38(4): 11–14, 25. [1] 李琳. 基于 UWB 定位的危化品仓库管理的设计和研 究 [D]. 北京: 北京邮电大学, 2018. LI Lin. Design and research of hazardous chemicals warehouse management based on UWB positioning[D]. Beijing: Beijing University of Posts and Telecommunications, 2018. [2] 戴波, 周泽彧, 张岩, 等. 危化品仓储堆垛安全距离监测 系统设计 [J]. 化工学报, 2019, 70(002): 707–715. DAI Bo, ZHOU Zeyu, ZHANG Yan, et al. Design of safe distance monitoring system for hazardous chemicals storage stack[J]. CIESC Journal, 2019, 70(002): 707–715. [3] 戴波, 吕昕, 刘学君, 等. 基于 UWB 四参考点矢量补偿的 危化品仓储堆垛货物定位方法 [J]. 化工学报, 2016, 67(3): 871–877. DAI Bo, LÜ Xin, LIU Xuejun, et al. A UWB-based four reference vectors compensation method applied on hazardous chemicals warehouse stacking positioning[J]. CIESC journal, 2016, 67(3): 871–877. [4] DAI Bo, LI Yanfei, REN Haisheng, et al. Research on optimization for safe layout of hazardous chemicals warehouse based on genetic algorithm[J]. IFAC-PapersOnline, 2008, 51(18): 245–250. [5] SRINIVAS S, BABU R V. Data-free parameter pruning for deep neural networks[C]//Proceedings of British Machine Vision Conference 2015. Swansea, UK, 2015: 1−12. [6] HAN Song, POOL J, TRAN J, et al. Learning both weights and connections for efficient neural networks[C]//Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal, Quebec, Canada, 2015: 1135−1143. [7] 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1137·
·1138· 智能系统学报 第15卷 [8]CHEN Wenlin,WILSON J,TYREE S,et al.Compressing lutional neural network[J].Journal of computer applica- neural networks with the hashing trick[C]//Proceedings of tions,2016,36(9:2508-2515,2565 the 32nd International Conference on Machine Learning. [19]陈先昌.基于卷积神经网络的深度学习算法与应用研 Lille,France,.2015:2285-2294. 究D].杭州：浙江工商大学，2014 [9]HAN Song,MAO Huizi,DALLY W J.Deep compression: CHEN Xianchang.Research on algorithm and applica- compressing deep neural networks with pruning,trained tion of deep learning based on convolutional neural net- quantization and Huffman coding[C]//Proceedings of 2016 work[D].Hangzhou:Zhejiang Gongshang University. International Conference on Learning Representations.San 2014. Juan,Pucrto Rico,2015:3-7. [20]GIRSHICK R,DONAHUE J,DARRELL T,et al.Rich [10]MA Rongrong,NIU Lingfeng.A survey of sparse-learn- feature hierarchies for accurate object detection and se- ing methods for deep neural networks[Cl//Proceedings of mantic segmentation[C]//Proceedings of 2014 IEEE Con- 2018 IEEE/WIC/ACM International Conference on Web ference on Computer Vision and Pattern Recognition. Intelligence.Santiago,Chile,2018:647-650. Columbus.USA,2014:580-587. [11门]李江昀，赵义凯，薛卓尔，等.深度神经网络模型压缩综 [21]刘亦芃.一种关于深度学习网络结构的改进策略[D] 述[.工程科学学报，2019,41(10)：1229-1239. 长春：吉林大学，2019. LI Jiangyun,ZHAO Yikai,XUE Zhuoer,et al.A survey LIU Yipeng.A strategy for improving the structure of of model compression for deep neural networks[J]. deep learning network[D].Changchun:Jilin University. Chinese journal of engineering,2019,41(10):1229-1239. 2019. [12]纪荣蝾，林绍辉，晁飞，等.深度神经网络压缩与加速综 [22]杨国亮，许楠.李放，等.关于非线性激活函数的深度学 述.计算机研究与发展，2018,55(9，：1871-1888 习分类方法研究[.江西理工大学学报，2018,39(3) JI Rongrong,LIN Shaohui,CHAO Fei,et al.Deep neural 76-83. network compression and acceleration:a review[J].Journ- YANG Guoliang,XU Nan,LI Fang,et al.Research on al of computer research and development,2018,55(9): deep learning classification for nonlinear activation func- 1871-1888. tion[J].Journal of Jiangxi University of Science and [13]王晓华，杨新艳，焦李成.基于多尺度几何分析的复杂 Technology,2018,393):76-83. 网络压缩策略[.电子与信息学报，2009,31(4)： [23]张永雄，王亮明，李东.基于多示例深度学习与损失函 968-972 数优化的交通标志识别算法).现代电子技术，2018， WANG Xiaohua,YANG Xinyan,JIAO Licheng.Com- 41(15):133-136,140. pression of complex networks based on multiscale geo- ZHANG Yongxiong,WANG Liangming,LI Dong. metric analysis[J].Journal of electronics&information Traffic sign recognition algorithm based on multi-in- technology,2009,31(4):968-972. stance deep learning and loss function optimization[J]. [14]YU Jie,TIAN Shen.A review of network compression Modern electronics technique,2018,41(15):133-136, based on deep network pruning[C]//Proceedings of the 140. 3rd International Conference on Mechatronics Engineer- [24]WAN Li,ZEILER M.ZHANG Sixin,et al.Regulariza- ing and Information Technology.Dalian,China,2019: tion of neural networks using dropconnect[C]//Proceed- 324-335 ings of the 30th International Conference on Machine [15]HINTON G E.SRIVASTAVA N,KRIZHEVSKY A,et Learning.Atlanta,GA,USA,2013:1058-1066. al.Improving neural networks by preventing co-adapta- [25]徐玉华，曾明.泊松分布性质及应用研究[).长江大学 tion of feature detectors[J].Computer Science,2012,3(4): 学报（自科版）.2006,04：132-133 212-223 XU Yuhua,ZENG Ming.Poisson distribution properties [16]BALDI P,SADOWSKI P.The dropout learning al- and application research[J].Journal of Yangtze Uni- gorithm[J].Artificial intelligence,2014,210:78-122. versity (Natural Science Edition),2006,04:132-133. [17刀周飞燕，金林鹏，董军.卷积神经网络研究综述).计算 作者简介： 机学报，2017,40(6)：1229-1251. 沙芸，副教授，主要研究方向医疗 ZHOU Feiyan,JIN Linpeng,DONG Jun.Review of con- 数据挖掘、模式识别。 volutional neural network[J].Chinese journal of com- puters,2017,40(6):1229-1251. [18]李彦冬，郝宗波，雷航.卷积神经网络研究综述).计算 机应用，2016,36(9：2508-2515,2565. LI Yandong,HAO Zongbo,LEI Hang.Survey of convo-
CHEN Wenlin, WILSON J, TYREE S, et al. Compressing neural networks with the hashing trick[C]//Proceedings of the 32nd International Conference on Machine Learning. Lille, France, 2015: 2285−2294. [8] HAN Song, MAO Huizi, DALLY W J. Deep compression: compressing deep neural networks with pruning, trained quantization and Huffman coding[C]//Proceedings of 2016 International Conference on Learning Representations. San Juan, Pucrto Rico, 2015: 3−7. [9] MA Rongrong, NIU Lingfeng. A survey of sparse-learning methods for deep neural networks[C]//Proceedings of 2018 IEEE/WIC/ACM International Conference on Web Intelligence. Santiago, Chile, 2018: 647−650. [10] 李江昀, 赵义凯, 薛卓尔, 等. 深度神经网络模型压缩综 述 [J]. 工程科学学报, 2019, 41(10): 1229–1239. LI Jiangyun, ZHAO Yikai, XUE Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese journal of engineering, 2019, 41(10): 1229–1239. [11] 纪荣嵘, 林绍辉, 晁飞, 等. 深度神经网络压缩与加速综 述 [J]. 计算机研究与发展, 2018, 55(9): 1871–1888. JI Rongrong, LIN Shaohui, CHAO Fei, et al. Deep neural network compression and acceleration: a review[J]. Journal of computer research and development, 2018, 55(9): 1871–1888. [12] 王晓华, 杨新艳, 焦李成. 基于多尺度几何分析的复杂 网络压缩策略 [J]. 电子与信息学报, 2009, 31(4): 968–972. WANG Xiaohua, YANG Xinyan, JIAO Licheng. Compression of complex networks based on multiscale geometric analysis[J]. Journal of electronics & information technology, 2009, 31(4): 968–972. [13] YU Jie, TIAN Shen. A review of network compression based on deep network pruning[C]//Proceedings of the 3rd International Conference on Mechatronics Engineering and Information Technology. Dalian, China, 2019: 324−335. [14] HINTON G E, SRIVASTAVA N, KRIZHEVSKY A, et al. Improving neural networks by preventing co-adaptation of feature detectors[J]. Computer Science, 2012, 3(4): 212−223. [15] BALDI P, SADOWSKI P. The dropout learning algorithm[J]. Artificial intelligence, 2014, 210: 78–122. [16] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述 [J]. 计算 机学报, 2017, 40(6): 1229–1251. ZHOU Feiyan, JIN Linpeng, DONG Jun. Review of convolutional neural network[J]. Chinese journal of computers, 2017, 40(6): 1229–1251. [17] 李彦冬, 郝宗波, 雷航. 卷积神经网络研究综述 [J]. 计算 机应用, 2016, 36(9): 2508–2515, 2565. LI Yandong, HAO Zongbo, LEI Hang. Survey of convo- [18] lutional neural network[J]. Journal of computer applications, 2016, 36(9): 2508–2515, 2565. 陈先昌. 基于卷积神经网络的深度学习算法与应用研 究 [D]. 杭州: 浙江工商大学, 2014. CHEN Xianchang. Research on algorithm and application of deep learning based on convolutional neural network[D]. Hangzhou: Zhejiang Gongshang University, 2014. [19] GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus, USA, 2014: 580−587. [20] 刘亦芃. 一种关于深度学习网络结构的改进策略 [D]. 长春: 吉林大学, 2019. LIU Yipeng. A strategy for improving the structure of deep learning network[D]. Changchun: Jilin University, 2019. [21] 杨国亮, 许楠, 李放, 等. 关于非线性激活函数的深度学 习分类方法研究 [J]. 江西理工大学学报, 2018, 39(3): 76–83. YANG Guoliang, XU Nan, LI Fang, et al. Research on deep learning classification for nonlinear activation function[J]. Journal of Jiangxi University of Science and Technology, 2018, 39(3): 76–83. [22] 张永雄, 王亮明, 李东. 基于多示例深度学习与损失函 数优化的交通标志识别算法 [J]. 现代电子技术, 2018, 41(15): 133–136, 140. ZHANG Yongxiong, WANG Liangming, LI Dong. Traffic sign recognition algorithm based on multi-instance deep learning and loss function optimization[J]. Modern electronics technique, 2018, 41(15): 133–136, 140. [23] WAN Li, ZEILER M, ZHANG Sixin, et al. Regularization of neural networks using dropconnect[C]//Proceedings of the 30th International Conference on Machine Learning. Atlanta, GA, USA, 2013: 1058−1066. [24] 徐玉华, 曾明. 泊松分布性质及应用研究 [J]. 长江大学 学报(自科版), 2006, 04: 132–133. XU Yuhua, ZENG Ming. Poisson distribution properties and application research[J]. Journal of Yangtze University (Natural Science Edition), 2006, 04: 132–133. [25] 作者简介： 沙芸，副教授，主要研究方向医疗 数据挖掘、模式识别。 ·1138· 智 能 系 统 学 报 第 15 卷
第6期 沙芸，等：PSdropout卷积神经网络在危化品巡检车中的应用 ·1139· 李齐飞，硕土研究生，主要研究方 甘建旺，硕士研究生，主要研究方 向为深度学习。 向为图像处理与机器学习。 全球人工智能AI2021技术创新大赛 GLOBAL AI INNOVATION CONTEST 首届全球人工智能技术创新大赛(Global AI Innovation Contest)是由中国人工智能学会和杭州市余杭区 人民政府共同创办，由杭州市未来科技城管委会、阿里云计算有限公司、清华-OPPO未来终端技术研究中心 联合承办，职场社交平台脉脉为大赛提供宣传支持。大赛将立足国际视野，聚焦前沿科技与应用创新，推进 人工智能领域的学术交流、人才培养、技术发展以及跨界应用与融合，打造人工智能的人才交流平台与产业 生态圈。本次大赛面向全球开放，设置医学影像报告异常检测、PANDA大场景多对象检测跟踪、小布助手 对话短文本语义匹配三个智能算法赛道，欢迎相关领域的开发者、学生和研究人员积极参与，突破其中的关 键性瓶颈，推进下一代人工智能前瞻性研究发展。 参赛对象： 本次大赛面向全球开放，不限年龄国籍，高等院校在校学生（包括高职高专、本科、研究生）以及科研机构 和企业从业人员均可参赛，具体要求如下： 可以自由组队参赛，具体组队要求见赛道相关说明； 参赛选手应保证报名信息准确有效，如队伍中的选手信息不符合要求，组委会有权取消整个队伍的参赛 资格及奖励。 为了保证大赛的公平性，将禁止以下类型人员报名参赛： 大赛主办和技术支持单位如有机会接触赛题和相关数据的人员不允许参赛： 赞助企业的在职人员（不含实习生）不允许参赛。 赛程安排 报名和组队：2021年1月15日一2021年4月7日 初赛A榜：2021年3月2日一2021年4月7日 初赛B榜：2021年4月8日 复赛：2021年4月15日一2021年5月10日 总决赛：2021年5月下旬 组织机构： 主办单位：中国人工智能学会、杭州市余杭区人民政府 承办单位：杭州未来科技城管委会、阿里云计算有限公司、清华OPPO未来终端技术研究中心
李齐飞，硕士研究生，主要研究方 向为深度学习。 甘建旺，硕士研究生，主要研究方 向为图像处理与机器学习。 全球人工智能 AI 2021 技术创新大赛 GLOBAL AI INNOVATION CONTEST 首届全球人工智能技术创新大赛（Global AI Innovation Contest）是由中国人工智能学会和杭州市余杭区 人民政府共同创办，由杭州市未来科技城管委会、阿里云计算有限公司、清华-OPPO 未来终端技术研究中心 联合承办，职场社交平台脉脉为大赛提供宣传支持。大赛将立足国际视野，聚焦前沿科技与应用创新，推进 人工智能领域的学术交流、人才培养、技术发展以及跨界应用与融合，打造人工智能的人才交流平台与产业 生态圈。本次大赛面向全球开放，设置医学影像报告异常检测、PANDA 大场景多对象检测跟踪、小布助手 对话短文本语义匹配三个智能算法赛道，欢迎相关领域的开发者、学生和研究人员积极参与，突破其中的关 键性瓶颈，推进下一代人工智能前瞻性研究发展。 参赛对象： 本次大赛面向全球开放,不限年龄国籍,高等院校在校学生（包括高职高专、本科、研究生）以及科研机构 和企业从业人员均可参赛，具体要求如下： 可以自由组队参赛，具体组队要求见赛道相关说明； 参赛选手应保证报名信息准确有效，如队伍中的选手信息不符合要求，组委会有权取消整个队伍的参赛 资格及奖励。 为了保证大赛的公平性，将禁止以下类型人员报名参赛： 大赛主办和技术支持单位如有机会接触赛题和相关数据的人员不允许参赛； 赞助企业的在职人员（不含实习生）不允许参赛。 赛程安排: 报名和组队：2021 年 1 月 15 日—2021 年 4 月 7 日 初赛 A 榜：2021 年 3 月 2 日—2021 年 4 月 7 日 初赛 B 榜：2021 年 4 月 8 日 复赛：2021 年 4 月 15 日—2021 年 5 月 10 日 总决赛：2021 年 5 月下旬 组织机构： 主办单位：中国人工智能学会、杭州市余杭区人民政府 承办单位：杭州未来科技城管委会、阿里云计算有限公司、清华 OPPO 未来终端技术研究中心 第 6 期 沙芸，等：PSdropout 卷积神经网络在危化品巡检车中的应用 ·1139·