【机器学习】动态数据约简的神经网络分类器训练方法研究

团购合买资源类别：文库，文档格式：PDF，文档页数：8，文件大小：2.65MB

第12卷第2期智能系统学报 Vol.12 No.2 2017年4月 CAAI Transactions on Intelligent Systems Apr.2017 D0I:10.11992/is.201605031 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.tp.20170112.1020.004.html 动态数据约简的神经网络分类器训练方法研究刘威，刘尚，白润才2，周璇，周定宁 (1.辽宁工程技术大学理学院，辽宁阜新123000；2.辽宁工程技术大学矿业学院，辽宁阜新123000) 摘要：针对神经网络分类器训练时间长、泛化能力差的问题，提出了一种基于动态数据约简的神经网络分类器训练方法(DDR)。该训练方法在训练过程中赋给每个训练样本一个权重值作为样本的重要性度量，依据每次网络迭代训练样本的分类错误率动态更新每个训练样本的权重值，之后依据样本的权重值来约简训练样本，从而增加易错分类的边界样本比重，减少冗余核样本的作用。数值实验表明，基于权重的动态数据约简神经网络训练方法不仅大幅缩短了网络的训练时间，而且还能够显著提升网络的分类泛化能力。关键词：神经网铬：数据约简：分类边界：样本权重：边界样本：核样本中图分类号：TP301.6文献标志码：A文章编号：1673-4785(2017)02-02258-08 中文引用格式：刘威，刘尚，白润才，等.动态数据约简的神经网络分类器训练方法研究[J].智能系统学报，2017,12(2)：258-265. 英文引用格式：LIU Wei,LIU Shang,BAI Runcai,etal.Reducing training times in neural network classifiers by using dynamic da- ta reduction[J].CAAI transactions on intelligent systems,2017,12(2):258-265. Reducing training times in neural network classifiers by using dynamic data reduction LIU Wei',LIU Shang',BAI Runcai2,ZHOU Xuan',ZHOU Dingning' (1.College of Science,Liaoning Technical University,Fuxin 123000,China;2.Mining Institute,Liaoning Technical University, Fuxin 123000,China) Abstract:In this paper,we present a neural network classifier training method based on dynamic data reduction (DDR)to address long training times and the poor generalization ability of neural network classifiers.In our ap- proach,we assigned each sample a weight value,which was then dynamically updated based on the classification error rate at each iteration of the training sample.Subsequently,the training sample was reduced based on the weight of the sample so as to increase the proportion of boundary samples in error-prone classification environments and to reduce the role of redundant kernel samples.Our numerical experiments show that our neural network train- ing method not only substantially shortens the training time of the given networks,but also significantly enhances the classification and generalization abilities of the network. Keywords:neural network;data reduction;classification boundary;sample weight;boundary sample;kernel sample 单隐藏层前馈神经网络由于其学习能力强、能权值后，输入信号通过网络正向传递，得到模拟输出够逼近复杂非线性函数、优异的信息分布式存储和信号，之后依据输出信号和数据标签之间的误差反并行协同处理能力以及鲁棒性好的特点，使得神经向传播的方式调整网络权值，使均方误差最小，从而网络在很多领域得到了广泛的应用。由于神经网络使网络映射输出更好地“拟合逼近”数据标签，以达监督学习的本质，在神经网络训练过程中，随机初始到学习的目的。在神经网络的分类应用中，神经网络分类器训收稿日期：2016-05-28.网络出版日期：2017-02-20. 基金项目：国家自然科学基金项目(51304114,71371091). 练过程是一个调整分类超曲面的过程，在训练初始通信作者：刘尚.E-mail:whiteinblue@l26.com. 阶段通过随机产生一个超曲面，然后依据误差来调

第１２卷第２期智能系统学报Ｖｏｌ．１２ №．２２０１７年４月ＣＡＡＩＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓＡｐｒ．２０１７ＤＯＩ：１０．１１９９２／ｔｉｓ．２０１６０５０３１网络出版地址：ｈｔｔｐ：／／ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／２３．１５３８．ｔｐ．２０１７０１１２．１０２０．００４．ｈｔｍｌ动态数据约简的神经网络分类器训练方法研究刘威１，刘尚１，白润才２，周璇１，周定宁１（１．辽宁工程技术大学理学院，辽宁阜新１２３０００；２．辽宁工程技术大学矿业学院，辽宁阜新１２３０００）摘要：针对神经网络分类器训练时间长、泛化能力差的问题，提出了一种基于动态数据约简的神经网络分类器训练方法（ＤＤＲ）。该训练方法在训练过程中赋给每个训练样本一个权重值作为样本的重要性度量，依据每次网络迭代训练样本的分类错误率动态更新每个训练样本的权重值，之后依据样本的权重值来约简训练样本，从而增加易错分类的边界样本比重，减少冗余核样本的作用。数值实验表明，基于权重的动态数据约简神经网络训练方法不仅大幅缩短了网络的训练时间，而且还能够显著提升网络的分类泛化能力。关键词：神经网络；数据约简；分类边界；样本权重；边界样本；核样本中图分类号：ＴＰ３０１．６文献标志码：Ａ文章编号：１６７３－４７８５（２０１７）０２－０２２５８－０８中文引用格式：刘威，刘尚，白润才，等．动态数据约简的神经网络分类器训练方法研究［Ｊ］．智能系统学报，２０１７，１２（２）：２５８－２６５．英文引用格式：ＬＩＵＷｅｉ，ＬＩＵＳｈａｎｇ，ＢＡＩＲｕｎｃａｉ，ｅｔａｌ．Ｒｅｄｕｃｉｎｇｔｒａｉｎｉｎｇｔｉｍｅｓｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｂｙｕｓｉｎｇｄｙｎａｍｉｃｄａ⁃ ｔａｒｅｄｕｃｔｉｏｎ［Ｊ］．ＣＡＡＩｔｒａｎｓａｃｔｉｏｎｓｏｎｉｎｔｅｌｌｉｇｅｎｔｓｙｓｔｅｍｓ，２０１７，１２（２）：２５８－２６５．ＲｅｄｕｃｉｎｇｔｒａｉｎｉｎｇｔｉｍｅｓｉｎｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓｂｙｕｓｉｎｇｄｙｎａｍｉｃｄａｔａｒｅｄｕｃｔｉｏｎＬＩＵＷｅｉ１，ＬＩＵＳｈａｎｇ１，ＢＡＩＲｕｎｃａｉ２，ＺＨＯＵＸｕａｎ１，ＺＨＯＵＤｉｎｇｎｉｎｇ１（１．ＣｏｌｌｅｇｅｏｆＳｃｉｅｎｃｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｕｘｉｎ１２３０００，Ｃｈｉｎａ；２．ＭｉｎｉｎｇＩｎｓｔｉｔｕｔｅ，ＬｉａｏｎｉｎｇＴｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｕｘｉｎ１２３０００，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｐｒｅｓｅｎｔａｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｔｒａｉｎｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｄｙｎａｍｉｃｄａｔａｒｅｄｕｃｔｉｏｎ（ＤＤＲ）ｔｏａｄｄｒｅｓｓｌｏｎｇｔｒａｉｎｉｎｇｔｉｍｅｓａｎｄｔｈｅｐｏｏｒｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｙｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒｓ．Ｉｎｏｕｒａｐ⁃ ｐｒｏａｃｈ，ｗｅａｓｓｉｇｎｅｄｅａｃｈｓａｍｐｌｅａｗｅｉｇｈｔｖａｌｕｅ，ｗｈｉｃｈｗａｓｔｈｅｎｄｙｎａｍｉｃａｌｌｙｕｐｄａｔｅｄｂａｓｅｄｏｎｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｒｒｏｒｒａｔｅａｔｅａｃｈｉｔｅｒａｔｉｏｎｏｆｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅ．Ｓｕｂｓｅｑｕｅｎｔｌｙ，ｔｈｅｔｒａｉｎｉｎｇｓａｍｐｌｅｗａｓｒｅｄｕｃｅｄｂａｓｅｄｏｎｔｈｅｗｅｉｇｈｔｏｆｔｈｅｓａｍｐｌｅｓｏａｓｔｏｉｎｃｒｅａｓｅｔｈｅｐｒｏｐｏｒｔｉｏｎｏｆｂｏｕｎｄａｒｙｓａｍｐｌｅｓｉｎｅｒｒｏｒ⁃ｐｒｏｎｅｃｌａｓｓｉｆｉｃａｔｉｏｎｅｎｖｉｒｏｎｍｅｎｔｓａｎｄｔｏｒｅｄｕｃｅｔｈｅｒｏｌｅｏｆｒｅｄｕｎｄａｎｔｋｅｒｎｅｌｓａｍｐｌｅｓ．Ｏｕｒｎｕｍｅｒｉｃａｌｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｏｕｒｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎ⁃ ｉｎｇｍｅｔｈｏｄｎｏｔｏｎｌｙｓｕｂｓｔａｎｔｉａｌｌｙｓｈｏｒｔｅｎｓｔｈｅｔｒａｉｎｉｎｇｔｉｍｅｏｆｔｈｅｇｉｖｅｎｎｅｔｗｏｒｋｓ，ｂｕｔａｌｓｏｓｉｇｎｉｆｉｃａｎｔｌｙｅｎｈａｎｃｅｓｔｈｅｃｌａｓｓｉｆｉｃａｔｉｏｎａｎｄｇｅｎｅｒａｌｉｚａｔｉｏｎａｂｉｌｉｔｉｅｓｏｆｔｈｅｎｅｔｗｏｒｋ．Ｋｅｙｗｏｒｄｓ：ｎｅｕｒａｌｎｅｔｗｏｒｋ；ｄａｔａｒｅｄｕｃｔｉｏｎ；ｃｌａｓｓｉｆｉｃａｔｉｏｎｂｏｕｎｄａｒｙ；ｓａｍｐｌｅｗｅｉｇｈｔ；ｂｏｕｎｄａｒｙｓａｍｐｌｅ；ｋｅｒｎｅｌｓａｍｐｌｅ收稿日期：２０１６－０５－２８．网络出版日期：２０１７－０２－２０．基金项目：国家自然科学基金项目（５１３０４１１４，７１３７１０９１）．通信作者：刘尚．Ｅ⁃ｍａｉｌ：ｗｈｉｔｅｉｎｂｌｕｅ＠１２６．ｃｏｍ．单隐藏层前馈神经网络由于其学习能力强、能够逼近复杂非线性函数、优异的信息分布式存储和并行协同处理能力以及鲁棒性好的特点，使得神经网络在很多领域得到了广泛的应用。由于神经网络监督学习的本质，在神经网络训练过程中，随机初始权值后，输入信号通过网络正向传递，得到模拟输出信号，之后依据输出信号和数据标签之间的误差反向传播的方式调整网络权值，使均方误差最小，从而使网络映射输出更好地“拟合逼近”数据标签，以达到学习的目的。在神经网络的分类应用中，神经网络分类器训练过程是一个调整分类超曲面的过程，在训练初始阶段通过随机产生一个超曲面，然后依据误差来调

第2期刘威，等：动态数据约简的神经网络分类器训练方法研究 .259. 整超曲面的位置，直到数据集中属于不同类的点正只是更改样本分布权重，达到了重点关注错分类样好位于超曲面的不同侧面。这种处理机制决定了神本的目的。经网络进行数据分类最终获得的分类超曲面有可能当数据量大和数据过于集中时，神经网络分类器相当靠近训练集中的点)，不仅导致网络训练时间训练时间长，泛化能力差：结合数据约简和样本权值长，而且使网络分类边界过于靠近样本集中点，导致的思想，本文提出了一种基于动态数据约简(dynamic 较差的分类泛化能力，所以数据样本对于网络训练 data reduction,DDR)的神经网络训练方法。该方法时间、网络性能有重要的影响。依据神经网络迭代训练过程中的训练样本的分类错一个数据集可以用数据特征、数据量、数据分布误率，动态更新训练样本的权重，然后依据权重对训来描述。数据约简的目的主要是减少信息量，将一练数据进行动态约简，从而达到缩短网络训练时间、些无关紧要的信息去掉后，不影响系统原有的功能增强网络泛化能力的目的。该方法将数据约简和分表达。目前，针对数据约简的研究主要集中在两个类器训练融合为一个阶段，比文献[5-7]的方法具有方面：基于特征选择约简和基于实例选择约简。快速的特点，比文献[8]具有简单的优势。基于特征选择的数据约简是指在所有特征中选择某些重要的、有代表性的特征，去除对处理结果影 1DDR训练方法响小甚至无影响的特征，以达到提取主要特征的目 1.1BP神经网络的。常见的特征选择方法主要有粗糙集法[)、主成 BP(back propagation)神经网络是一种单向传分分析法[)、基于流行学习的Autoencoder等。播的多层前馈网络，采用误差反向传播权值学习算基于实例选择的数据约简是从原始数据集中选法(BP算法)，是目前应用较多的一种模型。BP神择具有代表性的实例，去除冗余的和相似性较大的经网络的基本单元是神经元，按照神经元的功能不数据，得到相对较小的约简数据集，以达到减少数据同将其分成若干层，通常最左侧的为输入层，最右侧量和改变数据分布的目的。目前针对实例选择的数的为输出层，而中间的为隐层，只有相邻层神经元之据约简方法主要有基于聚类、基于样本距离、基于分间存在权值连接，每层内部神经元无连接，其结构如类边界的数据约简方法。聚类约简方法首先通过模图1所示。糊聚类)、K邻近聚类6)等聚类方法对训练数据进行聚类分析，选择目标样本，别除冗余样本，以达到 h() 数据约简的目的，然后用约简后的数据作为新的训 h(x) 练数据进行分类器训练。整个分类系统分为数据约简和分类训练两个阶段，第1阶段的数据筛选结果对于最终分类器的性能起着关键性的作用，此外每个阶段需要调整相应的模型参数，整个分类系统过于复杂。基于样本距离的约简方法)，通过构建样本间距离度量（通常为欧氏距离），保留边界样本，图1BP神经网络结构 Fig.1 BP neural network structure 剔除非边界样本。该方法同聚类的概念类似，仍属于两阶段的分类系统。基于分类边界数据约简方法 B即神经网络的信息传递过程主要分为两个阶主要为支持向量机算法(SVM)[),SVM算法基于最段：信息前馈传递阶段和误差反馈阶段。信息前馈优分类边界的概念，从训练集中选择支持向量，使得阶段，每层的输入信息，首先通过连接权值进行融合对支持向量的划分等价于对整个数据集的划分。计算，再通过相应类型的激活函数进行激活变换得此外，文献[9]利用HMM模型，通过模型的预到输出信号，然后将输出信号作为输入传入下一层测概率将训练样本分为好样本、差样本和边界样本，进行相似的信息变换，最终传递到输出层得到网络然后分析了选择不同的训练样本对于分类器的影最终输出。误差反馈阶段，由于神经网络是一种监响。文献[I0]的Adaboosting算法依据分类错误率，督学习算法，将信号的前馈输出和真实标签之间的通过增加错分类样本权重，减小正确分类样本权重误差，通过连接权值从输出层反向传播至输入层，并的方法，改变样本的权重分布，以达到重点关注错分依据梯度值来更新连接权值，从而达到学习的目的。类样本的目的，然后通过多个弱分类器加权综合获 1.2DDR训练方法设计思想从分类的角度来说，分类的任务在于寻找分类得强分类器，Adaboosting方法没有约简训练数据，面，将分类空间划分为不同的类区域，训练的作用在

整超曲面的位置，直到数据集中属于不同类的点正好位于超曲面的不同侧面。这种处理机制决定了神经网络进行数据分类最终获得的分类超曲面有可能相当靠近训练集中的点［１］，不仅导致网络训练时间长，而且使网络分类边界过于靠近样本集中点，导致较差的分类泛化能力，所以数据样本对于网络训练时间、网络性能有重要的影响。一个数据集可以用数据特征、数据量、数据分布来描述。数据约简的目的主要是减少信息量，将一些无关紧要的信息去掉后，不影响系统原有的功能表达。目前，针对数据约简的研究主要集中在两个方面：基于特征选择约简和基于实例选择约简。基于特征选择的数据约简是指在所有特征中选择某些重要的、有代表性的特征，去除对处理结果影响小甚至无影响的特征，以达到提取主要特征的目的。常见的特征选择方法主要有粗糙集法［２］、主成分分析法［３］、基于流行学习的Ａｕｔｏｅｎｃｏｄｅｒ［４］等。基于实例选择的数据约简是从原始数据集中选择具有代表性的实例，去除冗余的和相似性较大的数据，得到相对较小的约简数据集，以达到减少数据量和改变数据分布的目的。目前针对实例选择的数据约简方法主要有基于聚类、基于样本距离、基于分类边界的数据约简方法。聚类约简方法首先通过模糊聚类［５］、Ｋ邻近聚类［６］等聚类方法对训练数据进行聚类分析，选择目标样本，剔除冗余样本，以达到数据约简的目的，然后用约简后的数据作为新的训练数据进行分类器训练。整个分类系统分为数据约简和分类训练两个阶段，第１阶段的数据筛选结果对于最终分类器的性能起着关键性的作用，此外每个阶段需要调整相应的模型参数，整个分类系统过于复杂。基于样本距离的约简方法［７］，通过构建样本间距离度量（通常为欧氏距离），保留边界样本，剔除非边界样本。该方法同聚类的概念类似，仍属于两阶段的分类系统。基于分类边界数据约简方法主要为支持向量机算法（ＳＶＭ）［８］，ＳＶＭ算法基于最优分类边界的概念，从训练集中选择支持向量，使得对支持向量的划分等价于对整个数据集的划分。此外，文献［９］利用ＨＭＭ模型，通过模型的预测概率将训练样本分为好样本、差样本和边界样本，然后分析了选择不同的训练样本对于分类器的影响。文献［１０］的Ａｄａｂｏｏｓｔｉｎｇ算法依据分类错误率，通过增加错分类样本权重，减小正确分类样本权重的方法，改变样本的权重分布，以达到重点关注错分类样本的目的，然后通过多个弱分类器加权综合获得强分类器，Ａｄａｂｏｏｓｔｉｎｇ方法没有约简训练数据，只是更改样本分布权重，达到了重点关注错分类样本的目的。当数据量大和数据过于集中时，神经网络分类器训练时间长，泛化能力差；结合数据约简和样本权值的思想，本文提出了一种基于动态数据约简（ｄｙｎａｍｉｃｄａｔａｒｅｄｕｃｔｉｏｎ，ＤＤＲ）的神经网络训练方法。该方法依据神经网络迭代训练过程中的训练样本的分类错误率，动态更新训练样本的权重，然后依据权重对训练数据进行动态约简，从而达到缩短网络训练时间、增强网络泛化能力的目的。该方法将数据约简和分类器训练融合为一个阶段，比文献［５－７］的方法具有快速的特点，比文献［８］具有简单的优势。１ＤＤＲ训练方法１．１ＢＰ神经网络ＢＰ（ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）神经网络是一种单向传播的多层前馈网络，采用误差反向传播权值学习算法（ＢＰ算法），是目前应用较多的一种模型。ＢＰ神经网络的基本单元是神经元，按照神经元的功能不同将其分成若干层，通常最左侧的为输入层，最右侧的为输出层，而中间的为隐层，只有相邻层神经元之间存在权值连接，每层内部神经元无连接，其结构如图１所示。图１ＢＰ神经网络结构Ｆｉｇ．１ＢＰｎｅｕｒａｌｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅＢＰ神经网络的信息传递过程主要分为两个阶段：信息前馈传递阶段和误差反馈阶段。信息前馈阶段，每层的输入信息，首先通过连接权值进行融合计算，再通过相应类型的激活函数进行激活变换得到输出信号，然后将输出信号作为输入传入下一层进行相似的信息变换，最终传递到输出层得到网络最终输出。误差反馈阶段，由于神经网络是一种监督学习算法，将信号的前馈输出和真实标签之间的误差，通过连接权值从输出层反向传播至输入层，并依据梯度值来更新连接权值，从而达到学习的目的。１．２ＤＤＲ训练方法设计思想从分类的角度来说，分类的任务在于寻找分类面，将分类空间划分为不同的类区域，训练的作用在第２期刘威，等：动态数据约简的神经网络分类器训练方法研究 ·２５９·

.260 智能系统学报第12卷于分类超曲面的生成，从这个方面来说，边界样本就的边界样本，弱化易正确分类的核样本的目的：最后是位于理想分类超曲面附近的样本。神经网络在训依据数据约简规则对训练样本进行挑选。数据约简练过程中可以理解为依据训练数据调整分类超曲面选择规则为：对于正确分类的训练样本，在[0,1]随的过程，训练样本中，如果某种类别的数据量越多，机选择一个数值rand,若rand小于样本的权重值，它在训练出的模型中所起的作用就越大，分类超曲则选择该样本为新的训练样本；否则剔除该样本。面越靠近该分类。所以训练样本的分布主要影响分这样在迭代过程中一直迭代分类正确的核样本，由类超曲面的位置，训练样本的个数则主要影响网络于其权值持续降低，被选择的概率较小：而边界样本的训练时间。由于其分类准确性随着分类超曲面的移动而波动，依据文献[5,7,9]通过聚类或样本距离，依据所以其权重值较大，被选择的概率较大；对于错误分数据样本位置分布将数据分为核样本和边界样本，类的样本则全部选择。然后将全部错分类样本和随核样本数据一般位于数据类别聚类中心或远离类别机选择的部分正确分类样本作为新的训练样本集，边界的位置，边界样本位于相邻类别的临近或重叠进行下一次迭代训练。由于神经网络训练过程中迭位置。从聚类分析的观点来看，位于类中心的核样代收敛较慢，训练过程往往需要较长的迭代次数，这本更具代表性，所表达信息量更大，核样本可以使得样会使核样本的权重值持续降低，一些错误分类边训练出的模式类区域更加紧凑，不同模式类区域间界样本的权重值则持续增加，导致训练样本的权值隔更大，但核样本数目太多，不仅增加网络训练时差异较大，不利于正确分类样本的选择。为了避免间，还容易使得分类超曲面过于靠近核样本，使得分上述问题，在权重值更新后通过权重值上下限约束，类区域过小，从而使得边界样本被划分到超曲面以对权重值进行规范化处理，权重下限值为xwb,xwb 外，使得网络分类错误率增加，泛化能力降低。文献 >0,权重上限值为xwt,xwt≤1，即权重xw:∈ [11]指出，基于神经网络的模式识别中，训练样本 [xwb,xwt],i=1,2,…,m,通过权值的规范化约束，的总数目对于神经网络训练的影响不是十分重要，使得迭代过程中选择边界样本的同时，也选择部分重要的是其中边界样本的数目：有了足够多的边界核样本进行协同训练，以避免由于样本过少而引起样本，就可以训练出好的分类超曲面。但由于网络的过拟合现象。中边界样本个数相对较少，较少的训练数据很容易 1.3DDR训练方法算法描述导致网络发生过拟合现象，同样会导致网络泛化能设训练集为X={(x1少1)，…，（xy:),…,（xm, 力下降。所以在神经网络分类器训练过程中，在利 yn)},x;∈R,训练样本批量为s,样本总均值误差为E,批量均值误差为e,连接权值为0，学习率为用全部边界样本的基础上，为了防止由于数据较少 α，迭代次数为k,样本权重集为XW,正确分类样本引起的过拟合问题，实验还应选择相应数量的核样本来协同训练。权重集为XW,权重增量为xwd,权重标识集为XS, 错分类样本集为Xs,正确分类样本集为X,从由于神经网络训练定过程可以理解为分类超曲面 Xh中选择的样本集Xe,约简后训练样本集为移动的过程，训练样本中，核样本个数多，且分布在 Xin,则动态数据约简的神经网络分类器训练方边界样本内部，所以在网络迭代训练过程中，核样本法算法如下：一般位于分类超曲面内部，其分类错误率较低，而边算法1动态数据约简的神经网络分类器训练界样本随着分类超曲面的移动，其分类错误率也随输入X,xwd,xb,xwt=1,XW1.)=0.5, 之波动。所以在网络训练过程中应该减少核样本的 i=1,2,…,m 作用，增加边界样本的比重。输出神经网络分类器f(x)。基于上述思想，本文提出了一种基于训练分类 1)初始化网络结构，随机初始化网络权值：错误率的动态数据约简方法(DDR):在网络训练过 2)训练样本规则化预处理：程中，首先赋给每个训练样本一个权重值xw:(i= 3)对当前训练样本X.m进行随机乱序操作， 1,2,…,m,m为原始训练样本总数)作为样本的重重新排列样本的顺序：要性度量，则样本构成权重向量XW={xw,…, 4)按照训练样本排列序号，依次提取批量s个 x,·,xwm};然后再依据每次迭代所有原始训练样本，样本分成n个批次，n=round(m/s)。样本的分类错误率动态更新每个训练样本的权重 5)计算网络各批量的均值误差值，更新规则为：降低正确分类样本的权重值，增加错误分类样本的权重值，以达到重点关注易错分类 (fx）-y)2,i=1,2,…,n

于分类超曲面的生成，从这个方面来说，边界样本就是位于理想分类超曲面附近的样本。神经网络在训练过程中可以理解为依据训练数据调整分类超曲面的过程，训练样本中，如果某种类别的数据量越多，它在训练出的模型中所起的作用就越大，分类超曲面越靠近该分类。所以训练样本的分布主要影响分类超曲面的位置，训练样本的个数则主要影响网络的训练时间。依据文献［５，７，９］通过聚类或样本距离，依据数据样本位置分布将数据分为核样本和边界样本，核样本数据一般位于数据类别聚类中心或远离类别边界的位置，边界样本位于相邻类别的临近或重叠位置。从聚类分析的观点来看，位于类中心的核样本更具代表性，所表达信息量更大，核样本可以使得训练出的模式类区域更加紧凑，不同模式类区域间隔更大，但核样本数目太多，不仅增加网络训练时间，还容易使得分类超曲面过于靠近核样本，使得分类区域过小，从而使得边界样本被划分到超曲面以外，使得网络分类错误率增加，泛化能力降低。文献［１１］指出，基于神经网络的模式识别中，训练样本的总数目对于神经网络训练的影响不是十分重要，重要的是其中边界样本的数目；有了足够多的边界样本，就可以训练出好的分类超曲面。但由于网络中边界样本个数相对较少，较少的训练数据很容易导致网络发生过拟合现象，同样会导致网络泛化能力下降。所以在神经网络分类器训练过程中，在利用全部边界样本的基础上，为了防止由于数据较少引起的过拟合问题，实验还应选择相应数量的核样本来协同训练。由于神经网络训练过程可以理解为分类超曲面移动的过程，训练样本中，核样本个数多，且分布在边界样本内部，所以在网络迭代训练过程中，核样本一般位于分类超曲面内部，其分类错误率较低，而边界样本随着分类超曲面的移动，其分类错误率也随之波动。所以在网络训练过程中应该减少核样本的作用，增加边界样本的比重。基于上述思想，本文提出了一种基于训练分类错误率的动态数据约简方法（ＤＤＲ）：在网络训练过程中，首先赋给每个训练样本一个权重值ｘｗｉ（ｉ＝１，２，…，ｍ，ｍ为原始训练样本总数）作为样本的重要性度量，则样本构成权重向量ＸＷ＝｛ｘｗ１，…，ｘｗｉ，…，ｘｗｍ｝；然后再依据每次迭代所有原始训练样本的分类错误率动态更新每个训练样本的权重值，更新规则为：降低正确分类样本的权重值，增加错误分类样本的权重值，以达到重点关注易错分类的边界样本，弱化易正确分类的核样本的目的；最后依据数据约简规则对训练样本进行挑选。数据约简选择规则为：对于正确分类的训练样本，在［０，１］随机选择一个数值ｒａｎｄ，若ｒａｎｄ小于样本的权重值，则选择该样本为新的训练样本；否则剔除该样本。这样在迭代过程中一直迭代分类正确的核样本，由于其权值持续降低，被选择的概率较小；而边界样本由于其分类准确性随着分类超曲面的移动而波动，所以其权重值较大，被选择的概率较大；对于错误分类的样本则全部选择。然后将全部错分类样本和随机选择的部分正确分类样本作为新的训练样本集，进行下一次迭代训练。由于神经网络训练过程中迭代收敛较慢，训练过程往往需要较长的迭代次数，这样会使核样本的权重值持续降低，一些错误分类边界样本的权重值则持续增加，导致训练样本的权值差异较大，不利于正确分类样本的选择。为了避免上述问题，在权重值更新后通过权重值上下限约束，对权重值进行规范化处理，权重下限值为ｘｗｂ，ｘｗｂ＞０，权重上限值为ｘｗｔ，ｘｗｔ ≤ １，即权重ｘｗｉ ∈ ［ｘｗｂ，ｘｗｔ］，ｉ＝１，２，…，ｍ，通过权值的规范化约束，使得迭代过程中选择边界样本的同时，也选择部分核样本进行协同训练，以避免由于样本过少而引起的过拟合现象。１．３ＤＤＲ训练方法算法描述设训练集为Ｘ＝｛（ｘ１，ｙ１），…，（ｘｉ，ｙｉ），…，（ｘｍ，ｙｍ）｝，ｘｉ ∈ Ｒｒ，训练样本批量为ｓ，样本总均值误差为Ｅ，批量均值误差为ｅ，连接权值为ｗ，学习率为 α ，迭代次数为ｋ，样本权重集为ＸＷ，正确分类样本权重集为ＸＷｒｉｇｈｔ，权重增量为ｘｗｄ，权重标识集为ＸＳ，错分类样本集为Ｘｗｒｏｎｇ，正确分类样本集为Ｘｒｉｇｈｔ，从Ｘｒｉｇｈｔ中选择的样本集Ｘｓｅｌｅｃｔ，约简后训练样本集为Ｘｒｅｄｕｃｔｉｏｎ，则动态数据约简的神经网络分类器训练方法算法如下：算法１动态数据约简的神经网络分类器训练输入Ｘ，ｘｗｄ，ｘｗｂ，ｘｗｔ＝１，ＸＷ（１，ｉ）＝０．５，ｉ＝１，２，…，ｍ；输出神经网络分类器ｆ（ｘ）。１）初始化网络结构，随机初始化网络权值；２）训练样本规则化预处理；３）对当前训练样本Ｘｒｅｄｕｃｔｉｏｎ进行随机乱序操作，重新排列样本的顺序；４）按照训练样本排列序号，依次提取批量ｓ个样本，样本分成ｎ个批次，ｎ＝ｒｏｕｎｄ（ｍ／ｓ）。５）计算网络各批量的均值误差ｅｉ＝１ｓ ∑ ｓｊ＝１（ｆ（ｘｊ）－ｙｊ）２，ｉ＝１，２，…，ｎ ·２６０· 智能系统学报第１２卷

第2期刘威，等：动态数据约简的神经网络分类器训练方法研究 .261. 6)子批量内均值修正网络的权值： 2 实验分析 de 0(k+1)=o(k)+a 00 2.1 实验参数设置 7)计算所有样本的均值误差：实验网络神经元激励函数均采用单级S型 E=6,i=1,2…,n (Sigmoid)激励函数，训练中采用动量项梯度下降算法作为网络训练算法，为了加速网络收敛，选用子批 8)依据分类错误率更新样本权重值：量网络权值更新规则，同时为了避免过拟合现象，实 X.nng= 验输人数据经过预处理后再输入到网络中，并且在 {(x11),…,(x:y:),…,(xpyn)fx）~=y 训练过程中加入权值惩罚项。 Xright= 为了使算法稳定收敛到最小，采用学习率缩减的 {(x1,y1),…,(x,y:),…,（xgyg){f八x)==y 方式来调节学习率，设学习率改变次数比例参数为 (-1 f八x:)==y scaleIndex,学习率改变程度参数为scaleLr,学习率改 x5:+1, fx:)~=y: 变总次数为Change Times,.学习率调整策略见算法2。算法2学习率调整算法 XWk+l,=XWk.)+XS:·xwd,i=1,2,…,m 输入T,scaleIndex,scaleLr,ChangeTimes; 9)样本权重约束输出学习率curLr。 XW(1.)max(XW(+1 ,xwb) =min(wt)12.m Changelndex =T*scalelndex FOR =1:K 10)样本约简选择 IF >Changelndex&&curTimes<ChangeTimes Xcdea=(x,)XWish(i)rand(0,1),i= Changelndex =k+scalelndex *(K-k) 1,2,,9,Xmduction =Xhad UXscect curLr =curLr scaleLr 11)根据迭代次数进行判断是否达到收敛要求，若 curTimes curTimes+1 达到要求则网络完成训练，否则循环3)~11)。为了全面公平地对比标准神经网络训练方法算法补充说明：round()函数表示对小数进行 (STD)和本文提出的数据约简神经网络训练方法舍入取整操作：神经网络更新规则当s=m时，即为 (DDR),将两种神经网络在相同的网络结构、初始全批量权值更新规则：当s=1时，即为增量权值更权值和学习参数配置下进行训练。新规则：当1<s<m时，即为子批量权值更新规则。 2.2人工数据可视化分析动态数据约简的神经网络训练方法如图2。为了可视化验证动态数据约简神经网络训练方开始法在训练过程中数据约简过程，实验采用正态分布生成3分类的2维点数据集，各类点的坐标均值分别为归一化预处理数据人 (38,38),(50,70),(75,45),每个维度的方差为55，训练样本随机排序每个类别400个样本，总计1200个样本。生成的数据集如图5所示，星号为类别A,五角星为类别B,圆将训练样本按照批量S进行分组依据权重和错误率进行数据选择圈为类别C,数据集中每个类的中心点数据密集，边界点相对稀疏，且边界别点之间存在重叠。在当前批量内进行权值更新基于错误率更新样本权重实验参数设置：训练样本个数为600，测试样本个数为600，网络结构为2-3-3，迭代次数为500，学全部批量计算训练样本分类于算完成错误率习率为0.2，动量项为0.9，权值惩罚系数为105，学习改变参数scaleIndex和scaleLr均为2/3，ChangeT- <是否达到收敛 imes为8，初始训练样本权重为0.5，权重增量系数为0.005，权值上限为1，权值下限为0.1。结束○ 依据实验参数设置可知，训练样本权重xw:∈ [0.1,1],i=1,2,…,m。为了可视化实验过程的训图2动态数据约简神经网络训练方法流程图 Fig.2 Flow chart of neural network training method 练样本权重分布，实验将权重取值范围分成[0.1， for dynamie data reduction 0.32]、[0.32,0.55]、[0.55,0.77]、[0.77,1]4个区

６）子批量内均值修正网络的权值：ｗ（ｋ＋１）＝ｗ（ｋ）＋ α ∂ｅ ∂ｗ７）计算所有样本的均值误差：Ｅ＝ ∑ ｎｉ＝１ｅｉ，ｉ＝１，２，…，ｎ８）依据分类错误率更新样本权重值：Ｘｗｒｏｎｇ＝｛（ｘ１，ｙ１），…，（ｘｉ，ｙｉ），…，（ｘｐ，ｙｐ）｝ｆ（ｘｉ）～＝ｙｉＸｒｉｇｈｔ＝｛（ｘ１，ｙ１），…，（ｘｉ，ｙｉ），…，（ｘｑ，ｙｑ）｝ｆ（ｘｉ）＝＝ｙｉＸＳｉ＝－１，ｆ（ｘｉ）＝＝ｙｉ＋１，ｆ（ｘｉ）～＝ｙｉ { ＸＷ（ｋ＋１，ｉ）＝ＸＷ（ｋ，ｉ）＋ＸＳｉ·ｘｗｄ，ｉ＝１，２，…，ｍ９）样本权重约束ＸＷ（ｋ＋１，ｉ）＝ｍａｘ（ＸＷ（ｋ＋１，ｉ），ｘｗｂ）ＸＷ（ｋ＋１，ｉ）＝ｍｉｎ（ＸＷ（ｋ＋１，ｉ），ｘｗｔ），ｉ＝１，２，…，ｍ１０）样本约简选择Ｘｓｅｌｅｃｔ＝｛（ｘｉ，ｙｉ）｝ＸＷｒｉｇｈｔ（ｉ）＞ｒａｎｄ（０，１），ｉ＝１，２，…，ｑ，Ｘｒｅｄｕｃｔｉｏｎ＝Ｘｂａｄ ∪ Ｘｓｅｌｅｃｔ１１）根据迭代次数进行判断是否达到收敛要求，若达到要求则网络完成训练，否则循环３）～１１）。算法补充说明：ｒｏｕｎｄ（）函数表示对小数进行舍入取整操作；神经网络更新规则当ｓ＝ｍ时，即为全批量权值更新规则；当ｓ＝１时，即为增量权值更新规则；当１＜ｓ＜ｍ时，即为子批量权值更新规则。动态数据约简的神经网络训练方法如图２。图２动态数据约简神经网络训练方法流程图Ｆｉｇ．２Ｆｌｏｗｃｈａｒｔｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｍｅｔｈｏｄｆｏｒｄｙｎａｍｉｃｄａｔａｒｅｄｕｃｔｉｏｎ２实验分析２．１实验参数设置实验网络神经元激励函数均采用单级Ｓ型（Ｓｉｇｍｏｉｄ）激励函数，训练中采用动量项梯度下降算法作为网络训练算法，为了加速网络收敛，选用子批量网络权值更新规则，同时为了避免过拟合现象，实验输入数据经过预处理后再输入到网络中，并且在训练过程中加入权值惩罚项。为了使算法稳定收敛到最小，采用学习率缩减的方式来调节学习率，设学习率改变次数比例参数为ｓｃａｌｅＩｎｄｅｘ，学习率改变程度参数为ｓｃａｌｅＬｒ，学习率改变总次数为ＣｈａｎｇｅＴｉｍｅｓ，学习率调整策略见算法２。算法２学习率调整算法输入Ｔ，ｓｃａｌｅＩｎｄｅｘ，ｓｃａｌｅＬｒ，ＣｈａｎｇｅＴｉｍｅｓ；输出学习率ｃｕｒＬｒ。ＣｈａｎｇｅＩｎｄｅｘ＝Ｔ∗ｓｃａｌｅＩｎｄｅｘＦＯＲｋ＝１：ＫＩＦｋ＞ＣｈａｎｇｅＩｎｄｅｘ＆＆ｃｕｒＴｉｍｅｓ＜ＣｈａｎｇｅＴｉｍｅｓＣｈａｎｇｅＩｎｄｅｘ＝ｋ＋ｓｃａｌｅＩｎｄｅｘ∗（Ｋ－ｋ）ｃｕｒＬｒ＝ｃｕｒＬｒ∗ｓｃａｌｅＬｒｃｕｒＴｉｍｅｓ＝ｃｕｒＴｉｍｅｓ＋１为了全面公平地对比标准神经网络训练方法（ＳＴＤ）和本文提出的数据约简神经网络训练方法（ＤＤＲ），将两种神经网络在相同的网络结构、初始权值和学习参数配置下进行训练。２．２人工数据可视化分析为了可视化验证动态数据约简神经网络训练方法在训练过程中数据约简过程，实验采用正态分布生成３分类的２维点数据集，各类点的坐标均值分别为（３８，３８），（５０，７０），（７５，４５），每个维度的方差为５５，每个类别４００个样本，总计１２００个样本。生成的数据集如图５所示，星号为类别Ａ，五角星为类别Ｂ，圆圈为类别Ｃ，数据集中每个类的中心点数据密集，边界点相对稀疏，且边界别点之间存在重叠。实验参数设置：训练样本个数为６００，测试样本个数为６００，网络结构为２－３－３，迭代次数为５００，学习率为０．２，动量项为０．９，权值惩罚系数为１０－５，学习改变参数ｓｃａｌｅＩｎｄｅｘ和ｓｃａｌｅＬｒ均为２／３，ＣｈａｎｇｅＴ⁃ ｉｍｅｓ为８，初始训练样本权重为０．５，权重增量系数为０．００５，权值上限为１，权值下限为０．１。依据实验参数设置可知，训练样本权重ｘｗｉ ∈ ［０．１，１］，ｉ＝１，２，…，ｍ。为了可视化实验过程的训练样本权重分布，实验将权重取值范围分成［０．１，０．３２］、［０．３２，０．５５］、［０．５５，０．７７］、［０．７７，１］４个区第２期刘威，等：动态数据约简的神经网络分类器训练方法研究 ·２６１·

262 智能系统学报第12卷间，依次使用圆圈、五角星、倒三角、正方形4种图形 100 ·权重0.10-0.32 9 权重0.32-0.55 来标记每个区间内的训练样本，训练样本权重分布权重0.55-0.77 如图3所示。 ■权重0.77-1.00 100 权重0.10-0.32 90 权重0.320.55 80 70 40 60 20 40 20 30 405060 708090100 30 20 (e)迭代次数为300 00 10 20 。权重0.10-0.32 30 40 50 60 708090100 *权重0.320.55 (a)迭代次数为20 0300 权重0.550.77 ■电07.00 100 ·权重0.10-0.32 权重032-0.55 000 权重0.550.77 权重0.77-1.00 60 9 ● 1 0 10 20 30 405060 708090100 30 20 (f)迭代次数为500 图3训练样本权重分布图 20 30 40 60708090100 Fig.3 Training sample weight distribution graph (b)迭代次数为50 分析图3可知，随着迭代次数的增加，在变化趋 V面010-03 势上，样本点的形状呈现两极化的趋势，处于权重中 000 权重0.32-0.55 权重0.55-0.77 段的五角星和倒三角的样本点个数逐渐减少，处于权重0.77-1.00 权重两端的圆圈和正方形的样本点个数逐渐增多； 60 在分布趋势上，远离类别边界的点最先变为圆圈，临近类别边界的点缓慢变化为圆圈，而一些位于边界 40 附近容易错分的样本点最终变化为正方形。这说明 30 远离类别边界或位于类别中心的核样本数据更容易 20 被正确分类，而临近或位于类别边界的样本较难被 1 0 20 30 40 50 60 7080 90100 正确分类，从而也证明基于训练错误率的样本权值能够反映样本是否为边界样本，即可以从权值上区 (c)迭代次数为100 分核样本和边界样本。 100 权重0.100.32 权重0.32-0.55 相应迭代次数下，训练数据集中通过随机数和 00刀权重0.55-0.77 权重0.77-1.00 权重比较选择的训练样本如图4所示，图中五角星倒三角、圆圈标记点为原始的训练样本，正方形框标记点为当前迭代次数下，选择的训练样本。分析图4可知，随着迭代次数的增加，在变化趋 40 势上，约简后的训练样本（正方形框样本）逐渐减 ● 少：在分布上，约简后的正方形框样本中核样本的比 10 重逐渐减少，边界样本的比重逐渐增大。这说明基 0 30 405060708090 100 于样本权重的数据约简方法能够筛选掉大部分核样 (d)迭代次数为200 本，保留部分核样本，弱化了核样本的作用，增加了

间，依次使用圆圈、五角星、倒三角、正方形４种图形来标记每个区间内的训练样本，训练样本权重分布如图３所示。（ａ）迭代次数为２０（ｂ）迭代次数为５０（ｃ）迭代次数为１００（ｄ）迭代次数为２００（ｅ）迭代次数为３００（ｆ）迭代次数为５００图３训练样本权重分布图Ｆｉｇ．３Ｔｒａｉｎｉｎｇｓａｍｐｌｅｗｅｉｇｈｔｄｉｓｔｒｉｂｕｔｉｏｎｇｒａｐｈ分析图３可知，随着迭代次数的增加，在变化趋势上，样本点的形状呈现两极化的趋势，处于权重中段的五角星和倒三角的样本点个数逐渐减少，处于权重两端的圆圈和正方形的样本点个数逐渐增多；在分布趋势上，远离类别边界的点最先变为圆圈，临近类别边界的点缓慢变化为圆圈，而一些位于边界附近容易错分的样本点最终变化为正方形。这说明远离类别边界或位于类别中心的核样本数据更容易被正确分类，而临近或位于类别边界的样本较难被正确分类，从而也证明基于训练错误率的样本权值能够反映样本是否为边界样本，即可以从权值上区分核样本和边界样本。相应迭代次数下，训练数据集中通过随机数和权重比较选择的训练样本如图４所示，图中五角星、倒三角、圆圈标记点为原始的训练样本，正方形框标记点为当前迭代次数下，选择的训练样本。分析图４可知，随着迭代次数的增加，在变化趋势上，约简后的训练样本（正方形框样本）逐渐减少；在分布上，约简后的正方形框样本中核样本的比重逐渐减少，边界样本的比重逐渐增大。这说明基于样本权重的数据约简方法能够筛选掉大部分核样本，保留部分核样本，弱化了核样本的作用，增加了 ·２６２· 智能系统学报第１２卷

.264 智能系统学报第12卷强的分类泛化能力。误差下取得了较小的训练和测试分类错误率，说明基于以上分析可知，基于样本权重的动态数据 DDR训练方法更加注重边界样本的作用，具有防止约简方法能够区分并挑选边界样本和核样本，并随过拟合的能力，能够训练分类泛化能力更好的神经着网络的迭代训练，逐渐增加边界样本比重，弱化核网络。样本作用，从而训练出泛化能力更好的神经网络分对比网络训练时间，DDR训练方法具有更短的类器。训练时间。由于每个数据集的训练样本个数，迭代 2.3标准数据集实验分析次数、批量值、权重下限值等训练参数不同，所以相为了验证基于动态数据约简的神经网络训练方对STD训练方法，DDR训练方法时间缩短程度有所法在标准分类数据集上的效果，选取10组标准数据不同，总体上选择的权重下限值和学习批量越小，集进行数值实验，其中Forest等9组来自UCI分类 DDR训练方法所需的训练时间越短，但过小的权重数据集，Mnist标准数据集来自官方网站。各组数据下限值和学习批量，容易引起网络波动，使得网络的集属性以及训练集，测试集样本个数信息见表1。分类泛化能力较差。 I0组数据集中Forest、IS、SL、Mnist具有固定的分类表2不同神经网络训练方法的分类错误率比较训练集个数和测试集个数，剩余的非固定数据集，训 Table 2 Comparison of classification error rate of different 练集和测试集个数比例基本保持1：1。 neural network training methods 表1UCI分类数据集的属性信息数据集 Method loss train-Avg test-Avg time Table 1 Attribute information of UCI classification data set 名称名称样本个数训练样本属性个数类别数 STD 0.0075 0.07 15.66 5.34 Forest Forest 523 198 27 4 DDR 0.0116 0.00 15.79 2.11 Glass 214 100 9 6 STD 0.0366 4.47 35.37 7.70 P 180 90 34 2 Glass DDR 0.0504 1.63 33.48 3.29 Iris 150 75 4 3 STD 0.0044 0.30 30.04 1.24 IS 2310 210 19 7 P DDR 0.0108 0.00 29.96 0.41 LIR 20000 10000 10 Seeds 210 105 > 3 STD 0.0258 3.07 4.22 0.67 Iris SL 6435 4000 36 DDR 0.0585 6 1.87 3.69 0.36 Wine 178 90 13 3 STD 0.0274 3.51 10.14 2.52 Mnist 60000 10000 784 10 IS DDR 0.0326 1.14 8.72 1.53 在相同的实验条件下，标准训练算法(STD)和 STD 0.1141 12.92 14.41 122.33 动态数据约简训练方法(DDR)训练的神经网络分 LIR DDR 0.1446 8.05 11.01 77.80 类器，最终训练集均方误差1oss,训练集分类错误率 train-Avg,测试集分类错误率test-Avg和训练时间 STD 0.0582 7.06 9.62 78.14 time,30次实验的平均结果如表2所示。对比STD DDR 0.0652 5.80 9.78 34.15 和DDR两种训练方法的最终均方误差，除Seeds数 STD 0.0340 3.40 6.44 1.42 据集外，STD训练方法的均方误差均大于DDR训练 Seeds DDR 0.0132 0.13 4.98 3.73 方法的均方误差，说明DDR训练方法在整个训练上更加关注边界样本，弱化了对于训练样本整体的 STD 0.0010 0.04 2.65 0.71 Wine “逼近拟合”。 DDR 0.0017 0.00 2.50 0.49 对比分类错误率，DDR训练方法比STD训练方 STD 0.0045 0.10 1.51 2104.83 法在较高的均方误差下具有更低的训练分类错误 Mnist DDR 0.0047 0.03 1.61 1129.18 率，除Forest、SL和Mnist3个数据集外取得相近的预测分类错误率外，DDR训练方法在其余数据集上基于以上对比分析可知，相对标准的神经网络均具有更低的测试分类错误率。综合对比均方误差训练方法STD,动态数据约简的神经网络训练方法和错分类错误率可知，DDR训练方法在较大的均方 DDR是一种收敛速度更快、分类泛化能力更好的神

强的分类泛化能力。基于以上分析可知，基于样本权重的动态数据约简方法能够区分并挑选边界样本和核样本，并随着网络的迭代训练，逐渐增加边界样本比重，弱化核样本作用，从而训练出泛化能力更好的神经网络分类器。２．３标准数据集实验分析为了验证基于动态数据约简的神经网络训练方法在标准分类数据集上的效果，选取１０组标准数据集进行数值实验，其中Ｆｏｒｅｓｔ等９组来自ＵＣＩ分类数据集，Ｍｎｉｓｔ标准数据集来自官方网站。各组数据集属性以及训练集，测试集样本个数信息见表１。１０组数据集中Ｆｏｒｅｓｔ、ＩＳ、ＳＬ、Ｍｎｉｓｔ具有固定的分类训练集个数和测试集个数，剩余的非固定数据集，训练集和测试集个数比例基本保持１：１。表１ＵＣＩ分类数据集的属性信息Ｔａｂｌｅ１ＡｔｔｒｉｂｕｔｅｉｎｆｏｒｍａｔｉｏｎｏｆＵＣＩｃｌａｓｓｉｆｉｃａｔｉｏｎｄａｔａｓｅｔ名称样本个数训练样本属性个数类别数Ｆｏｒｅｓｔ５２３１９８２７４Ｇｌａｓｓ２１４１００９６ＩＰ１８０９０３４２Ｉｒｉｓ１５０７５４３ＩＳ２３１０２１０１９７ＬＩＲ２００００１００００６１１０Ｓｅｅｄｓ２１０１０５７３ＳＬ６４３５４０００３６６Ｗｉｎｅ１７８９０１３３Ｍｎｉｓｔ６００００１００００７８４１０在相同的实验条件下，标准训练算法（ＳＴＤ）和动态数据约简训练方法（ＤＤＲ）训练的神经网络分类器，最终训练集均方误差ｌｏｓｓ，训练集分类错误率ｔｒａｉｎ⁃Ａｖｇ，测试集分类错误率ｔｅｓｔ⁃Ａｖｇ和训练时间ｔｉｍｅ，３０次实验的平均结果如表２所示。对比ＳＴＤ和ＤＤＲ两种训练方法的最终均方误差，除Ｓｅｅｄｓ数据集外，ＳＴＤ训练方法的均方误差均大于ＤＤＲ训练方法的均方误差，说明ＤＤＲ训练方法在整个训练上更加关注边界样本，弱化了对于训练样本整体的 “逼近拟合”。对比分类错误率，ＤＤＲ训练方法比ＳＴＤ训练方法在较高的均方误差下具有更低的训练分类错误率，除Ｆｏｒｅｓｔ、ＳＬ和Ｍｎｉｓｔ３个数据集外取得相近的预测分类错误率外，ＤＤＲ训练方法在其余数据集上均具有更低的测试分类错误率。综合对比均方误差和错分类错误率可知，ＤＤＲ训练方法在较大的均方误差下取得了较小的训练和测试分类错误率，说明ＤＤＲ训练方法更加注重边界样本的作用，具有防止过拟合的能力，能够训练分类泛化能力更好的神经网络。对比网络训练时间，ＤＤＲ训练方法具有更短的训练时间。由于每个数据集的训练样本个数，迭代次数、批量值、权重下限值等训练参数不同，所以相对ＳＴＤ训练方法，ＤＤＲ训练方法时间缩短程度有所不同，总体上选择的权重下限值和学习批量越小，ＤＤＲ训练方法所需的训练时间越短，但过小的权重下限值和学习批量，容易引起网络波动，使得网络的分类泛化能力较差。表２不同神经网络训练方法的分类错误率比较Ｔａｂｌｅ２Ｃｏｍｐａｒｉｓｏｎｏｆｃｌａｓｓｉｆｉｃａｔｉｏｎｅｒｒｏｒｒａｔｅｏｆｄｉｆｆｅｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋｔｒａｉｎｉｎｇｍｅｔｈｏｄｓ数据集名称Ｍｅｔｈｏｄｌｏｓｓｔｒａｉｎ⁃Ａｖｇｔｅｓｔ⁃ＡｖｇｔｉｍｅＦｏｒｅｓｔＳＴＤ０．００７５０．０７１５．６６５．３４ＤＤＲ０．０１１６０．００１５．７９２．１１ＧｌａｓｓＳＴＤ０．０３６６４．４７３５．３７７．７０ＤＤＲ０．０５０４１．６３３３．４８３．２９ＩＰＳＴＤ０．００４４０．３０３０．０４１．２４ＤＤＲ０．０１０８０．００２９．９６０．４１ＩｒｉｓＳＴＤ０．０２５８３．０７４．２２０．６７ＤＤＲ０．０５８５１．８７３．６９０．３６ＩＳＳＴＤ０．０２７４３．５１１０．１４２．５２ＤＤＲ０．０３２６１．１４８．７２１．５３ＬＩＲＳＴＤ０．１１４１１２．９２１４．４１１２２．３３ＤＤＲ０．１４４６８．０５１１．０１７７．８０ＳＬＳＴＤ０．０５８２７．０６９．６２７８．１４ＤＤＲ０．０６５２５．８０９．７８３４．１５ＳｅｅｄｓＳＴＤ０．０３４０３．４０６．４４１．４２ＤＤＲ０．０１３２０．１３４．９８３．７３ＷｉｎｅＳＴＤ０．００１００．０４２．６５０．７１ＤＤＲ０．００１７０．００２．５００．４９ＭｎｉｓｔＳＴＤ０．００４５０．１０１．５１２１０４．８３ＤＤＲ０．００４７０．０３１．６１１１２９．１８基于以上对比分析可知，相对标准的神经网络训练方法ＳＴＤ，动态数据约简的神经网络训练方法ＤＤＲ是一种收敛速度更快、分类泛化能力更好的神 ·２６４· 智能系统学报第１２卷

第2期刘威，等：动态数据约简的神经网络分类器训练方法研究 .265. 经网络训练方法。 ZHOU Yu,ZHU Anfu,ZHOU Lin,et al.Sample data se- lection method for neural network classifier[J].Journal of 3结论与展望 Huazhong university of science and technology:natural sci- 动态数据约简神经网络训练方法(DDR)利用 ence edition,2012,40(6):39-43. [6]郝红卫，蒋蓉蓉.基于最近邻规则的神经网络训练样本神经网络迭代训练的特性，借助训练样本权值，实现选择方法[J].自动化学报，2007,33(12)：1247-1251. 了单阶段动态地约简训练样本。通过奖励错分类样 HAO Hongwei,JIANG Rongrong.Training sample selection 本的权值，惩罚正确分类样本权值的权值更新规则， method for neural networks based on nearest neighbor rule 依据权值来约简训练样本，在减少训练样本的同时， [J].Acta automatica sinica,2007,33(12)1247-1251. 增加了对于分类影响较大的边界样本的作用，弱化 [7]HARA K,NAKAYAMA K.A training method with small 了冗余核样本的作用。通过人工数据集实验可视化 computation for classification [C]//Proceedings of the 分析可知：基于分类错误率的权值更新方式，能够利 IEEE-INNS-ENNS International Joint Conference on Neural 用权值有效地区分训练集中的边界样本和核样本， Networks.Como,Italy:IEEE,2000:543-548. 基于权值的数据约简规则，可以别除冗余核样本，增 [8]邓乃扬，田英杰.数据挖掘中的新方法一支持向量机加边界样本的比重。通过标准数据集实验可知：基 [M].北京：科学出版社，2004 于动态数据约简的神经网络训练方法是一种收敛速 [9]刘刚，张洪刚，郭军.不同训练样本对识别系统的影响 [J].计算机学报，2005,28(11)：1923-1928，度更快、分类泛化能力更强的神经网络训练方法。 LIU Gang,ZHANG Honggang,GUO Jun.The influence of 但动态约简神经网络训练方法相对于标准神经网络 different training samples to recognition system[J].Chinese 训练方法需要调节权重下限值，权重增量值等参数， journal of computers,2005,28(11):1923-1928. 增加了网络训练的复杂性，后续研究可围绕约简参 [10 SCHAPIRE R E,SINGER Y.Improved boosting algo- 数的自适应调节展开，以简化动态约简神经网络训 rithms using confidence-rated predictions[J].Machine 练方法参数。 learning,1999,37(3):297-336. [11]韦岗，贺前华.神经网络模型学习及应用[M].北京：参考文献：电子工业出版社，1994. [1]毛勇.基于支持向量机的特征选择方法的研究与应用作者简介： [D].杭州：浙江大学，2006. 刘威，男，1977年生，副教授，博士 MAO Yong.A study on feature selection algorithms based on 中国计算机学会会员，主要研究方向为 support vector machine and its application[D].Hangzhou: 人工智能与模式识别、机器学习、露天 Zhejiang University,2006. 采矿系统工程。 [2]罩政仁，吴渝，王国胤.一种基于Rough Set的海量数据分割算法[J].模式识别与人工智能，2006,19(2)：249 -256. QIN Zhengren,WU Yu,WANG Guoyin.A partition algo- rithm for huge data sets based on rough set[J.Pattern rec- 刘尚，男，1988年生，硕士研究生. ognition and artificial intelligence,2006,19(2):249-256. 主要研究方向为人工智能与模式识别、 [3]ABDI H,WILLIAMS L J.Principal component analysis[J]. 机器学习、计算机视觉。 Wiley interdisciplinary reviews:computational statistics, 2010,2(4):433-459. [4]RIFAI S,VINCENT P,MULLER X,et al.Contractive au- 白润才，男，1962年生，教授，博士 to-encoders:explicit invariance during feature extraction 生导师，主要研究方向为数字矿山、露 [C]//Proceedings of the 28th International Conference on 天开采系统工程。 Machine Learning.Bellevue,WA,USA:ICML,2011. 「5]周玉，朱安福，周林，等.一种神经网络分类器样本数据选择方法[J].华中科技大学学报：自然科学版，2012， 40(6):39-43

经网络训练方法。３结论与展望动态数据约简神经网络训练方法（ＤＤＲ）利用神经网络迭代训练的特性，借助训练样本权值，实现了单阶段动态地约简训练样本。通过奖励错分类样本的权值，惩罚正确分类样本权值的权值更新规则，依据权值来约简训练样本，在减少训练样本的同时，增加了对于分类影响较大的边界样本的作用，弱化了冗余核样本的作用。通过人工数据集实验可视化分析可知：基于分类错误率的权值更新方式，能够利用权值有效地区分训练集中的边界样本和核样本，基于权值的数据约简规则，可以剔除冗余核样本，增加边界样本的比重。通过标准数据集实验可知：基于动态数据约简的神经网络训练方法是一种收敛速度更快、分类泛化能力更强的神经网络训练方法。但动态约简神经网络训练方法相对于标准神经网络训练方法需要调节权重下限值，权重增量值等参数，增加了网络训练的复杂性，后续研究可围绕约简参数的自适应调节展开，以简化动态约简神经网络训练方法参数。参考文献：［１］毛勇．基于支持向量机的特征选择方法的研究与应用［Ｄ］．杭州：浙江大学，２００６．ＭＡＯＹｏｎｇ．Ａｓｔｕｄｙｏｎｆｅａｔｕｒｅｓｅｌｅｃｔｉｏｎａｌｇｏｒｉｔｈｍｓｂａｓｅｄｏｎｓｕｐｐｏｒｔｖｅｃｔｏｒｍａｃｈｉｎｅａｎｄｉｔｓａｐｐｌｉｃａｔｉｏｎ［Ｄ］．Ｈａｎｇｚｈｏｕ：ＺｈｅｊｉａｎｇＵｎｉｖｅｒｓｉｔｙ，２００６．［２］覃政仁，吴渝，王国胤．一种基于ＲｏｕｇｈＳｅｔ的海量数据分割算法［Ｊ］．模式识别与人工智能，２００６，１９（２）：２４９－２５６．ＱＩＮＺｈｅｎｇｒｅｎ，ＷＵＹｕ，ＷＡＮＧＧｕｏｙｉｎ．Ａｐａｒｔｉｔｉｏｎａｌｇｏ⁃ ｒｉｔｈｍｆｏｒｈｕｇｅｄａｔａｓｅｔｓｂａｓｅｄｏｎｒｏｕｇｈｓｅｔ［Ｊ］．Ｐａｔｔｅｒｎｒｅｃ⁃ ｏｇｎｉｔｉｏｎａｎｄａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ，２００６，１９（２）：２４９－２５６．［３］ＡＢＤＩＨ，ＷＩＬＬＩＡＭＳＬＪ．Ｐｒｉｎｃｉｐａｌｃｏｍｐｏｎｅｎｔａｎａｌｙｓｉｓ［Ｊ］．Ｗｉｌｅｙｉｎｔｅｒｄｉｓｃｉｐｌｉｎａｒｙｒｅｖｉｅｗｓ：ｃｏｍｐｕｔａｔｉｏｎａｌｓｔａｔｉｓｔｉｃｓ，２０１０，２（４）：４３３－４５９．［４］ＲＩＦＡＩＳ，ＶＩＮＣＥＮＴＰ，ＭＵＬＬＥＲＸ，ｅｔａｌ．Ｃｏｎｔｒａｃｔｉｖｅａｕ⁃ ｔｏ⁃ｅｎｃｏｄｅｒｓ：ｅｘｐｌｉｃｉｔｉｎｖａｒｉａｎｃｅｄｕｒｉｎｇｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２８ｔｈＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭａｃｈｉｎｅＬｅａｒｎｉｎｇ．Ｂｅｌｌｅｖｕｅ，ＷＡ，ＵＳＡ：ＩＣＭＬ，２０１１．［５］周玉，朱安福，周林，等．一种神经网络分类器样本数据选择方法［Ｊ］．华中科技大学学报：自然科学版，２０１２，４０（６）：３９－４３．ＺＨＯＵＹｕ，ＺＨＵＡｎｆｕ，ＺＨＯＵＬｉｎ，ｅｔａｌ．Ｓａｍｐｌｅｄａｔａｓｅ⁃ ｌｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｎｅｕｒａｌｎｅｔｗｏｒｋｃｌａｓｓｉｆｉｅｒ［Ｊ］．ＪｏｕｒｎａｌｏｆＨｕａｚｈｏｎｇｕｎｉｖｅｒｓｉｔｙｏｆｓｃｉｅｎｃｅａｎｄｔｅｃｈｎｏｌｏｇｙ：ｎａｔｕｒａｌｓｃｉ⁃ ｅｎｃｅｅｄｉｔｉｏｎ，２０１２，４０（６）：３９－４３．［６］郝红卫，蒋蓉蓉．基于最近邻规则的神经网络训练样本选择方法［Ｊ］．自动化学报，２００７，３３（１２）：１２４７－１２５１．ＨＡＯＨｏｎｇｗｅｉ，ＪＩＡＮＧＲｏｎｇｒｏｎｇ．Ｔｒａｉｎｉｎｇｓａｍｐｌｅｓｅｌｅｃｔｉｏｎｍｅｔｈｏｄｆｏｒｎｅｕｒａｌｎｅｔｗｏｒｋｓｂａｓｅｄｏｎｎｅａｒｅｓｔｎｅｉｇｈｂｏｒｒｕｌｅ［Ｊ］．Ａｃｔａａｕｔｏｍａｔｉｃａｓｉｎｉｃａ，２００７，３３（１２）：１２４７－１２５１．［７］ＨＡＲＡＫ，ＮＡＫＡＹＡＭＡＫ．Ａｔｒａｉｎｉｎｇｍｅｔｈｏｄｗｉｔｈｓｍａｌｌｃｏｍｐｕｔａｔｉｏｎｆｏｒｃｌａｓｓｉｆｉｃａｔｉｏｎ［Ｃ］／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ⁃ＩＮＮＳ⁃ＥＮＮＳＩｎｔｅｒｎａｔｉｏｎａｌＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ．Ｃｏｍｏ，Ｉｔａｌｙ：ＩＥＥＥ，２０００：５４３－５４８．［８］邓乃扬，田英杰．数据挖掘中的新方法———支持向量机［Ｍ］．北京：科学出版社，２００４．［９］刘刚，张洪刚，郭军．不同训练样本对识别系统的影响［Ｊ］．计算机学报，２００５，２８（１１）：１９２３－１９２８．ＬＩＵＧａｎｇ，ＺＨＡＮＧＨｏｎｇｇａｎｇ，ＧＵＯＪｕｎ．Ｔｈｅｉｎｆｌｕｅｎｃｅｏｆｄｉｆｆｅｒｅｎｔｔｒａｉｎｉｎｇｓａｍｐｌｅｓｔｏｒｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍ［Ｊ］．Ｃｈｉｎｅｓｅｊｏｕｒｎａｌｏｆｃｏｍｐｕｔｅｒｓ，２００５，２８（１１）：１９２３－１９２８．［１０］ＳＣＨＡＰＩＲＥＲＥ，ＳＩＮＧＥＲＹ．Ｉｍｐｒｏｖｅｄｂｏｏｓｔｉｎｇａｌｇｏ⁃ ｒｉｔｈｍｓｕｓｉｎｇｃｏｎｆｉｄｅｎｃｅ⁃ｒａｔｅｄｐｒｅｄｉｃｔｉｏｎｓ［Ｊ］．Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ，１９９９，３７（３）：２９７－３３６．［１１］韦岗，贺前华．神经网络模型学习及应用［Ｍ］．北京：电子工业出版社，１９９４．作者简介：刘威，男，１９７７年生，副教授，博士，中国计算机学会会员，主要研究方向为人工智能与模式识别、机器学习、露天采矿系统工程。刘尚，男，１９８８年生，硕士研究生，主要研究方向为人工智能与模式识别、机器学习、计算机视觉。白润才，男，１９６２年生，教授，博士生导师，主要研究方向为数字矿山、露天开采系统工程。第２期刘威，等：动态数据约简的神经网络分类器训练方法研究 ·２６５·

点击进入文档下载页（PDF格式）

已到末页，全文结束

点击下载（PDF格式）

浏览记录