深度学习作为机器学习的一个重要分支，根据模型中神经元的互联方式以及各层的相互关系， 可分为前馈神经网络、反馈神经网络和自组织神经网络。前馈神经网络指每一层神经元只接受来自前 一层的数据输入，后层对前层没有数据反馈，初始输入数据经过在各层的向前传播，在输出层得到 最终结果，如图3)所示9。此类结构适用于模式识别，数据挖掘和非线性函数逼近，典型的前馈神 经网络包括：利用梯度下降法的BP神经网络，ELM(极限学习机神经网络)，RBF(径向基神经 网络)，以及包含卷积计算的CNN(卷积神经网络)等。反馈神经网络是指模型中神经元之间有 反馈通道，所有神经元能够任意连接，数据信号可以进行双向传播，输入信号仅仅作为模型的初始 状态，整个模型经过反复循环迭代逐渐收敛至平衡态，如图3b)所示。因此友馈神经网络是一种 动态非线性网络，稳定性是其重要评价指标。此类结构适用于寻找问题最优 典型的反馈神经网 络包括：Hopfield神经网络、Hamming神经网络、WNN(小波神经网络 BAM(双向联系存储网 络)、BM(波耳兹曼机)等。自组织神经网络含有输入层和竞争层两层网络，无隐含层，两层之间 各神经元间双向连接，且竞争层各神经元间也存在双向连接，如图3)所示。此类结构可在无监督 情况下，自组织地改变网络结构和各神经元间权值，进而百动后找原始数据中的特征规律， 典型的 自组织神经网络包括：SOM(自组织映射神经网络) 外对偶传播网络)，ART(自适应共 振理论)等。 a Input layer Hidden layer Output layer Hidden layer Output layer C Input layer Competitive layer 国3/神经两够分类(a前神经网蜂：(b)反馈神经丹蜂：(C自组织神经同络 Fig.3 Neural network classification(a)Feed-forward neural network,(b)Feedback neural network,(c)Self-organizing neural network 现今研号 经提出了上百种深度学习模型，优化算法更是层出不穷。但从实际应用角度来 看，广泛研究且大规模使用的模型并不多。在表1中列出了BP、CNN、WNN和SOM等几种常用主 流深度学习方法，并对比了他们之间的优缺点。 表1几种深度学习主流方法特征对比 Table I Comparison of features of several mainstream methods of deep learning Deep Learning Methods Advantages Disadvantages BP (1)Strong non-linear mapping capability (1)Slow convergence speed深度学习作为机器学习的一个重要分支，根据模型中神经元的互联方式以及各层的相互关系， 可分为前馈神经网络、反馈神经网络和自组织神经网络。前馈神经网络指每一层神经元只接受来自前 一层的数据输入，后层对前层没有数据反馈，初始输入数据经过在各层的向前传播，在输出层得到 最终结果，如图 3a)所示[9]。此类结构适用于模式识别，数据挖掘和非线性函数逼近，典型的前馈神 经网络包括：利用梯度下降法的 BP 神经网络，ELM（极限学习机神经网络），RBF（径向基神经 网络），以及包含卷积计算的 CNN（卷积神经网络）等[10]。反馈神经网络是指模型中神经元之间有 反馈通道，所有神经元能够任意连接，数据信号可以进行双向传播，输入信号仅仅作为模型的初始 状态，整个模型经过反复循环迭代逐渐收敛至平衡态，如图 3b)所示[11]。因此，反馈神经网络是一种 动态非线性网络，稳定性是其重要评价指标。此类结构适用于寻找问题最优解，典型的反馈神经网 络包括：Hopfield 神经网络、Hamming 神经网络、WNN（小波神经网络）、BAM（双向联系存储网 络）、BM（波耳兹曼机）等。自组织神经网络含有输入层和竞争层两层网络，无隐含层，两层之间 各神经元间双向连接，且竞争层各神经元间也存在双向连接，如图 3c)所示[12]。此类结构可在无监督 情况下，自组织地改变网络结构和各神经元间权值，进而自动寻找原始数据中的特征规律，典型的 自组织神经网络包括：SOM（自组织映射神经网络）、CPN（外对偶传播网络），ART（自适应共 振理论）等。 Input layer Hidden layer Output layer Input layer Hidden layer Output layer Input layer Ă Ă Ă Ă a b c Competitive layer 图 3 神经网络分类 (a) 前馈神经网络; (b) 反馈神经网络; (c) 自组织神经网络 Fig.3 Neural network classification (a) Feed-forward neural network; (b) Feedback neural network; (c) Self-organizing neural network 现今研究人员已经提出了上百种深度学习模型，优化算法更是层出不穷。但从实际应用角度来 看，广泛研究且大规模使用的模型并不多。在表 1 中列出了 BP、CNN、WNN 和 SOM 等几种常用主 流深度学习方法，并对比了他们之间的优缺点。 表 1 几种深度学习主流方法特征对比 Table 1 Comparison of features of several mainstream methods of deep learning Deep Learning Methods Advantages Disadvantages BP (1) Strong non-linear mapping capability (1) Slow convergence speed 录用稿件，非最终出版稿