Backpropagation Algorithm 郝红侠 2006.11.13 2023/7/9
2023/7/9 1 Backpropagation Algorithm 郝红侠 2006.11.13
Perceptron Single Layer Feed- forward Rosenblatt's Perceptron:a network of processing elements (PE): Input layer of Output layer source nodes of neurons 2023/7/9 2
2023/7/9 2 Perceptron : Single Layer Feedforward Input layer of source nodes Output layer of neurons Rosenblatt’s Perceptron: a network of processing elements (PE):
XOR问题 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门(universal logic gate) 感知器不能解决XOR问题 两层感知器可以解决XOR问题 异或问题的二层感知器 2023/7/9 3
2023/7/9 3 XOR问题 ⚫ 任何一个逻辑电路都可以只用XOR门来实现， XOR是通用门 (universal logic gate) ⚫ 感知器不能解决XOR问题 ⚫ 两层感知器可以解决XOR问题 异或问题的二层感知器
Perceptron Multi Layer Feed- forward Input Output layer layer Hidden Layer 2023/7/9 4
2023/7/9 4 Perceptron : Multi Layer Feedforward Input layer Output layer Hidden Layer •••• •••• •••• ••••
MLP的特性 。除了输入输出，MLP含有一层或多层隐单元，隐单元 从输入模式中提取更多有用的信息，使网络完成更复 杂的任务。 。MLP神经元的激励函数一般采用Sigmoid函数，即 1 a121 +exp(-n,) 式中n:是第i个神经元的输入信号，a:是该神经元 的输出信号。 2023/7/9 5
2023/7/9 5 MLP的特性 ⚫ 除了输入输出，MLP含有一层或多层隐单元，隐单元 从输入模式中提取更多有用的信息，使网络完成更复 杂的任务。 ⚫ MLP神经元的激励函数一般采用Sigmoid函数，即 1 1 exp( ) i i a n = + − 式中ni是第i个神经元的输入信号，ai是该神经元 的输出信号
·当隐层神经元足够多时，Sigmoid?结构原 则上可以以任意精度逼近的多元非线性函 数 MLP的适用范围大大超过单程网络 ·为了提高神经网络的分类能力，必须采用 MLP，但当要精确逼近复杂问题时，隐层 神经元和连接突触可能会达到“爆炸”量。 2023/7/9 6
2023/7/9 6 ⚫ 当隐层神经元足够多时，Sigmoid结构原 则上可以以任意精度逼近的多元非线性函 数 ⚫ MLP的适用范围大大超过单程网络 ⚫ 为了提高神经网络的分类能力，必须采用 MLP，但当要精确逼近复杂问题时，隐层 神经元和连接突触可能会达到“爆炸”量
Backpropagation Algorithm 它之所以是一种学习方法，就是因为用它可以对组成 前店 断修 改 Why a Backpropagation 成所 皇 learning method? 而网 络中 那 么这种学习算法就是要求得这些参数。 之所以将其称作为反向学习算法，是因为在修改各人工 神经元的连接权值时，所依据的是该网络的实际输出与期 望的输出之差。将这一差值反向一层一层的向回传播，来 决定连接权值的修改。 2023/7/9 7
2023/7/9 7 Backpropagation Algorithm ⚫ Late 1980’s - NN re-emerge with Rumelhart and McClelland (Rumelhart, D., McClelland, J., Parallel and Distributed Processing, MIT Press, Cambridge, 1986.） Why BP is a learning method？ 它之所以是一种学习方法，就是因为用它可以对组成 前向多层网络的各人工神经元之间的连接权值进行不断修 改，从而使该前向多层网络能够将输入它的信息变换成所 期望的输出信息。如果将该多层网络看成一个变换，而网 络中各人工神经元之间的连接权值看成变换中的参数，那 么这种学习算法就是要求得这些参数。 Why a Backpropagation learning method？ 之所以将其称作为反向学习算法，是因为在修改各人工 神经元的连接权值时，所依据的是该网络的实际输出与期 望的输出之差。将这一差值反向一层一层的向回传播，来 决定连接权值的修改
Learning Rule ●Measure error Reduce that error By appropriately adjusting each of the weights in the network 2023/7/9 8
2023/7/9 8 Learning Rule ⚫ Measure error ⚫ Reduce that error ⚫ By appropriately adjusting each of the weights in the network
BP Network Details 。Forward Pass: Error is calculated from outputs Used to update output weights ●Backward Pass: Error at hidden nodes is calculated by back propagating the error at the outputs through the new weights Hidden weights updated 2023/7/9
2023/7/9 9 BP Network Details ⚫ Forward Pass: ⚫ Error is calculated from outputs ⚫ Used to update output weights ⚫ Backward Pass: ⚫ Error at hidden nodes is calculated by back propagating the error at the outputs through the new weights ⚫ Hidden weights updated
BP Algorithm ·正向过程：=wa-》=∑w4 a)f(n)) 输出层所有神经元的误差能量总和sum squared error,SSE J-se-2∑4，-a,) 。权值修正：delta学习规侧则 △w,=-n0w) onL=-n on aJ =-n an;owj a(k-1) 2023/7/9 10
2023/7/9 10 BP Algorithm ⚫ 正向过程: ( ) ( ) ( 1) ( ) ( 1) k k k k k j j ij i i n w a − − = = w a ( ) ( ) ( ) k k a f n j j = ⚫ 输出层所有神经元的误差能量总和 sum squared error, SSE 1 2 sse ( ) 2 j j j J t a = = − ⚫ 权值修正: delta学习规则 j ( 1) k j j j j j J J J n n n − = − = − = − w a w w