3 生物神经网络(BNN) Dendrites Cell body Axon Direction of message Axon terminals synapse with dendrites on target cell Axon
3 生物神经网络(BNN )
6 神经元模型 口R个输入p,∈R,即R维输 入向量p; 口n:网络输入,n=W·p+b Input Neuron w Vector Input R个权值w,∈R,即n维 输入向量W; ■阈值b; ▣输出:a=W·p+b) a=fWp+b) ■f一输出/传递/激活函数
6 神经元模型 R 个输入 pi ∈ R,即 R 维输 入向量 p; n:网络输入, n = W · p + b R 个权值 wi ∈ R,即 n 维 输入向量 W; 阈值 b ; 输出:a = f( W · p + b ) f — 输出 /传递 /激活函数
7 神经网络示意图 Input Layer 1 Layer 2 Layer 3 l2 n 11 0 72 22 3 b b 1 1 PR a im S.R m3.23 S.S 1b al fl (IWLp +b) a2=f2(LW2.1a1+b2) a3=f3(LW32a2+b) a3 =f3 (LW32 f2 (LW2.fl (IWIp +b1)+b2)+b3)
7 神经网络示意图
8 常用输出(激发)函数 a 个+1 n 0 口阈值函数 a hardlim(n) fm)=hardim))=}!(x≥o)y Hard-Limit Transfer Function 10(x<0) a Purelin Transfer Function f(n)=n, a purelin(n) Linear Transfer Function Q ▣Sigmoid Function 0 f(n)= 1 1+e-n a logsig(n) Log-Sigmoid Transfer Function
8 常用输出(激发)函数 阈值函数 Purelin Transfer Function Sigmoid Function 1 ( 0) ( ) hardlim( ) ; 0 ( 0) x fn n x f () ; n n 1 () ; 1 n f n e