p exp(au,) e(x)或 exp(u 0≤g:≤1对所有i ∑g expt rxp(w J 8 +2O R g;称为 sort max exple 门控网络(虚线部分为 Softmax函数) 这里把F(x)看成线性函数门控网络（虚线部分为Softmax函数） 或 1 0 1 k i 1  =   = i i g g 对所有i ( )  ( ) = = k j j i i u u g 1 exp exp   这里把F（x）看成线性函数 ( )  ( ) = = k j j i i u u g 1 exp exp gi 称为soft max