问题,其中B=(b,b2…bn),b≥0。一般情况下M>N+1,X为一个Mx(N+1)阶 的长方阵,所以W无解,只能求取一个近似解。 定义一个误差矢量e=XW-B,建立一个优化的准则函数: J(W, B)=5e=lXw-Bl=3(XW-B)(XW-B) 我们所有求的近似解应满足J(WB)=min,即误差矢量的模最小。OJ_=0且 =0是的W即为所求的解向量。先来求J(W,B)对W的梯度: J(W, B)=3(XW-B)(XW-B 5(wX b) (W'X,-b,)X,=X'(XW-B 0,则 X(XW-B)=XXW-XB=0,即:XxW=XB。 其中XX为一个NxN的方阵,当XX非奇异时(当M比较大时,很容易成立) XX)存在,则: 记:x=(xXx)x,称为X的伪逆矩阵。W=XB.X可以通过X计算得到, 现在如果我们知道B,则可求得W。但B也是一个为止变量。下面来求 B ∑(WX-b)=-(XW-B) 如果直接求解=0,则B是W的函数,所以不可能直接求得B和W,还是需要 个迭代算法来求解。下面还是使用梯度下降法来迭代求解B: B(k+1)=B(k)-C B(K)+C(XW-B(k)) 一般来说,我们选择0<C≤1,由于我们的寻优结果需要满足条件:b≥0,i=1,…,M, 而XW-B(k)有可能大于0也可能小于0,所以上述梯度下降法的迭代规则应修改为26 问题，其中 ( 1 2 , , , ) T M B = b b b ， 0 i b  。一般情况下 M N +1，X 为一个 M N  + ( 1) 阶 的长方阵，所以 W 无解，只能求取一个近似解。 定义一个误差矢量 e XW B = − ，建立一个优化的准则函数： ( ) ( ) ( ) 1 1 1 2 2 , 2 2 2 T J W B e XW B XW B XW B = = − = − − 我们所有求的近似解应满足 J (W B, min ) = ，即误差矢量的模最小。 0 J = W 且 0 J = B 是的 W 即为所求的解向量。先来求 J (W B, ) 对 W 的梯度： ( ) ( ) ( ) ( ) 2 1 1 1 , 2 2 M T T i i i J b = W B XW B XW B W X = − − = −  ( ) ( ) 1 M T T i i i i J b =  = − = −   W X X X XW B W 令： 0 J = W ，则： ( ) 0 T T T X XW B X XW X B − = − = ，即： T T X XW X B = 。 其中 T X X 为一个 N N 的方阵，当 T X X 非奇异时（当 M 比较大时，很容易成立）， ( ) 1 T − X X 存在，则： ( ) 1 T T − W X X X B = 记： ( ) 1 T T −  X X X X = ，称为 X 的伪逆矩阵。  W X B = 。  X 可以通过 X 计算得到， 现在如果我们知道 B ，则可求得 W 。但 B 也是一个为止变量。下面来求 J B ： ( ) ( ) 1 M T i i i J b =  = − − = − −   W X XW B B 如果直接求解 0 J = B ，则 B 是 W 的函数，所以不可能直接求得 B 和 W ，还是需要一 个迭代算法来求解。下面还是使用梯度下降法来迭代求解 B ： ( ) ( ) ( ) 1 ( ) ( ( )) k J k k C k C k =    + = − = + −      B B B B B XW B B 一般来说，我们选择 0 1   C ，由于我们的寻优结果需要满足条件： 0, 1, , i b i M  = ， 而 XW B− (k ) 有可能大于 0 也可能小于 0，所以上述梯度下降法的迭代规则应修改为：