正态分布&最小错误率Bayesi决策 正态分布&最小错误率Bayes?决策 情况一：Σ=02L,i=1,,c 情况一：Σ=o2L,=1,,c )最小距离分类器 b)线性分类器：（各先验概率关系未知） ■可看作模板匹配：每个类有一个典型样本（即 均值向量)，称为模板，而待分类样本x只要 g国=--Y-2+nPa 2a2 按欧氏距离计算与哪个模板最相似（欧氏距离 最短)即可作决定。 's-2s+n)mPok :xx与类别号i无关 小8国=a2a+,）rh@)-+a 其中，=之a=京+h@ 正态分布&最小错误率Bayesi决策 正态分布&最小错误率Bayes?决策 情况一：Σ=021=1c Case 1:;=o2I b)线性分类器：判别函数为线性函数或者决策面 为超平面的分类器。 ■决策面方程： w(-)=0, 其中：w=,-, σ2 -In P(o(H,-B) 3=,+,）-,FP@ ■决策面为一个过的超平面，法线方向为（μ1- μ，当Pw)=Po,该超平面过(u+u)/2 点；在二维情况下，即过μ与μ连线的垂直平 分线。当P(w)≠P(w),该超平面的位置要向远 离先险概率大的方向偏，但超平面方向不变。 正态分布&最小错误率Bayesz决策“ 正态分布&最小错误率Bayesa决策" 情况二：=Σ，=L,c,即各类协方差矩阵相等 情况二：Σ=Σ，i=l,…,c,即各类协方差矩阵相等 ■几何上，具有同样概率密度函数的点的轨迹是同 )马式距离分类器：各先验概率相等，则判决函 样大小和形状的超椭球面，中心由类均值μ决定 数可简化为 2与i无关， 8()=y2=(-4,)(-4,方 8国=-2-yg't-）广2e+nPe)-2n2a 口判决函数是x到μ的马式距离的平方。 →8国=-k-Y'(-,)+nP@方 正态分HP)P.时的决策面7 正态分布&最小错误率Bayes决策 情况一：Σi =σ2I, i=1,…,c a) 最小距离分类器  可看作模板匹配：每个类有一个典型样本(即 均值向量)，称为模板，而待分类样本ｘ只要 按欧氏距离计算与哪个模板最相似(欧氏距离 最短)即可作决定。 8 正态分布&最小错误率Bayes决策 情况一：Σi =σ2I, i=1,…,c b) 线性分类器：（各先验概率关系未知）     2 T 2 T 2 2 0 0 2 ( )( ) ( ) ln ( ) 2 1 2 ln ( ); 2 1 ( ) 2 ln ( ) , 2 1 1 ln ( ). 2 i T i i i i T T i ii i T T i i ii i T T i ii i i T i i g P P i g P P                             x μ x μ x x x μ x μ μ x x x μ x μ μ w μ μμ w x  与类别号 无关 其中， ， 9 正态分布&最小错误率Bayes决策 情况一：Σi =σ2I, i=1,…,c b) 线性分类器：判别函数为线性函数或者决策面 为超平面的分类器。  决策面方程：  决策面为一个过x0的超平面，法线方向为(μi－ μj)。当P(ωi)＝P(ωj)，该超平面过(μi+μj)/2 点；在二维情况下，即过μi与μj连线的垂直平 分线。当P(ωi)≠P(ωj)，该超平面的位置要向远 离先验概率大的方向偏，但超平面方向不变。 2 0 2 0 , 1 ( ) ( ) ln ( ). 2 || || ( ) ( )0, i j i ij ij ij j T P P            w μ μ x μμ μμ μ μ wxx 其中: 10 正态分布&最小错误率Bayes决策 11 正态分布&最小错误率Bayes决策 情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等  几何上，具有同样概率密度函数的点的轨迹是同 样大小和形状的超椭球面，中心由类均值μi决定。  Σ与 i 无关， 1 1 1 1 ( ) ( ) ( ) ln ln ( ) ln 2 2 22 1 ( ) ( ) ( ) ln ( ); 2 T i ii i i i T i i ii d g P g P                    x x μ x μ x x μ x μ 12 正态分布&最小错误率Bayes决策 情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等 a) 马式距离分类器：各先验概率相等，则判决函 数可简化为  判决函数是x到μi的马式距离的平方。 2 () ( ) ( ) T i ii g     -1 x x-μ x -μ ；