2010/9/29 14 正态分布&最小错误率Bayes决策 正态分布&最小错误率Bayes决策 口各模式类的特征向量服从多元正态分布： 口决策面方程 pxa)~N(μ，bi=l,,cG 8(x)=8(x),即 口最小错误率Bayes决策规则和判别函数： @arg maxip(x lo)P()), -yΣ)--，rz】 g.(x)=Inp(xl@)+InP(@). )=0 21∑1 P(@,) 采用对数形式的判别函数： g)=--)y2---n2r+hP@ 正态分布&最小错误率Baves决策 正态分布&最小错误率Baves决策 情况一：=σ21,1=1，，c 口最小距离分类器 ·即有 区”， ■条件：=o2L,P(o,)=1c,i=1,,C ■判别函数： ■判决函数： 5()--G-By-B-in2r-io"nPa) gx)=-(x-,(K-4,)=-x-4, 2σ2 ■判决规则：每个样本以它到每类样本均值的欧式 5.()--G-YG-E2:InPo)--k-E+hPox 距离平方的最小值确定其分类，即 2o3 其中，欧式距离平方x-4,f=区-，红-)=2区，一，护 如果k-,f=min-μ，则x∈g 正态分布&最小错误率Bayes决策 正态分布&最小错误率Bayes决策 口最小距离分类器 口线性分类器 ■可看作模板匹配：每个类有一个典型样本（即均 ■条件：∑=σ1，各先验概率关系未知： 值向量)，称为模板：而待分类样本x只需按欧 ■判别函数： 氏距离计算与哪个模板最相似（欧氏距离最短）即 可作决定。 &,倒=--LY-2+nPa) 2a3 =a-2+gA)+n@ :x'x与类别号i无关 (2+)+)wxt 32010/9/29 3 13 正态分布&最小错误率Bayes决策  各模式类的特征向量服从多元正态分布：  最小错误率 Bayes 决策规则和判别函数： 采用对数形式的判别函数： arg max{ ( | ) ( )}, ( ) ln ( | ) ln ( ); j i jj i ii p P gp P          x x x i ii p N ic ( | ) ~ ( ), 1, , ; x  μ ,Σ   1 1 1 ( ) ( ) ( ) ln ln2 ln ( ). 2 22 T i ii i i i d g P    x x         μ x μ 14 正态分布&最小错误率Bayes决策  决策面方程 1 -1 -1 ( ) ( )( ) ( ) 2 1 | ( ) ln ln 0 2| | () ( ) ( ), T T ii i j j j i i j j i j P P g g                x - μ x - μ x - μ x - μ | x x 即 15 正态分布&最小错误率Bayes决策 情况一：Σi =σ2I, I = 1, …, c  即有  判决函数： 1 2 2 ; 1 , d i i        I 2 2 2 2 2 2 2 1 ( )( ) 1 ( ) ln 2 ln ln ( ) 2 22 ( )( ) ( ) ln ( ) ln ( ); 2 2 , || || ( ) ( ) ( ) . T i i d i i T i i i i ii d T i i i j ij j d g P g PP x                              x μ x μ x x μ x μ x μ x 其中 欧式距离平方 x μ x μ x μ 16 正态分布&最小错误率Bayes决策  最小距离分类器  条件：Σi =σ2I, P(ωi ) = 1/c, i = 1, …, c.  判别函数：  判决规则：每个样本以它到每类样本均值的欧式 距离平方的最小值确定其分类，即 2 ( ) ( ) ( ) || || . T i ii i g x x      μ x μ x μ min , . i 2 1, , 2      如果 x μ x μ 则 x j j c i  17 正态分布&最小错误率Bayes决策  最小距离分类器  可看作模板匹配：每个类有一个典型样本(即均 值向量)，称为模板；而待分类样本ｘ只需按欧 氏距离计算与哪个模板最相似(欧氏距离最短)即 可作决定。 18 正态分布&最小错误率Bayes决策  线性分类器  条件：Σi =σ2I，各先验概率关系未知；  判别函数：     2 T 2 T 2 2 0 0 2 ( )( ) ( ) ln ( ) 2 1 2 ln ( ); 2 1 ( ) 2 ln ( ) , 2 1 1 ln ( ). 2 i T i i i i T T i ii i T T i i ii i T T i ii i i T i i g P P i g P P                             x μ x μ x x x μ x μ μ x x x μ x μ μ w μ μμ w x  与类别号 无关 其中，