2010/9/27 分类器设计 口两类别的最小错误率Bayes决策 正态分布的 ·决策面方程 最小错误率贝叶斯决策 g()=0. ·分类器 值单元 决 单变量的正态分布 单变量的正态分布 A bell-shaped distribution defined by the probability density function 口p(x)完全由u与o2确定，常记作N(4,G2) 1 口正态分布的熵(entropy)在所有的已知均值及方 p(x)= 2aoe。 1 差的分布中最大。 It the random variable x follova a normal diatribution,then 口px)关于均值对称，最大值位于x=μ处， ThPea414 ty that Y w411ga114 nto the aterva1{w,b】w 1 p)= .Expected,or mean,value of X is EX灯=Jp(xd冰=u √2πG Var(x)=ET(x-u)]=(x-u)p(x)dx a' Standard deviation of x,a',is 0,=0 多元正态分布 多元正态分布 口概率密度函数 口均值μ和协方差矩阵 1 p(x)= 2 exp←-rza-》 μ=E=∫xp(x)dk 2=Ex--μ]=∫(x-)x-四'px)k 其中： =Ex,]=xp(x,)dx, 1=[:,x,,x是d维列向量(T表示向量的转置)： o=E(3-4x,-4门=∬(x-4,-4,'pxx,本 μ=[4,4，…，4了是d维均值向量： Σ是d×d协方差矩阵： Σ= E(x-4)门 是Σ的逆矩阵，四是Σ的行列式。 E(x2-4x-4】 52010/9/27 5 25 分类器设计  两类别的最小错误率Bayes决策  决策面方程  分类器 g( ) 0. x  正态分布的 最小错误率贝叶斯决策 27 单变量的正态分布 28 单变量的正态分布  p(x) 完全由μ与σ2确定，常记作N(μ, σ2)。  正态分布的熵(entropy)在所有的已知均值及方 差的分布中最大。  p(x) 关于均值对称，最大值位于 x=μ处， . 2 1 ( )  p   29 多元正态分布  概率密度函数 1 1 1/2 2 / 2 1 2 1 2 1 1 ( ) exp( ( ) ( )), (2 ) [ , , , ] [ , , , ] T d T d T d p xx x d T d d d            x x μ Σ x μ Σ x μ Σ Σ Σ ΣΣ   其中： 是 维列向量( 表示向量的转置)； 是 维均值向量； 是 协方差矩阵； 是 的逆矩阵， 是 的行列式。 30 多元正态分布  均值μ和协方差矩阵Σ [] () ; [( ) ] ( ( ) ; T T E pd E p d       μ x xxx Σ x -μ)(x -μ x -μ)(x -μ) xx [( )( ) ] ( )( ) ( , ) . [ ] ( ) 2 i j i j T i i j j T ij i i j j i i i i i E x x x x p x x dx dx E x x p x dx                 . [( )( )] [( ) ] [( ) ] [( )( )] 2 2 2 21 2 12 2 1 2 2 2 1 1 2 2 1 1 2 2 2 1 1                          E x u x u E x u E x u E x u x u