北京大学：《模式识别》课程教学资源（课件讲稿）贝叶斯决策理论（第三部分）.pdf_大学文库

第二章贝叶斯决策理论 2009.10.13 2 多元正态分布的性质 1. 参数μ和Σ完全决定分布； 2. 等概率密度点的轨迹为超椭球面； 3. 不相关性等价于独立性； 4. 边缘分布和条件分布的正态性； 5. 线性变换的正态性；  白化变换；  线性组合的正态性。 3 正态分布&最小错误率Bayes决策  最小错误率Bayes决策的判决规则和判决函数  各模式类的观测特征向量服从多元正态分布  采用对数形式的判别函数  判别函数中与类别 i 无关的项，对于类别的决策没有影响，可以忽略。 i ii p( | ) ~ ( ), 1, , ; x  N ic μ ,Σ   1 1 1 ( ) ( ) ( ) ln ln ( ) ln 2 ; 2 22 T i ii i i i d g P    x x         μ x μ 4 正态分布&最小错误率Bayes决策  决策面方程 1 -1 -1 ( ) ( )( ) ( ) 2 1 | ( ) ln ln 0 2| | () ( ) ( ), T T ii i j j j i i j j i j P P g g                x - μ x - μ x - μ x - μ | x x 即 5 正态分布&最小错误率Bayes决策情况一：Σi =σ2I, i=1,…,c  I 是 d×d 维单位矩阵，即  代入判决函数即有 2 2 2 1 2 2 0 , ; 0 1 , i d i i                       I     2 2 2 2 2 2 2 1 ( )( ) 1 ( ) ln 2 ln ln ( ) 2 22 ( )( ) ( ) ln ( ) ln ( ); 2 2 , || || ( ) ( ) ( ) . T i i d i i T i i i i ii d T i i i j ij j d g P g PP x                              x μ x μ x x μ x μ x μ x 其中欧式距离平方 x μ x μ x μ 6 正态分布&最小错误率Bayes决策情况一：Σi =σ2I, i=1,…,c a) 最小距离分类器：各先验概率相等，则判决函数可简化为  判决规则：每个样本以它到每类样本均值的欧式距离平方的最小值确定其分类，即  条件：正态分布∑i = σ2 I, P(ωi )=1/c。 2 () ( )( ) || || . T i ii i g x x      μ x μ x μ min , . i 2 1, , 2      如果 x μ x μ j 则 x j c i 

7 正态分布&最小错误率Bayes决策情况一：Σi =σ2I, i=1,…,c a) 最小距离分类器  可看作模板匹配：每个类有一个典型样本(即均值向量)，称为模板，而待分类样本ｘ只要按欧氏距离计算与哪个模板最相似(欧氏距离最短)即可作决定。 8 正态分布&最小错误率Bayes决策情况一：Σi =σ2I, i=1,…,c b) 线性分类器：（各先验概率关系未知）     2 T 2 T 2 2 0 0 2 ( )( ) ( ) ln ( ) 2 1 2 ln ( ); 2 1 ( ) 2 ln ( ) , 2 1 1 ln ( ). 2 i T i i i i T T i ii i T T i i ii i T T i ii i i T i i g P P i g P P                             x μ x μ x x x μ x μ μ x x x μ x μ μ w μ μμ w x  与类别号无关其中，， 9 正态分布&最小错误率Bayes决策情况一：Σi =σ2I, i=1,…,c b) 线性分类器：判别函数为线性函数或者决策面为超平面的分类器。  决策面方程：  决策面为一个过x0的超平面，法线方向为(μi－ μj)。当P(ωi)＝P(ωj)，该超平面过(μi+μj)/2 点；在二维情况下，即过μi与μj连线的垂直平分线。当P(ωi)≠P(ωj)，该超平面的位置要向远离先验概率大的方向偏，但超平面方向不变。 2 0 2 0 , 1 ( ) ( ) ln ( ). 2 || || ( ) ( )0, i j i ij ij ij j T P P            w μ μ x μμ μμ μ μ wxx 其中: 10 正态分布&最小错误率Bayes决策 11 正态分布&最小错误率Bayes决策情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等  几何上，具有同样概率密度函数的点的轨迹是同样大小和形状的超椭球面，中心由类均值μi决定。  Σ与 i 无关， 1 1 1 1 ( ) ( ) ( ) ln ln ( ) ln 2 2 22 1 ( ) ( ) ( ) ln ( ); 2 T i ii i i i T i i ii d g P g P                    x x μ x μ x x μ x μ 12 正态分布&最小错误率Bayes决策情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等 a) 马式距离分类器：各先验概率相等，则判决函数可简化为  判决函数是x到μi的马式距离的平方。 2 () ( ) ( ) T i ii g     -1 x x-μ x -μ ；

13 正态分布&最小错误率Bayes决策情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等 b) 各先验概率关系未知  忽略与 i 无关的项  决策方程也是线性方程，决策面是超平面。 111 1 1 1 0 0 1 ( ) ( ) ln ( ) 2 ( ) , 1 ln ( ). 2 TTT T i i ii i i i i i T i T i i i i i g P g P                   x x Σ x μ Σ x x Σ μ μΣ μ x w Σ μ μΣ μ w x 其中， = 14 正态分布&最小错误率Bayes决策情况二：Σi =Σ, i=1,…,c，即各类协方差矩阵相等 b) 线性分类器（各先验概率关系未知）  决策面方程  决策面为一个过x0的超平面。当P(ωi)＝P(ωj)，该超平面过(μi+μj)/2点；当P(ωi)≠P(ωj)，该超平面朝远离先验概率大的方向移动。一般情况下，该超平面不与两均值向量的连线正交。 1 0 0 ( ), 1 1 ( ) ( ) ln ( ). 2 ( ) ( ) () ( ) 0, i j i ij ij T ij ij j T P P            -1 w μ μ x μμ μμ μ -μ μ -μ wxx 其中: 15 正态分布&最小错误率Bayes决策 16 正态分布&最小错误率Bayes决策  线性分类器小结  在多元正态分布的条件下，基于最小错误率贝叶斯决策只要能做到各类别的协方差矩阵是一样的，那么无论先验概率是否相等，都可以用线性分界面实现。  最小（欧氏）距离分类器则要求各正态分布的协方差矩阵为单位阵，且各类别的先验概率相等。 17 正态分布&最小错误率Bayes决策情况三：各类的协方差矩阵不相等  判决函数为 x 的二次型 1 0 1 1 ( ) ( ) ( ) ln ln ( ) 2 2 T i ii i i i T T iii g P             x x μ x μ x Wx w x 1 1 1 0 1 ( ), 2 , 1 1 ln ln ( ). 2 2 i i i ii T i ii i i i d d d  P           W Σ w Σ μ μΣ μ Σ 其中, 矩阵（维列向量） 18 决策面为二次超曲面：超球面、超椭球面、超抛物面、超双曲面，也可能是超平面。 (a)是两个超球体等密度分布-圆; (b) 是(a)在 x2 轴方向有扩展-椭圆; (c)表示决策面为抛物面; (d)与(e) 差别在于均值点相互关系不同; (e)中出现了对称性情况，双曲线退化成直线; 正态分布&最小错误率Bayes决策情况三：各类的协方差矩阵不相等  决策面方程 0 0 ( ) ( ) 0. T T i ij i j xx x WW ww      j  