北京大学：《模式识别》课程教学资源（课件讲稿）贝叶斯决策理论（第二部分）.pdf_大学文库

第二章贝叶斯决策理论 2009.09.29 2 基于最小风险的贝叶斯决策  条件期望损失：对于特定的观察样本 x（特征向量），决策造成的损失对 x 实际所属类别的各种可能的平均，也叫做条件风险：  期望风险：对所有 x 取值所作的决策α(x)所带来的平均风险，即条件风险对 x 的数学期望。 i 1 ( |) ( , ) ( , )( | ) i ij c ij j j R E P               x x R ER R p d ( ) [ ( ( ) | )] ( ( ) | ) ( )      xx xx xx 3 基于最小风险的贝叶斯决策  目标：决策带来的损失的平均值——（平均）风险最小。  决策规则  通过保证对于每个观测值下的条件风险最小，使得决策的数学期望——平均风险最小。基于最小风险的贝叶斯决策是一致最优决策。 1, , , if ( | ) min ( | ) kk i j a Decide R R     x x   4 基于最小风险的贝叶斯决策  最小风险决策的计算步骤  在已知P(ωi)，p(x |ωi)，i=1,…,c，以及给定待识别样本 x 的情况下，根据贝叶斯公式计算后验概率；  利用后验概率及决策表（或损失矩阵），算出每个决策的条件风险；  按照最小的条件风险进行决策。 ( | ) R i x 5 基于最小风险的贝叶斯决策  两类别问题  定义（符号简化）  条件风险 1 1 2 2 ij j : deciding ; : deciding ; ( , ), , 1, 2. i i j            行为行为损失 1 11 1 12 2 2 21 1 22 2 ( |) ( |) ( |) ( |) ( |) ( |) R PP R PP           xxx xxx 6 基于最小风险的贝叶斯决策  两类别问题  决策规则用贝叶斯公式展开 1 21 11 1 12 22 2 2 , if ( ) ( | ) ( )( | ) Decide , otherwise      P P       x x 12 22 2 1 2 21 11 1 2 1 ( )() , if > Decide ( )() , otherwise (| ) ( | ) P P P P                x x

13 Neyman-Pearson 决策  问题的提出  某些两类判决问题，某一类错误较另一类错误更为重要 — 损失更为严重。例如在癌细胞识别问题中，把异常误判为正常的损失更为严重。  先验概率未知。  基本思想  严格限制较重要的一类错误概率，在令其等于某常数的约束下使另一类误判概率最小。 14 Neyman-Pearson 决策  两类错误率  令 R 是整个特征空间，R1 是类别ω1的决策域， R2 是类别ω2的决策域：R1 + R2= R。  P1(error)，P2(error)即两类错误率。 1 2 1 2 1 2 2 1 2 2 11 2 21 1 2 2 11 ( ) ( | ) () ( | ) () ( | )( ) ( | )( ) () ( | ) () ( | ) ( )( ) ( )( ) R R R R R R P error P p d P p d p Pd p Pd P p dx P p d P P error P P error                        x xx x xx x xx x x xx 15 Neyman-Pearson 决策  决策目标：在P2(error)=ε0条件下，求P1(error) 极小值。  根据Lagrange乘子法，建立数学模型其中λ是Lagrange乘子，目标是求γ的极小值。 1 20    P error P error ( ) ( ( ) ),   2 1 1 2 1 11 2 2 20 ( ) (| ) 1 (| ) ; () ( | )1 ( | ) . R R R R P error p d p d P error p d p d               xx xx xx xx 注意： 16 Neyman-Pearson 决策  决策目标：极小化γ  对于固定的λ，要使得γ最小，应满足 1 2 0 21 0 12 (1 ) [ ( ) ( )] (1 ) [ ( ) ( )] R R p p d p p d                   x xx x xx ；或者； 1 21 21 2 , ( | ) ( | ) 0; , ( | ) ( | ) 0; Rp p Rp p            x xx xx x 17 Neyman-Pearson 决策  决策准则 N-P决策规则归结为找阈值λ，使得 λ的显式解不易求解，可用试探法。 1 2 1 2 1 1 2 2 if ( ) ( ), then or ( ) ( ) , then ( ) p p p l p                     xx x x x x x 1 2 0 (| ) . R p d     x x 18 Neyman-Pearson 决策  求决策准则的方法二  令 t 是 R1 和 R2 的分界点（面），将γ分别对 t 和λ求偏导，γ极值点存在的必要条件是： 方程式确定一个分界面，使得P2(error)=ε0 ，同时又使得P1(error)尽可能小。该分界面上 x 值具有一个特点，即它们的两类条件密度函数之比是一个常数，该比值就是Lagrange乘子λ 。 1 1 2 2 0 (| ) 0 ; (| ) 0 ( | ) ; R p t p p d                  x x x x

19 Neyman-Pearson 决策  例解：一个两类问题中，模式均为二维正态分布，其均值矢量和协方差阵分别为：  解： 1 2 12 ( 1,0) , (1,0) , . T T         I 0 设， 0.09 Neyman-Pearson   求的决策阈值。               2 2 1 11 12 2 2 2 2 2 12 1 1 2 11 11 ( | ) exp exp 1 ; 22 22 11 11 ( | ) exp exp 1 ; 22 22 (| ) exp( 2 ). (| ) T T p xx p xx p x p                                              x xx x xx x x 20 Neyman-Pearson 决策  例解  判决准则： 1 1 2 2 1 if exp( 2 ) i e , th 1 - ln 2 en ; x x x               ， . . x 对于不同的，决策边界是平行于的不同直线。（如图） 21 Neyman-Pearson 决策  例解  通过计算P2(error)=ε0求解λ： 1 2 2 1 2 2 ln 2 1 2 2 1 1 2 ln 2 1 1 ( ) (| ) 1 ( 1) exp 2 2 1 ( 1) exp . 2 2 R P error p d x x dx dx x dx                                  x x  0.046 0.089 0.0159 0.258 0.378 0  4 2 1 1/2 1/4  0 与的关系表  22 Neyman-Pearson 决策  最小错误率的Bayes决策与N-P决策  均以似然比为基础；  最小错误率的Bayes决策的阈值是先验概率之比  Neyman-Pearson决策的阈值是Lagrange乘子（和先验概率无关）。 ; ( ) ( ) 1 2   P P 23 其他决策方法（自学）  最大最小决策  基本思想：类先验概率未知，考查先验概率变化对错误率的影响，找出使最小风险贝叶斯决策的风险最大的先验概率，以这种最坏情况设计分类器。  序贯分类方法  基本思想：除考虑分类造成的损失外，还考虑特征获取所造成的代价。先用一部分特征分类，然后逐步加入新特征以减少分类损失，同时衡量总的损失，以求得最优的效益。 24 分类器设计  分类器(classifier)：能够将每个样本都分到某个类别中去（或者拒绝）的计算机算法。  是从特征空间到决策空间的映射。  决策域(decision region)：分类器将 d 维特征空间划分为若干区域。  决策面(decision boundary)：不同类别区域之间的边界，又叫作分类边界、决策边界或分类面。数学上用解析形式表示成决策面方程

25 分类器设计  判别函数(discriminant functions)：是模式（或特征向量）x 的函数，用于表述决策规则。  对于c类别问题，相应于每一类别定义一个函数，构成一组判别函数 gi (x), i = 1,2,…,c，使得即将 x 分类到有最大判别函数值的类别。  判别函数的选择不唯一。如果 f(·) 是一个单调递增函数（如logarithm），将 gi (x) 替换成 f(gi (x)) 不改变判决结果。 简化分析和计算！ ( ) ( ) 1, , , ; ij i gg j xx x       c j i 26 分类器设计  最小错误率Bayes决策  决策规则：将x归于ωi类，如果  判别函数 (1) ( ) ( | ) (2) ( ) ( | ) ( ) (3) ( ) ln ( | ) ln ( ) i i i ii i ii g P gpP gp P          x x x x x x   1, , 1, , 1, , (1) ( | ) max ( | ); or (2) ( | ) ( ) max ( | ) ( ); (| ) (| ) or (3) ( ) , 1, , , ; (| ) (| ) or (4) ln ( | ) ln ( ) max ln ( | ) ln ( ) ; i j j c ii j j j c j i j i ii j j j c P P pP p P p p l j cj i p p pP p P                     x x x x x x x x x x x     27 分类器设计  最小错误率Bayes决策  决策面方程：相邻的两个决策域在决策面上的判别函数值相等，即 ( ) ( ). i j g g x x  28 分类器设计  最小错误率Bayes决策  分类器：一个计算 c 个判别函数并选取与最大判别函数值相对应的类别的网络或机器。 29 分类器设计  两类别的最小错误率Bayes决策  判决函数：可只定义一个判别函数此时的决策规则是 1 2 gg g ( ) ( ) ( ), xxx   1 2 11 2 2 1 1 2 2 (1) ( ) ( | ) ( | ) (2) ( ) ( | )( ) ( | )( ) (| ) ( ) (3) ( ) ln ln (| ) ( ) gP P gp P p P p P g p P                xxx xx x x x x 1 2 if ( ) 0, then decide . g        x x 30 分类器设计  两类别的最小错误率Bayes决策  决策面方程  分类器 g( ) 0. x 

31 正态分布  目的：结合一种比较典型的概率分布来进一步研究基于最小错误率Bayes决策分类器。  Bayes决策的三个前提：  ①类别数确定；②各类的先验概率P(ωi)已知；③各类的条件概率密度函数p(x|ωi)已知。  Bayes决策中，类条件概率密度的选择要求：  模型合理性  计算可行性  最常用概率密度模型：正态分布  观测值通常是很多种因素共同作用的结果，根据中心极限定理，它们（近似）服从正态分布。  计算、分析最为简单的模型。 32 单变量的正态分布 33 单变量的正态分布  p(x)完全由μ与σ2确定，常记作N(μ, σ2)。  正态分布的熵(entropy)在所有的已知均值及方差的分布中最大。  p(x)关于均值对称，最大值位于x=μ处，      H p(x)   p(x)ln p(x)dx; . 2 1 ( )  p   34 单变量的正态分布  样本主要集中分布在其均值附近，其分散程度用标准差来衡量，σ愈大分散程度也越大。从分布的总体中抽取样本，约有95%的样本都落在区间 (μ-2σ,μ+2σ)内。 35 多元正态分布  概率密度函数 1 1 1/2 2 / 2 1 2 1 2 1 1 ( ) exp( ( ) ( )), (2 ) [ , , , ] [ , , , ] T d T d T d p xx x d T d d d            x x μ Σ x μ Σ x μ Σ Σ Σ ΣΣ   其中：是维列向量( 表示向量的转置)；是维均值向量；是协方差矩阵；是的逆矩阵，是的行列式。 36 多元正态分布  如 x 服从多元正态分布，则有  具体的，如 xi 是 x 的第i个分量，μi是μ的第i个分量，σij2是Σ的第ij个元素，则有 [] () ; [( ) ] ( ( ) ; T T E pd E p d       μ x xxx Σ x -μ)(x -μ x -μ)(x -μ) xx 2 [] () ; [( )( ) ] ( )( ) ( , ) . i i i ii T ij i i j j T i i j j ij ij E x x p x dx Ex x x x p x x dx dx             

37 多元正态分布多元正态分布的性质口协方差矩阵Σ 1.参数μ和∑对分布具有决定性 ■是对称非负定阵，这里严格限定成正定阵，即 p(x)~N(μ，) IΣ1>0. ■多元正态分布由d+d(d+1)/2个参数完全确 ■对角线元素0是x相应分量x的方差，即0？。定。 ■非对角线元素0是和y的协方差，衡量了分量间的相关性。 2.等密度点的轨迹为超椭球面手果x原马线动料立，购=4X,-6川 ■p(x)是指数函数，因此等概率密度点对应于指口电0唐】，则p是x中图元的单数项为常数，即李正杏密度函数的内积。 (x-)「(《-)=常数； 39 40 多元正态分布的性质多元正态分布的性质 2.等密度点的轨迹为超椭球面 2. 等密度点的轨迹为超椭球面置在二维情况下，方程的解是一个椭圆轨迹，其 ■马氏距离(Mahalanobis distance):随机向量x偏长短轴方向由协方差矩阵∑的特征向量决定：离均值向量μ的距离在三维时则是一个椭球面；超过三维则是超椭球面，主轴方向由协方差矩阵的特征向量决 r=/(x-H)(x-p); 定，各主轴的长度则与相应的特征值成正比。口在数理统计中，常用来确定未知样本集和已知样伤本集的相似性；考虑到各种特性之间的联系(C.f. 欧式距离)：与尺度无关，即独立于测量尺度；口也可衡量两个服从同一分布并且其协方差矩阵为 Σ的随机变量的差异程度。 ■Σ=I,即为欧式距离； ■Σ=diag(o子…o),即为归一化的欧式距离。 41 多元正态分布的性质多元正态分布的性质 3.分布的离散程度 5.不相关性等价于独立性 ■由参数|Σ1/2决定，与单变量时由标准差。决 ■x和y相互独立：p心y=p6p心定相一致。 ■：和不相关：E]=EE 4.边缘分布和条件分布的正态性 ■如多元正态分布的任意两个分量互不相关，则 ■多元正态分布的边缘分布和条件分布仍然是正它们一定独立。态分布； o2=0,i≠j ■如多元正态随机向量X的协方差阵是对角阵，则x各分量之间是相互律的正态分怖随机变量。 p(x)~N() 0 →p(x)=Πpx)

37 2 1 1 1 12 2 2 2 21 1 1 1 2 2 1 12 2 2 21 2 [( ) ] [( )( )] [( )( )] [( ) ] . Ex Ex x Ex x Ex                           Σ 多元正态分布  协方差矩阵Σ  是对称非负定阵，这里严格限定成正定阵，即 |Σ| > 0。  对角线元素σii2是 x 相应分量 xi 的方差，即σi 2 。  非对角线元素σij2是 xi 和 xj 的协方差，衡量了分量间的相关性。 如果xi 和 xj统计独立，则σij=0。 如σij=0（任意i≠j），则p(x) 是x 中各元素的单变量正态密度函数的内积。 38 多元正态分布的性质 1. 参数μ和 Σ对分布具有决定性  多元正态分布由 d+d(d+1)/2 个参数完全确定。 2. 等密度点的轨迹为超椭球面  p(x) 是指数函数，因此等概率密度点对应于指数项为常数，即 p(x) ~ N(μ,Σ);    T 1 (x μ) Σ (x μ) 常数; 39 多元正态分布的性质 2. 等密度点的轨迹为超椭球面  在二维情况下，方程的解是一个椭圆轨迹，其长短轴方向由协方差矩阵Σ的特征向量决定；在三维时则是一个椭球面；超过三维则是超椭球面，主轴方向由协方差矩阵的特征向量决定，各主轴的长度则与相应的特征值成正比。  例： 1 2 1 2 2 0 4 0 1/4 0 , , , 0 01 0 1 1, 4 x x                      如   是一个椭圆。 40 多元正态分布的性质 2. 等密度点的轨迹为超椭球面  马氏距离(Mahalanobis distance)：随机向量 x 偏离均值向量 μ的距离  在数理统计中，常用来确定未知样本集和已知样本集的相似性；考虑到各种特性之间的联系(c.f. 欧式距离)；与尺度无关，即独立于测量尺度；  也可衡量两个服从同一分布并且其协方差矩阵为 Σ的随机变量的差异程度。  Σ=I，即为欧式距离；  Σ=diag(σ1 2, …,σd 2 )，即为归一化的欧式距离。 r ;    T 1 (x μ) Σ (x μ) 41 多元正态分布的性质 3. 分布的离散程度  由参数|Σ|1/2决定，与单变量时由标准差σ决定相一致。 4. 边缘分布和条件分布的正态性  多元正态分布的边缘分布和条件分布仍然是正态分布； 42 2 2 11 2 1 () ( ) 0, 0 0 ij nn n i i p px  i j                   x     多元正态分布的性质 5. 不相关性等价于独立性  xi 和 xj 相互独立：p(xi ,xj )＝p(xi )p(xj )；  xi 和 xj 不相关： E[xi xj ]＝E[xi ]·E[xj ]；  如多元正态分布的任意两个分量互不相关，则它们一定独立。  如多元正态随机向量x的协方差阵Σ是对角阵，则x各分量之间是相互独立的正态分布随机变量