基于最小风险的贝叶斯决策 口条件期望损失：对于特定的观察样本x(特征向 量)，决策口，造成的损失对x实际所属类别的 第二章贝叶斯决策理论 各种可能的平均，也叫做条件风险： R(a,Ix)=E[i(a.0,)] 2009.09.29 若ao,jPo,l 口期望风险：对所有x取值所作的决策a(x)所带 来的平均风险，即条件风险对x的数学期望。 R(a)=E[R(a(x)Ix)]=[R(a(x)Ix)p(x)dx 基于最小风险的贝叶斯决策 基于最小风险的贝叶斯决策 口目标：决策带来的损失的平均值一一（平均）风 口最小风险决策的计算步骤 险最小。 ■在已知P(o,pk|w山，i=l,,c,以及给定待识 口决策规则 别样本x的情况下，根据贝叶斯公式计算后验概 率： Decide a.if R(x)=min R(a) ■利用后验概率及决策表（或损失矩阵），算出每 个决策的条件风险(a,x); ■通过保证对于每个观测值下的条件风险最小，使 ■按照最小的条件风险进行决策。 得决策的数学期望一一平均风险最小。基于最小 ◆ 损失矩阵在某些特殊问题，存在简单的解 风险的贝叶斯决策是一致最优决策。 析表达式。 实际问题中得到合适的损失矩阵不容易， 基于最小风险的贝叶斯决策 基于最小风险的贝叶斯决策 口两类别问题 口两类别问题 ■定义（符号简化） ■决策规则 。行为a:deciding,: a,if(221-Ai)P(0lx)>(a2-22)P(o21x) Decide ·行为a2:deciding2; @otherwise ·损失=(c,0),i,j=1,2. 用贝叶斯公式展开 ■条件风险 if P(xl()P(o) R(aIx)=P(@Ix)+42P(@2Ix) Decide P|o2)(21-)P(@) R(a2|x)=21P(o1|x)+22P(o21x) otherwise第二章 贝叶斯决策理论 2009.09.29 2 基于最小风险的贝叶斯决策  条件期望损失：对于特定的观察样本 x（特征向 量），决策 造成的损失对 x 实际所属类别的 各种可能的平均，也叫做条件风险：  期望风险：对所有 x 取值所作的决策α(x)所带 来的平均风险，即条件风险对 x 的数学期望。 i 1 ( |) ( , ) ( , )( | ) i ij c ij j j R E P               x x R ER R p d ( ) [ ( ( ) | )] ( ( ) | ) ( )      xx xx xx 3 基于最小风险的贝叶斯决策  目标：决策带来的损失的平均值——（平均）风 险最小。  决策规则  通过保证对于每个观测值下的条件风险最小，使 得决策的数学期望——平均风险最小。基于最小 风险的贝叶斯决策是一致最优决策。 1, , , if ( | ) min ( | ) kk i j a Decide R R     x x   4 基于最小风险的贝叶斯决策  最小风险决策的计算步骤  在已知P(ωi)，p(x |ωi)，i=1,…,c，以及给定待识 别样本 x 的情况下，根据贝叶斯公式计算后验概 率；  利用后验概率及决策表（或损失矩阵），算出每 个决策的条件风险 ；  按照最小的条件风险进行决策。 ( | ) R i x 5 基于最小风险的贝叶斯决策  两类别问题  定义（符号简化）  条件风险 1 1 2 2 ij j : deciding ; : deciding ; ( , ), , 1, 2. i i j            行为 行为 损失 1 11 1 12 2 2 21 1 22 2 ( |) ( |) ( |) ( |) ( |) ( |) R PP R PP           xxx xxx 6 基于最小风险的贝叶斯决策  两类别问题  决策规则 用贝叶斯公式展开 1 21 11 1 12 22 2 2 , if ( ) ( | ) ( )( | ) Decide , otherwise      P P       x x 12 22 2 1 2 21 11 1 2 1 ( )() , if > Decide ( )() , otherwise (| ) ( | ) P P P P                x x