2010/9/24 12 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口目标：最小化决策的平均错误率P(eor) 口判决规则及其等价形式 ■特征向量观测值的可能取值范围内的分类错误率 ■最大化似然比准则 的均值。 P(error)=P(error,x)d a,if=pxla2、Pe) assign x∈ p(xo)P(c) otherwise P(erorIx)p(x)ds ■对似然比取负对数 =E(P(errorlx)). ■平均错误率是条件错误率的数学期望。 assign x∈ if)=-In p()+in p)In P(o) otherwise 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口条件错误率 口例：两类鱼的自动分类问题，鲈鱼（ω，）和鲑鱼 (o),用鱼长度的观察值(x)为特征。 P(errorlx)= [P(@x),if assign xe P(@x),if assign xeo ■根据统计结果：Pxa) P(@,)=3; 链鱼 .P(errorx)20,p(x)20,Vx 炉鱼 P(xlo) Px|42 ..min P(errorlx),for all x=min P(error) P(O2)=23; P(errorlx)=min(P(o Ix),P(o,Ix)Vx. 10 ■如何将一条长为10的鱼分类？ 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口判决规则及其等价形式 口解法一： ·最大化后验概率准则 P(o,Ix=10)=P(x=10l0)P(@) p(x-10) 「，ifP(|x)>P(a2lx) p(x=101o)P(@) assign x∈ @,otherwise p(x=101o,)P(o)+p(x=101o2)P(o2) 0.05×1/3 0.05x1/3+0.50×2/3=0.048: @if p(xlo)P(@)>p(xlo2)P(@2) assign x∈ P（@1x=10)=1-P(g|x=10)=0.952 otherwise →P@lx=10)<P(2|x=10 →x-10∈2，即是鲑鱼。 42010/9/24 4 19 基于最小错误率的贝叶斯决策  目标：最小化决策的平均错误率  特征向量观测值的可能取值范围内的分类错误率 的均值。  平均错误率是条件错误率的数学期望。 ( ) ( ,) ( | ) () ( ( | )). P error P error x dx P error x p x dx E P error x          P(error) 20 基于最小错误率的贝叶斯决策  条件错误率 ( | ) min  ( | ), ( | ) , . min ( | ), for all min ( ) ( | ) 0, ( ) 0, 1 2 P error x P x P x x P error x x P error P error x p x x            2 1 1 2 ( | ), if assign x ( |) ( | ), if assign x P x P error x P x           21 基于最小错误率的贝叶斯决策  判决规则及其等价形式  最大化后验概率准则 11 2 2 , if ( | ) ( | ) assign , otherwise P xP x x       1 11 2 2 2 , if ( | ) ( ) ( | ) ( ) assign , otherwise px P px P x         22 基于最小错误率的贝叶斯决策  判决规则及其等价形式  最大化似然比准则  对似然比取负对数 2 2 1 1 1 2 ( ) ( ) (| ) , if ( ) assign (| ) , otherwise p x l x P x p x  P             2 1 12 1 2 ( ) , if ( ) ln ( | ) ln ( | ) ln ) assign ( ) , otherwise P hx px px x P              23 基于最小错误率的贝叶斯决策  例：两类鱼的自动分类问题，鲈鱼（ω1）和鲑鱼 （ω2），用鱼长度的观察值（x）为特征。  根据统计结果：  如何将一条长为10的鱼分类？ ( ) 1 3; P 1  2 P( ) 2 3;   10 1 P x(| )  x (| ) P x i 鲈鱼 鲑鱼 0.0 5 0.5 2 P x(| )  24 基于最小错误率的贝叶斯决策  解法一： 1 1 1 1 1 11 2 2 ( 10 | ) ( ) ( | 10) ( ) ( | )( ) ( | )( ) ( | )( ) 0.05 1/ 3 0.048 0.05 1/ 3 0.50 2 / 3 px P P x p x px P px P px P                       10 10 10 10 ； 2 1 1 2 2 ( | 10) 1 ( | 10) 0.952 ( | 10) ( | 10) 10 , Px Px Px Px x               ； ； 即是鲑鱼