基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口目标：最小化决策的平均错误率P(eror) 口计算条件错误率（以两类别为例） 口P(error):在特征向量观测值的整个可能取值范 围内的错误率的均值。 [P(@x),if assign x P(errorx)= P(o|x),if assign x∈o2 Peror))=」P(error,.xh P(error)p(xds ■因为P(error|x)≥0，p(x)≥0，x E(P(errorx)). →minP(error)一minP(error|x,for allx ▣平均错误率是条件错误率的数学期望。 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口判决规则 口判决规则的等价形式 ■最大化后验概率准则 ■比较大小不需计算P(x),即 o,if P(@x)>P(@x) assign xE @if p(xlo)P(@)>p(xlo2)P(@2) 02, otherwise assignx∈ @,otherwise →P(eor|x)=min{P(o,lx,P(o2lx),廿x o如果对于某个X,有px|)=p(x@2),判决取 ■最小错误率的贝叶斯决策是一致最优决策。 决于先验概率： a如果P(a)=P(a),判决取决于似然概率。 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 口判决规则的等价形式 口例解：两类鱼的自动分类问题，鲈鱼(o)和鲑 。最大化似然比准则 鱼（⊙），用鱼长度的观察值(x)为特征。 o,if I(x)=p(xlo P(o) ■根据统计结果：P(xo,) assign x∈ p(xl@2)P(@) 口P(a)=/3; 2,otherwise DP(a2)=2/3; 娃鱼 鲈鱼 P(x|2 Px|)/ 0.5 ■对似然比取负对数 0.05 assign xE if)=-In p+p)In( 口px|0),p(x02)见图示。 10 P(叫) 03, otherwise ■如何将一条长为10的鱼分类？基于最小错误率的贝叶斯决策  目标：最小化决策的平均错误率  ：在特征向量观测值的整个可能取值范 围内的错误率的均值。  平均错误率是条件错误率的数学期望。 ( ) ( ,) ( | ) () ( ( | )). P error P error x dx P error x p x dx E P error x          P(error) P(error) 基于最小错误率的贝叶斯决策  计算条件错误率（以两类别为例）  因为  P error x p x x ( | ) 0, ( ) 0,   min ( ) min ( | ), for all P error P error x x  2 1 1 2 ( | ), if assign x ( |) ( | ), if assign x P x P error x P x           基于最小错误率的贝叶斯决策  判决规则  最大化后验概率准则   最小错误率的贝叶斯决策是一致最优决策。 11 2 2 , if ( | ) ( | ) assign , otherwise P xP x x       1 2 P error x P x P x x ( | ) min{ ( | ), ( | )},     基于最小错误率的贝叶斯决策  判决规则的等价形式  比较大小不需计算 ，即 如果对于某个x，有 ，判决取 决于先验概率； 如果 ，判决取决于似然概率。 1 11 2 2 2 , if ( | ) ( ) ( | ) ( ) assign , otherwise px P px P x         p( ) x ( | ) ( | ) 1 2 p x  p x 1 2 P P () ()    基于最小错误率的贝叶斯决策  判决规则的等价形式  最大化似然比准则  对似然比取负对数 2 2 1 1 1 2 ( ) ( ) (| ) , if ( ) assign (| ) , otherwise p x l x P x p x  P             2 1 12 1 2 ( ) , if ( ) ln ( | ) ln ( | ) ln ) assign ( ) , otherwise P hx px px x P              基于最小错误率的贝叶斯决策  例解：两类鱼的自动分类问题，鲈鱼(ω1)和鲑 鱼(ω2)，用鱼长度的观察值(x)为特征。  根据统计结果：    见图示。  如何将一条长为10的鱼分类？ ( ) 1 3; P 1  2 P( ) 2 3;   ( | ), ( | ) 1 2 p x p x 10 1 P x(| )  x (| ) P x i 鲈鱼 鲑鱼 0.05 0.5 2 P x(| ) 