第2章基于贝叶斯决策理论的分类器 /986 >贝叶斯决策理论 统计模式识别的主要方法之一 >采用贝叶斯决策理论分类的前提： 目标（事物)的观察值是随机的， 服从一定的概 率分布。 即：模式不是一个确定向量，而是一个随机向量
第2章 基于贝叶斯决策理论的分类器 贝叶斯决策理论 统计模式识别的主要方法之一 采用贝叶斯决策理论分类的前提 ： 目标（事物）的观察值是随机的，服从一定的概 率分布。 即：模式不是一个确定向量，而是一个随机向量
实例 986 猜硬币 口一分Vs三分 口一分Vs一元 口一元Vs五角 先验概率 后验概率 贝叶斯决策
实例 猜硬币 一分 Vs 三分 一分 Vs 一元 一元 Vs 五角 先验概率 后验概率 贝叶斯决策
“概率论”有关概念复习 966 Bayes公式：设实验E的样本空间为S,A为E的事件， B1,B2,,Bn为S的一个划分，且P(A)>0,P(B)>0, (i=1,2,,n),则： P(B,IA)= P(B A)P(A B)P(B,) P(A P(A) P(A B)P(B) ∑P(AIB,)P(B,)
Bayes公式：设实验E的样本空间为S，A为E的事件， B1,B2,…,Bn为S的一个划分，且P(A)>0，P(Bi)>0， (i=1,2,…,n)，则: 1 () ( | )( ) ( |) () () ( | )( ) ( | )( ) i ii i i i n j j j P BA P A B P B PB A PA PA PA B PB PA B PB “概率论”有关概念复习
“概率论”有关概念复习 /986 P(A)P(B,A)=P(B)P(AB) p3P(o,3=P(o,)p(o,) 条件概率 先验概率：P(o)表示类ω出现的先验概率，简称类@的 概率。 后验概率：P(ω；x)表示x出现条件下类o出现的概率 ,称其为类别的后验概率，对于模式识别来讲可理解 为x来自类o的概率。 类概率密度：p(xo)表示在类o条件下的概率密度， 简称为类概率密度
条件概率 “概率论”有关概念复习 ( ) ( ) ( ) ( )i i i p x P x P p x ( ) ( ) ( ) ( )i P A P Bi A P Bi P AB 先验概率：P(i)表示类i出现的先验概率，简称类i的 概率。 后验概率：P(i|x)表示x出现条件下类i出现的概率 ,称其为类别的后验概率，对于模式识别来讲可理解 为x来自类i的概率。 类概率密度： p(x|i)表示在类i条件下的概率密度， 简称为类概率密度
“概率论”有关概念复习 /986 为表述简洁，我们将随机矢量X及它的某个取 值x都用同一个符号x表示，在以后各节中出现的 是表示随机矢量还是它的一个实现根据内容是可 以清楚知道的。 条件期望（某个特征） E,g(f]=∫g(3p(o,)dR 因不涉及x的维数，可将X”改写为特征空间2。 E,g(]=∫g(p9o,)dR
为表述简洁，我们将随机矢量X及它的某个取 值x都用同一个符号x表示，在以后各节中出现的 是表示随机矢量还是它的一个实现根据内容是可 以清楚知道的。 “概率论”有关概念复习 n X i i E g x g x p x d x ( ) ( ) ( ) 条件期望(某个特征) 因不涉及 x的维数 ,可将Xn改写为特征空间 。 E g x g x p x d x i i ( ) ( ) ( )
Bayes法则一最大后验概率准则 /966 对于两类01， 0问题，直观地，可以根据后验概率做判决： 若p(w1x)>p(w2lx) 则 若p(w,)<p(o2k) 则 k e 02 根据Bayes公式，后验概率p(o,/x)可由类w的先验概率 P(o)和条件概率密度p(x/o)来表示，即 p(@,1)=p(IoP(o)=p(G1o,)P(o,) p() ∑p(,)P(o,) 式中，p(x|o)又称似然函数(likel ihood function of class),可由已知样本求得
对于两类1， 2问题，直观地，可以根据后验概率做判决： 12 1 12 2 ( | ) ( | ) ( | ) ( | ) p ω x p ω x x p ω x p ω x x r rr r rr 若 则 若 则 2 1 ( | )( ) ( | )( ) ( |) ( ) ( | )( ) ii ii i i i j px P px P p x p x px P r r r r r 式中，p(x|i)又称似然函数(likelihood function of class i)，可由已知样本求得。 Bayes法则－最大后验概率准则 根据Bayes公式，后验概率 可由类i的先验概率 P(i)和条件概率密度 来表示，即 ( /) i p xr (/ )i p x r
966 例题1：鱼类加工厂对鱼进行自动分类，0：鲈鱼；o2:鲑 鱼。模式特征x=x(长度)。 已知：（统计结果） 先验概率：P(o)=1/3（鲈鱼出现的概率) P(og=1-P(o)=2/3（鲑鱼出现的概率) 条件概率： po)见图示（鲈鱼的长度特征分布概率) pxo见图示（鲑鱼的长度特征分布概率) 求：后验概率：P(o=10)=? (如果一条鱼x=10,是什么类别？)
已知：（统计结果） 先验概率： P(1)=1/3（鲈鱼出现的概率） P(2)=1-P(1)=2/3 （鲑鱼出现的概率） 求：后验概率：P(|x=10)=? （如果一条鱼x＝10，是什么类别？） 条件概率： p(x|1) 见图示（鲈鱼的长度特征分布概率） p(x|2)见图示（鲑鱼的长度特征分布概率）
/966 P(x/0p(x/@) 鲈鱼 P(/02) 0.5 鲑鱼 0.05 5.5 8.5 10 X 条件概率密度分布
( ) 1 P x ( ) 2 P x x 条件概率密度分布 ( )i P x 鲈鱼 鲑鱼 10 0.05 0.5 5.5 8.5
966 利用Bayes2公式 P(o,1x=10)=p(x=101o,)P(o,) p(x=10) p(x=10|o1)P(o) p(x=10|01)P(o1)+p(x=10|o2)P(o2) 0.05×1/3 =0.048 0.05×1/3+0.50×2/3 因为，P(o2lx=10)=1-P(olx10)=1-0.048=0.952 P(olx=10)<P(@lx10) 故判决：(10)∈o2，即是鲑鱼
1 1 1 1 1 11 2 2 ( 10 | ) ( ) ( | 10) ( ) ( | )( ) ( | )( ) ( | )( ) 0.05 1/ 3 0.048 0.05 1/ 3 0.50 2 / 3 px P P x p x px P px P px P 10 10 10 10 利用Bayes公式
研 986 P(0,/x) P(@/x)P(@2/x) 1.0 0.8 0.6 0.4 0.2 X 10 后验概率分布
( ) 1 P x ( ) 2 P x 0.2 x 0.4 0.6 0.8 1.0 后验概率分布 P ( x ) i 10