ch02.贝叶斯决策论
Ch 02. 贝叶斯决策论
符号表示 表示类别的随机变量O 类别标记O,i=1,2,3, 例如: 鲑鱼;O2:鲈鱼 类别先验概率P(a)=P(O=O) 当所有类别互斥并且完备的情况下∑P(a)=1 类条件概率密度函数p(x|a)
符号表示 • 表示类别的随机变量 • 类别标记 例如： ：鲑鱼； ：鲈鱼 • 类别先验概率 当所有类别互斥并且完备的情况下 • 类条件概率密度函数 ( ) ( ) P P i i = = , 1,2,3,... i =i ( | )i p x 1 2 1 ( ) 1 c i i P = =
进行观察之前 问题 给定所有可能类别的先验概率,在不进行观察的情况下,预测下一个 可能出现的模式的类别 最佳决策规则 如果P()≥P(a,i≠j,则预测下一个模式为 ·在没有对新岀现的模式进行任何观察情况下,该决策规则造成错 误的概率最小,因此为最优决策规则 如果先验概率不变,则每次的预测均相同 如果有更多的信息,是否可以做出更好的预测?
进行观察之前 • 问题 给定所有可能类别的先验概率，在不进行观察的情况下，预测下一个 可能出现的模式的类别 • 最佳决策规则 • 在没有对新出现的模式进行任何观察情况下，该决策规则造成错 误的概率最小，因此为最优决策规则； • 如果先验概率不变，则每次的预测均相同。 • 如果有更多的信息，是否可以做出更好的预测？ 如果 P P i j ( ) ( ), j i ，则预测下一个模式为 j
进行观察之后 在类别为O的情况下,观察到特征x的概率为p(x|O) ·可用于分类的特征x在类别不同的情况下,其概率分布 应有所不同 p(x|0)dx=1 p(x p(x|2) p(x|02)
• 在类别为 的情况下，观察到特征 的概率为 • 可用于分类的特征x在类别不同的情况下，其概率分布 应有所不同 进行观察之后 ( | )i i x p x
根据观察到的特征做出预测 ·目标:在观察到x的情况下,类别为o的概率 P(|x),i=1,2,3 ·判决规则 从样本中观察到x的情况下, 如果P(O,|x)≥P(O|x),i≠j, 则预测该模式为O
• 目标：在观察到 的情况下，类别为 的概率 • 判决规则 ( | ) ( | ), P x P x i j j i 从样本中观察到 的情况下， 如果 ， 则预测该模式为 根据观察到的特征做出预测 j ( | ), 1,2,3..., P x i c i = i x x
贝叶斯公式 ·利用先验概率(观察到x之前)计算后验概率(观察到 X之后) P1|x) P(x OP(o) p(x)=∑p(x|a)P(a)可被视为常量约掉! ∑P(O|x)
• 利用先验概率（观察到x之前）计算后验概率（观察到 x之后） 贝叶斯公式 ( | ) ( ) ( | ) ( ) i i i p x P P x p x = 1 ( ) ( | ) ( ) c i i i p x p x P = = 可被视为常量约掉！ 1 ( | ) 1 c i i P x = =
贝叶斯公式 已知 未知 p(xa) P() 贝叶斯公式→P(O|x)
贝叶斯公式 ( | ) P x i ( | )i p x x ( ) P i 已知 未知 贝叶斯公式
贝叶斯决策的特例 特例 均匀先验概率:P(α1)=P(02) 决策仅仅依赖于p(x|O) 从样本中观察到x的情况下 如果P(x|O)≥P(x|),i≠, 则预测该模式为O
贝叶斯决策的特例 • 特例1 • 均匀先验概率： • 决策仅仅依赖于 ( | )i p x 从样本中观察到 的情况下， 如果 ， 则预测该模式为 ( | ) ( | ), P x P x i j j i x j
贝叶斯决策的特例 特例2 ·相同的类条件概率密度函数: p(x|01)=p(X|02)=…=p(x|c) ·决策仅仅依赖于先验概率 如果P()≥P(a)≠/,则预测模式为0
贝叶斯决策的特例 • 特例2 • 相同的类条件概率密度函数： • 决策仅仅依赖于先验概率 如果 P P i j ( ) ( ), j i ，则预测模式为 j
例子(1 Pair O.8 4 类条件概率密度函数图 后验概率图 P()=2/3 P(OD2)=1/3
例子（1） 2 P( ) 1/ 3 = 类条件概率密度函数图 后验概率图 1 P( ) 2 / 3 =