贝叶斯决策理论概述 贝叶斯决策理论概述 口类条件概率(Class-conditional Probabilities) 口后验概率(posteriori probabilities/,posterior) ■同一类事物的各个属性都有一定的变化范围，在 ■问题：已知先验概率P(@,)和类条件概率密度函 其变化范围内的分布概率用一种函数形式表示， 数p(x|0,),i=1,2:对于一个样本×=3100， 即类条件概率密度函数。 判定X∈01或X∈02？ ■这种分布概率只针对同一类别事物，与其他类别 口计算在观测样本×下，其类别状态是o=1,2)的概 的事物无关。 率：P(OIx)。 ■用条件概率形式表示，以强调是同一类别事物的 ■后验概率是一个具体事物属于某种类别的概率。 内部。 口一个样本只可能属于两个类别之一，即有约束 口例，用x表示某一个学生的身高，则男生身高的概 率密度表示成p(x|男生)，女生身高表示成p(x女 P(lx)+P(o2|x)=1 生)，两者之间没有任何关系。 区别P(oIx)和P(@,)。 贝叶斯决策理论概述 贝叶斯决策理论概述 口后验概率(posteriori probabilities/posterior) 口后验概率(posteriori probabilities/posterior） P(@Ix)=P(@.x) Posterior probabilities for the p(x) priors P(o)=2/3.P(o,)=1/3 Class-conditional P(@,)p(xlo,) For x=14. p.d.fs ∑PO,)pxo) Po,x)=0.92.Pox)=0.08 pix w) P(@x) ■p(x|o,)是oi关于x的似然(likelihood)函数， 表明了在其他条件都相等的情况下，使得x|@) 较大的⊙：更有可能是真实的类别。 posterior=priorxlikelihood evidence 贝叶斯决策理论概述 基于最小错误率的贝叶斯决策 a后验概率(posteriori probabilities/posterior) 口为什么会有错分类，在何种情况下会出现错分 ■实质上，贝叶斯定理是通过观察样本x,把类别 类？ 状态的先验概率P(@o,)转化成后验概率P(o,x)。 ■当某一特征向量值X只为某一类物体所特有，即 ■贝叶斯定理的必要性：计算概率需要有大量的数 1,k=i P(@x)= 据，而对于某一特定的事件（如白细胞浓度值 0,k≠i ×=3100)要搜集大量的样本是很困难的。 对其作出决策是容易的，也不会发生错误。 ■贝叶斯定理综合了先验概率（类别出现的可能性） 和类条件概率（类别符合观测样本的可能性）两 ■问题在于出现模棱两可的情况，即不同类别在特 方面因素。 征空间的分布有重叠。此时，任何决策都存在误 判的可能性。贝叶斯决策理论概述  类条件概率(Class-conditional Probabilities)  同一类事物的各个属性都有一定的变化范围，在 其变化范围内的分布概率用一种函数形式表示， 即类条件概率密度函数。  这种分布概率只针对同一类别事物，与其他类别 的事物无关。  用条件概率形式表示，以强调是同一类别事物的 内部。 例，用x表示某一个学生的身高，则男生身高的概 率密度表示成p(x|男生)，女生身高表示成p(x|女 生)，两者之间没有任何关系。 贝叶斯决策理论概述  后验概率(posteriori probabilities/posterior)  问题：已知先验概率 和类条件概率密度函 数 ，i=1,2；对于一个样本 x=3100， 判定 x∈ω1 或 x∈ω2？ 计算在观测样本x下，其类别状态是ωi (i=1,2)的概 率： 。  后验概率是一个具体事物属于某种类别的概率。 一个样本只可能属于两个类别之一，即有约束 区别 和 。 i p x(| )  i P( )  i P x ( | ) 1 2 P xP x ( | ) (    | ) 1 i P x ( | ) i P( )  贝叶斯决策理论概述  后验概率(posteriori probabilities/posterior)  是ωi 关于x的似然(likelihood)函数， 表明了在其他条件都相等的情况下，使得 较大的ωi 更有可能是真实的类别。 ( ,) ( |) ( ) ( )(| ) ( )(| ) i i i i j j j P x P x p x P px P px          prior likelihood posterior evidence   i p x(| )  i p x(| )  贝叶斯决策理论概述  后验概率(posteriori probabilities/posterior) 贝叶斯决策理论概述  后验概率(posteriori probabilities/posterior)  实质上，贝叶斯定理是通过观察样本x，把类别 状态的先验概率 转化成后验概率 。  贝叶斯定理的必要性: 计算概率需要有大量的数 据，而对于某一特定的事件（如白细胞浓度值 x=3100）要搜集大量的样本是很困难的。  贝叶斯定理综合了先验概率（类别出现的可能性） 和类条件概率（类别符合观测样本的可能性）两 方面因素。 i P( )  i P x ( | ) 基于最小错误率的贝叶斯决策  为什么会有错分类，在何种情况下会出现错分 类？  当某一特征向量值X只为某一类物体所特有，即 对其作出决策是容易的，也不会发生错误。  问题在于出现模棱两可的情况，即不同类别在特 征空间的分布有重叠。此时，任何决策都存在误 判的可能性。 1, ( |) 0, k k i P x k i       