贝叶斯决策理论 41引言 42几种常用的决策规贝 43正态分布时的统计决策 44关于分类器的错误率问题
贝叶斯决策理论 4.1 引言 4.2几种常用的决策规则 4.3正态分布时的统计决策 4.4关于分类器的错误率问题
41引 ◆模式识别的分类问题是根据识别对象特 征的观察值将其分到某个类别中去 例:医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病 ◆两类的识别问题
4.1 引 言 ◆ 模式识别的分类问题是根据识别对象特 征的观察值将其分到某个类别中去。 ◆ 例：医生要根据病人血液中白细胞的浓 度来判断病人是否患血液病。 ◆ 两类的识别问题
41引言 ●根据医学知识和以往的经验医生知道: 患病的人,白细胞的浓度服从均值2000 方差1000的正态分布;未患病的人,白 细胞的浓度服从均值7000,方差3000的 正态分布;一般人群中,患病的人数比 例为0.5%。 个人的白细胞浓度是3100,医生 应该 做出怎样的判断?
4.1 引 言 ⚫ 根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000， 方差1000的正态分布；未患病的人，白 细胞的浓度服从均值7000，方差3000的 正态分布；一般人群中，患病的人数比 例为0.5%。 ⚫ 一个人的白细胞浓度是3100，医生 应该 做出怎样的判断？
2.1引言 贝叶斯决策理论 贝叶斯决策理论方法的假设: 各类别总体的概率分布是已知的; 要决策分类的类别数是一定的 在连续情况下,假设要识别的对象有d种特征 量x,x2,…,x’这些特征的所有可能的取值 范围构成了d维特征空间,称 X=x1,x2,…,/r 为d维特征向量
贝叶斯决策理论 ⚫ 贝叶斯决策理论方法的假设： – 各类别总体的概率分布是已知的； – 要决策分类的类别数是一定的。 ⚫ 在连续情况下，假设要识别的对象有d种特征 量x1，x2，…，xd，这些特征的所有可能的取值 范围构成了d维特征空间，称 x = [x1，x2，…，xd ] T 为d维特征向量。 2.1 引 言
2.1引言 假设说明 假设要研究的分类问题有c个类别a;,i=1, 2,…,c;对应于各个类别a,出现的先验概率 P(o,)及类条件概率密度函数pxo,是已知的。 ●如果在特征空间已观察到某一向量x, ●X x。 那么应该把x分到哪一类去才是最合理呢? 这就是本章所要研究的主要问题
假设说明 ⚫ 假设要研究的分类问题有c个类别ωi，i =l， 2，…，c；对应于各个类别ωi出现的先验概率 P(ωi )及类条件概率密度函数p(x/ωi )是已知的。 ⚫ 如果在特征空间已观察到某一向量x， ⚫ x = [x1，x2，…，xd ] T ⚫ 那么应该把x分到哪一类去才是最合理呢？ ⚫ 这就是本章所要研究的主要问题。 2.1 引 言
42几种常用的欢视则 ◆基于最小错误率的贝叶斯决策 ◆基于最小风险的贝叶斯决策 ◆在限定一类错误率条件下使另一类错误 率为最小的两类别决策 ◆极小化极大决策 ◆序贯分类方法
4.2 几种常用的决策规则 ◆ 基于最小错误率的贝叶斯决策 ◆ 基于最小风险的贝叶斯决策 ◆ 在限定一类错误率条件下使另一类错误 率为最小的两类别决策 ◆ 极小化极大决策 ◆ 序贯分类方法
4.2几种常用的决策规则 42.1基于最小错误率的贝叶斯决策 利用概率论中的贝叶斯公式,得出使错 误率为最小的分类规则,称之为基于最 小错误率的贝叶斯决策
4.2.1基于最小错误率的贝叶斯决策 • 利用概率论中的贝叶斯公式，得出使错 误率为最小的分类规则，称之为基于最 小错误率的贝叶斯决策。 4.2 几种常用的决策规则
2.2.1基于最小错误率的贝叶斯决策 举例说明 以鱼分类为例说明解决问题的过程。 假设已抽取出d个表示鱼的特征,成为一个d维 空间的向量x,目的是要将x分类为鲈鱼或者鲑 鱼 如果用a表示状态,就是将x归类于两种可能的 自然状态之一,则 O=O1表示鲈鱼 =02表示鲑鱼
举例说明 • 以鱼分类为例说明解决问题的过程。 • 假设已抽取出d个表示鱼的特征，成为一个d维 空间的向量x，目的是要将x分类为鲈鱼或者鲑 鱼。 • 如果用ω表示状态，就是将x归类于两种可能的 自然状态之一，则 ω=ω1 表示鲈鱼 ω=ω2 表示鲑鱼 2.2.1基于最小错误率的贝叶斯决策
2.2.1基于最小错误率的贝叶斯决策 只以先验概率决策存在问题 °假设已知出现鲈鱼的先验概率为P(O)和 出现鲑鱼的先验概率为P(2) 在两类别问题中存在 °P(O1)+P(O2)=1
只以先验概率决策存在问题 • 假设已知出现鲈鱼的先验概率为P(ω1 )和 出现鲑鱼的先验概率为P(ω2 )。 • 在两类别问题中存在 • P(ω1 )+ P(ω2 )=1 2.2.1基于最小错误率的贝叶斯决策
2.2.1基于最小错误率的贝叶斯决策 只以先验概率决策存在问题 若P(O1)>P(O2),O=01 °P(O1)P(O2),O=2° 如果P(o)=0.9,P(O2=0.1, P(1)>P(O2),出现的鱼归为鲈鱼。如果仅做 次判别,这种分类可能是合理的;如果多次 判别,则根本未达到要把鲈鱼与鲑鱼区分开的 目的
只以先验概率决策存在问题 • 若P(ω1 )> P(ω2 )，ω=ω1； • P(ω1 ) P(ω2 )，出现的鱼归为鲈鱼。如果仅做 一次判别，这种分类可能是合理的；如果多次 判别，则根本未达到要把鲈鱼与鲑鱼区分开的 目的。 2.2.1基于最小错误率的贝叶斯决策