贝叶斯决策理论概述 贝叶斯决策理论概述 口贝叶斯决策理论是解决模式分类问题的一种基本 口例1：医生根据病人血液中白细胞的浓度来判断 统计途径。 病人是否患有血液病。 口对问题的要求/条件 ■一个人的白细胞浓度是3100，医生应该做出怎 ■决策问题可以用概率的形式来描述： 样的判断？（两类别的识别问题） ■所有有关的概率结构均已知。 口出发点是利用概率的不同分类决策和相应的决策 ■根据医学知识和以往的经验医生知道： 代价之间的定量折中。 口一般人群中，患病的人数比例为0.5% 口对于同一个问题，采用不同的决策标准将得到不 口患病的人白细胞的浓度服从均值2000，方差 同意义下“最优”的决策。其中最具代表性的是： 1000的正态分布：未患病的人白细胞的浓度服从 ■最小错误率 均值7000，方差3000的正态分布： ■最小风险 贝叶斯决策理论概述 贝叶斯决策理论概述 口数学表示 口先验概率(priori probabilities/prior) ■用Q表示“类别”这一随机变量，类别@1和⊙2分 ■根据大量统计数据确定某个类别事物出现的比例。 别表示“患病”和“未患病”。 ■例1中的两个类别的先验概率分布分别是： P(2=u)=0.5% ■用x表示“白细胞浓度值”这一随机变量。 P2=0,)=99.5% ■决策空间⊙={01，w2}。 P(Q=a)+P2=)=1 (挂他性、穷举性) ■“先验” 口没有获得观测数据（病人白细胞浓度）之前类别 的分布。 口只针对w1和ω2出现的可能性，不考虑其他任何因 素（如白细胞浓度）。 贝叶斯决策理论概述 贝叶斯决策理论概述 o先验概率(priori probabilities/prior) 口类条件概率(Class-conditional Probabilities) ■仅依据先验信息的判决规则： ■可利用白细胞浓度值×（连续随机变量）来帮助 判决： ,ifP@>P@2) ■X的分布取决于类别状态（患病或未患病），用 Decide otherwise 类条件概率密度函数来表示： px|m)~N(2000,1000: ■判决的误差概率 px|o2)~N(7000,3000 口p(xo)是指在类别w下，在一个连续的函数空 P(error)=minP(a),P() 间中观测到×的可能性。 Dp(x|)和px|)间的区别表示了血液病人和 非血液病人之间白细胞浓度值的区别。贝叶斯决策理论概述  贝叶斯决策理论是解决模式分类问题的一种基本 统计途径。  对问题的要求/条件  决策问题可以用概率的形式来描述；  所有有关的概率结构均已知。  出发点是利用概率的不同分类决策和相应的决策 代价之间的定量折中。  对于同一个问题，采用不同的决策标准将得到不 同意义下“最优”的决策。其中最具代表性的是：  最小错误率  最小风险 贝叶斯决策理论概述  例1：医生根据病人血液中白细胞的浓度来判断 病人是否患有血液病。  一个人的白细胞浓度是3100，医生应该做出怎 样的判断？ （两类别的识别问题）  根据医学知识和以往的经验医生知道： 一般人群中，患病的人数比例为0.5%。 患病的人白细胞的浓度服从均值2000，方差 1000的正态分布；未患病的人白细胞的浓度服从 均值7000，方差3000的正态分布； 贝叶斯决策理论概述  数学表示  用Ω表示“类别”这一随机变量，类别ω1和ω2分 别表示“患病” 和“未患病”。  用x表示“白细胞浓度值”这一随机变量。  决策空间Θ={ω1，ω2}。 贝叶斯决策理论概述  先验概率 (priori probabilities / prior)  根据大量统计数据确定某个类别事物出现的比例。  例1中的两个类别的先验概率分布分别是:  “先验” —— 没有获得观测数据（病人白细胞浓度）之前类别 的分布。 只针对ω1和ω2出现的可能性，不考虑其他任何因 素（如白细胞浓度）。 1 2 1 2 ( ) 0.5% ( ) 99.5% ( ) ( )1 ( ) P P P P             排他性、穷举性 贝叶斯决策理论概述  先验概率 (priori probabilities / prior)  仅依据先验信息的判决规则：  判决的误差概率 , if Decide , otherwise 1 12 2 ω P(ω ) P(ω ) ω     ( ) min  ( ), ( ) P 1 P 1 P error  贝叶斯决策理论概述  类条件概率(Class-conditional Probabilities)  可利用白细胞浓度值x（连续随机变量）来帮助 判决；  x的分布取决于类别状态（患病或未患病），用 类条件概率密度函数来表示：  是指在类别ωi下，在一个连续的函数空 间中观测到x的可能性。  和 间的区别表示了血液病人和 非血液病人之间白细胞浓度值的区别。 ( | ) ~ (7000, 3000); ( | ) ~ (2000,1000); 2 1 p x N p x N   ( | ) 1 p x 2 p x(| )  i p x(| ) 