北京邮电大学信息工程学院：《模式识别导论》课程教学资源（PPT课件讲稿）第四章 贝叶斯决策理论

第四章贝叶斯决策理论 贝叶斯分类器 Bayes分类器算法和例 正态分布决策理论 题 ·关于分类的错误率分·聂曼一皮尔逊判别准 析 则 最小风险 Bayes分类·最大最小判别准则 器 决策树 序贯分类

第四章 贝叶斯决策理论 • 贝叶斯分类器 • 正态分布决策理论 • 关于分类的错误率分 析 • 最小风险Bayes分类 器 • Bayes分类器算法和例 题 • 聂曼－皮尔逊判别准 则 • 最大最小判别准则 • 决策树 • 序贯分类

第四章贝叶斯决策理论 令§4-1 Bayes分类器最优分类器、最佳分类器P(x/o,) P(x/o) 一、两类问题 例如:细胞识别问题ω1正常细胞,O2异常细胞 某地区,经大量统计获先验概率P()P(o2)。若取该地区 某人细胞x属何种细胞,只能由先验概率决定 P(O,>P(O,),x }这种分类器决策无意义 条件概率密度分布 P(O1)<P(O2),x∈O2 ◆对x再观察:有细胞光密度特征,有类条件概率密度: Px/o)t=1,2,。如图所示 利用贝叶斯公式: P(o/x)=P(xa)P(a)∑P(x0,)P(o),(也称为后验概率 通过对细胞的再观察,就可以把先验概率转化为后验概 率,利用后验概率可对未知细胞x进行识别

v 对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ ωί) ί=1,2,…。如图所示 v 利用贝叶斯公式 ： Ø 通过 对细胞的再观察，就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞x进行识别 。 • 第四章 贝叶斯决策理论 v §4-1 Bayes分类器—最优分类器、最佳分类器 Ø一、两类问题 例如：细胞识别问题 ω1正常细胞，ω2异常细胞 某地区，经大量统计获先验概率P(ω1),P(ω2)。若取该地区 某人细胞x属何种细胞 ，只能由 先验概率决定。 这种分类器决策无意义        1 2 2 1 2 1 ( ) ( ), ( ) ( ),       P P x P P x  ，（也称为后验概率）        2 1 ( ) ( ) ( ) ( ) ( ) j i i i j P j P x P x P P x ( ) 1 P x ( )  2 P x x 条件概率密度分布 ( )i P x 

◆通过对细胞的再观察,就可以把先验概率转化为后验概 率,利用后验概率可对未知细胞x进行识别 ∫若P(o/)>P(O2/x则x∈O1 P(o/x) 若P(O/x)<P(O2/x),则x∈O2 P(o/x)P(o2/ 0.8 设N个样本分为两类o1,O2每个样本抽出06 n个特征, 02 =(1,x,x3,…,xn)T 后验概率分布 1、判别函数:g(x)=81(x)-g2(x) 若已知先验概率Pω1)P(O2),类条件概率密度P(x/o1), P(x/o2)。则可得贝叶斯判别函数四种形式:

       1 2 2 1 2 1 ( ) ( ), ( ) ( ),       P x P x x P x P x x 若 则 若 则 Ø 设N个样本分为两类ω1，ω2。每个样本抽出 n个特征， Ø x =（x1， x2， x3，…， xn）T v 通过 对细胞的再观察，就可以把先验概率转化为后验概 率，利用后验概率可对未知细胞x进行识别 。 1、判别函数： 若已知先验概率P(ω1),P(ω2)，类条件概率密度P(x/ ω1)， P(x/ ω2)。 则可得贝叶斯判别函数四种形式 ： ( ) ( ) ( ) 1 2 g x  g x  g x ( ) 1 P  x ( ) 2 P  x 0.2 x 0.4 0.6 0.8 1.0 后验概率分布 P( x)  i

)g(x)=PO1/x)-P(o2/x),(后验概率) (2)g(x)=P(x/o)P(o)-P(x/2)P(o2)(类条件概率密度) (3)g(x)= P(xo)P(O2),(似以然比形式) P(x/@2)P(a) (4)g(x)=hP(xohP(o).取对数方法) x0, 2、决策规则:()P(0/)>P(O2/x)→x∈ (2)P(x/1)P(o1)P(x/2)P(O2)→x∈ P(x/ O 2 X/0 P(O1) →x∈ 2 P( O (4)g(x)=ln P(x/0 P(x/2)<P(O1) 2

2、决策规则： ,( ) ( ) ( ) ln ( ) ( ) (4) ( ) ln ,( ) ( ) ( ) ( ) ( ) (3) ( ) (2) ( ) ( ) ( ) ( ) ( ),( ) (1) ( ) ( ) ( ),( ) 1 2 2 1 1 2 2 1 1 1 2 2 1 2 取对数方法 似然比形式 类条件概率密度 后验概率               P P P x P x g x P P P x P x g x g x P x P P x P g x P x P x         2 1 1 2 2 1 2 1 1 2 2 1 2 1 1 1 2 2 2 1 1 2 ( ) ( ) ln ( ) ( ) (4) ( ) ln ( ) ( ) ( ) ( ) (3) (2) ( ) ( ) ( ) ( ) (1) ( ) ( )                                        x P P P x P x g x x P P P x P x P x P P x P x P x P x x

3、决策面方程:8(x)=0 x为一维时,决策面为一点,x为二维时决策面为曲线,x为三维时,决策面为 曲面,x大于三维时决策面为超曲面。 令例:某地区细胞识别;P(o1)=09,P(o2)=0.1未知细胞x,先从类条件概率密 度分布曲线上查到:P(x/o1)=0.2,P(x/o2)=04 ◆解:该细胞属于正常细胞还是异常细胞,先计算后验概率: P(O,/x) P(x/O)P(a)02×0.9 0.818 ∑P(x/)P(o) 0.2×0.9+0.4×0.1 P(O2/x)=1-P(a1/x)=0.182因为P(a1/x)>P(2/x)…x∈O属正常细胞 因为P(O1)>>P(O2),所以先验概率起很大作用

3、决策面方程： x为一维时，决策面为一点，x为二维时决策面为曲线，x为三维时，决策面为 曲面，x大于三维时决策面为超曲面。 v 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密 度分布曲线上查到： v 解：该细胞属于正常细胞还是异常细胞，先计算后验概率： g (x)  0 P(x/ ω1)=0.2， P(x/ ω2)=0.4 ( ) ( ), . ( ) 1 ( ) 0.182, ( ) ( ), 0.818 0.2 0.9 0.4 0.1 0.2 0.9 ( ) ( ) ( ) ( ) ( ) 1 2 2 1 1 2 1 2 1 1 1 1 因为 所以先验概率起很大作 用 因为 属正常细胞。             P P P x P x P x P x x P x P P x P P x j j j               

4、分类器设计: X∈ 判别计算 阈值单元决策 特征向量

g(x)    n xxx X ...21 特征向量 判别计算 决策 21  x   阈值单元 4、分类器设计：

二、多类情况:o=(o,2,,m),x=( 1判别函数:M类有M个判别函数g(x),gx),…,gn(x)每个判别函数有 上面的四种形式。 2决策规则:g(x)=P(x/O,)P(m1) =maxP(x/O1)P(O1)→x∈O12(i=1,2,,M) 另一种形式: g,(x)=In P(x/0 ) In P(o) max in P(x/o)+In P(o) xX∈O J 3、决策面方程:81(x)=8(x)即g(x)-8(x)=0 4、分类器设计: g1(x) X Maxg(x) ●。● n() 最大值选择器决策 特征向量 判别计算

Ø 二、多类情况：ωί=(ω1 ,ω2 ,…,ωm)，x=(x1 ,x2 ,…,xn) 1.判别函数：M类有M个判别函数g1(x), g2(x),…, gm(x).每个判别函数有 上面的四种形式。 2.决策规则： max ( ) ( ) ,( 1,2,..., ) ( ) ( ) ( ) 1 P x P x i M g x P x P j j i j M i i i              j i  i j M i i i P x P x g x P x P              max ln ( ) ln ( ) ( ) ln ( ) ln ( ) 1 Ø另一种形式： 3、决策面方程： 4、分类器设计： g (x)  g (x), g (x)  g (x)  0 i j 即 i j g1(x) Maxg(x)        n x x x X ...2 1 特征向量 判别计算 决策 i g2(x) x   gn(x) 最大值选择器

今§4-2正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布: a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单,N(μG2)只有均值和方差两个参数 2、单变量正态分布: P(x) x-μ exp N(μ,G2) 2 其中:μ=E(x)=∫。xP(x)x,(均值或数学期望 Ek(x-)=(x-)P(x)d,(方差 P(x) 概率密度函数应满足下列关系 P(x)≥0,(-0<x<∞) 0.95 T P(x)dx +2G

v§4-2 正态分布决策理论 Ø 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ ²) 只有均值和方差两个参数。 2、单变量正态分布：      ( ) ( ) : ( ) ( ) , ( ) ( , ) 2 1 exp 2 1 ( ) 2 2 2 2 2 ，方差 其中 均值或数学期望 E x x P x dx E x xP x dx N x P x                                                   ( ) 1 ( ) 0,( ) P x dx P x x 概率密度函数应满足下 列关系： P( x)  X   2    2  0 .95 1

3、(多变量)多维正态分布 (1)函数形式 z∑ 其中:x=(x1,x2,,x),n维特征向量 =(A1,42,pn),n维均值向量 ∑为x维协方差矩阵∑为∑的逆阵,的行列式 H = E(x x P(xdx ∑=E[(x-n)(x-)2 E E

3、（多变量）多维正态分布 （1）函数形式：                               为 维协方差矩阵， 为 的逆阵， 为 的行列式 ， 维均值向量 其中 维特征向量 1 1 2 1 2 1 2 1 2 ( , ,..., ) : , ,..., , 2 1 exp 2 1 ( ) n n n x x x x n P x x x T n T n T n        i i i i i E x x P x dx       ( )  ( )                                                                           n n n n n n n n n n n n T x x x x x x x x E x x x x E E x x               ... ...... ... ...... ,..., 1 1 1 1 1 1 1 1 1 1 1 1

E(x )].E[(x1-41)(xn-n) E(x E 2 2 对角线 是方差 非对角线 O,i≠j是协方差 n 2 (2)、性质: X ①、与∑对分布起决定作用P(x)=N(x,∑),由 n个分量组成,∑由nn+)2元素组成。∴多维正态分° 布由n+n(n+1)2个参数组成 μ 等密度点的轨迹是一个超椭球面。区域 中心由μ决定,区域形状由∑决定。 ③、不相关性等价于独立性。若x,与x互不相 关则x与x一定独立。 ④、线性变换的正态性Y=AX,A为线性变换 矩阵。若Ⅹ为正态分布,则Y也是正态分布 ⑤、线性组合的正态性

                                          非对角线 ， 是协方差 对角线 是方差 i j i j E x x E x x E x x E x x ij ij n n nn n n n n n n n n n 2 2 2 2 2 2 1 2 1 2 12 2 11 1 1 1 1 1 1 1 1 , , ... ... ... ... ... ... ... ...... ...                 (2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由 n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分 布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域 中心由μ决定，区域形状由∑决定。 ③、不相关性等价于独立性。若xi与xj互不相 关,则xi与xj一定独立。 ④、线性变换的正态性Y=AX，A为线性变换 矩阵。若X为正态分布，则Y也是正态分布。 ⑤、线性组合的正态性。   2  1 X 1 X 2