●。。|第四章统计分类器
第四章 统计分类器
●41概率论基本知识 o确定事件:概念是确定的,发生也是确 定的; o随机事件:概念是确定的,发生是不确 定的; o模糊事件:概念本身就不确定
4.1 概率论基本知识 确定事件：概念是确定的，发生也是确 定的； 随机事件：概念是确定的，发生是不确 定的； 模糊事件：概念本身就不确定
●●● 随机变量 o随机变量:随机事件的数量表示; o离散随机变量:取值为离散的随机变 里 o连续随机变量:取值为连续的随机变 里;
随机变量 随机变量：随机事件的数量表示； 离散随机变量：取值为离散的随机变 量 ； 连续随机变量：取值为连续的随机变 量 ；
●●● 频率和概率 o频率:试验在相同的条件下重复N次, 其中M次事件A发生,则A发生的频率 为:fN(A)=M/N; o概率:当N很大时,频率会趋向一个稳 定值,称为A的概率: P(A)=if(4)
频率和概率 频率：试验在相同的条件下重复N次， 其中M次事件A发生，则A发生的频率 为：fN(A) = M / N； 概率：当N很大时，频率会趋向一个稳 定值，称为A的概率： ( ) lim N ( ) N P A f A → =
联合概率和条件概率 o联合概率:设A,B是两个随机事件,A 和B同时发生的概率称为联合概率,记 为:P(A,B); o条件概率:在B事件发生的条件下,A 事件发生的概率称为条件概率,记为: P(AB) o乘法定理:P(A|B)=P(A,B)/P(B)
联合概率和条件概率 联合概率：设A，B是两个随机事件，A 和B同时发生的概率称为联合概率，记 为：P(A, B)； 条件概率：在B事件发生的条件下，A 事件发生的概率称为条件概率，记为： P(A|B)； 乘法定理：P(A|B) = P(A, B) / P(B)
●●● 概率密度函数 o概率分布函数:设X为连续型随机变量, 定义分布函数;F(X)=P(xs×); o概率密度函数:如果存在一个非负函 数p(X)使得下式成立,则p(X)称为的概 率密度函数: F(x)=」p()d F()=p(x) P(x=x)=p(x)dx
概率密度函数 概率分布函数：设X为连续型随机变量， 定义分布函数；F(x) = P(X≤x)； 概率密度函数：如果存在一个非负函 数p(x)使得下式成立，则p(x)称为的概 率密度函数： ( ) ( ) x F x p t dt − = F x p x ( ) = ( ) P X x p x dx ( = =) ( )
●●● 全概公式 o互不相容事件:如果试验时,若干个 随机事件中任何两个事件都不可能同时 发生,则称它们是互不相容的。 o全概公式:若事件只能与两两不相容的 事件A1,A2,,AN之一同时发生,则有 P(B)=∑P(4)P(BA4)
全概公式 互不相容事件：如果试验时，若干个 随机事件中任何两个事件都不可能同时 发生，则称它们是互不相容的。 全概公式：若事件只能与两两不相容的 事件A1 , A2 ,…, AN之一同时发生，则有： ( ) ( ) ( ) 1 N i i i P B P A P B A = =
●●● 贝叶斯公式 o离散形式:A,B为离散随机变量: P(4B) P(B4)P(4) PlB o连续形式:A为离散随机变量,B为连 续随机变量: P(4B)=2(24)P(4)
贝叶斯公式 离散形式：A, B为离散随机变量： ( ) ( ) ( ) ( ) P B A P A P A B P B = 连续形式：A为离散随机变量，B为连 续随机变量： ( ) ( ) ( ) ( ) p B A P A P A B p B =
●●4概率分类器的问题提出 o已知:M个类别的先验概率P(Q),类 条件概率P(X|Q); o对类别未知样本X进行分类
概率分类器的问题提出 已知：M个类别的先验概率P(Ωi )，类 条件概率P(X| Ωi )； 对类别未知样本X进行分类
●●最小错误率准则 o将X分类为9类所产生的误判概率为: P()P(x)=∑P(2x)-P(21x)=1-P(2x) J≠ o寻找一个类别,使得P(e)最小 o等价于后验概率P(Ω2X)最大
最小错误率准则 寻找一个类别i，使得Pi (e)最小； 等价于后验概率P(Ωi |X)最大。 将X分类为Ωi类所产生的误判概率为： ( ) ( ) ( ) ( ) ( ) 1 1 1 M M i j j i i j j j i P e P P P P = = = = − = − X X X X