现某个特征矢量的几率。然而当X为一个连续型的特征是矢量时,问题就会非常复杂。因 为这种情况下我们要找到的是条件概率密度函数p(X2),而概率密度函数可以是任意形 式,而我们的训练样本的数量毕竟是有限的,因此不可能很好的拟合出概率密度函数。因此 我们往往采用一些简化的办法 这些简化办法中最重要的一点就是要对所求的概率密度函数的形式作出一定的限制,假 设概率密度函数符合某种概率模型,而概率模型是可以用一组参数来描述的,这样我们就可 以使用数理统计的方法,利用训练样本来估计这组参数,有了模型参数,就可以得到概率密 度数。下面介绍几种常用的概率模型及其估计方法。 高斯模型( Gaussian model) 高斯模型也称为正态分布模型,是一种最常见的概率模型,自然界中很多物理现象都符 合正态分布假设,比如说我们对一个物理量的测量。N维的正态分布函数可以表示为: P(X2,) exp -(X-m )C-le 正态分布函数完全可以有两个参数来描述 均值矢量:m=E[X] 协方差矩阵:C2=E[(x-m)x-m)]=E(xX)mm 正态分布的参数的估计方法非常简单,根据数理统计的理论,虽然均值和协方差都需要 求一个数学期望,也就是当数量N趋近于无穷大时求平均,但是当样本量足够大时可以用 有限样本的算术平均来近似,即: c(x-n)(x-m)点2 ∑x(x)-mm 例 二、混合高斯模型( Mixed gaussian model,GMM) 正态分布模型的训练和使用非常简单,然而对于一个实际问题来说,特征的分布函数并 不一定满足正态分布,其分布形式可能非常复杂,并且往往呈现一种多峰情况,如下图所示 这时再用高斯模型来描述它的概率密度函数就会产生很大的误差。为了描述这些复杂的分布 函数,我们可以采用简单函数的线性组合来逼近复杂函数。GMM模型就是用多个高斯函数 的线性组合来描述复杂的分布函数 我们可以用N(mC)来表示一个高斯分布函数,m为均值矢量,C为协方差矩阵。那 么一个GMM概率密度函数可以表示为 p(x9)=∑N(m,c),其∑=138 现某个特征矢量的几率。然而当 X 为一个连续型的特征是矢量时，问题就会非常复杂。因 为这种情况下我们要找到的是条件概率密度函数 p (X i) ，而概率密度函数可以是任意形 式，而我们的训练样本的数量毕竟是有限的，因此不可能很好的拟合出概率密度函数。因此 我们往往采用一些简化的办法。 这些简化办法中最重要的一点就是要对所求的概率密度函数的形式作出一定的限制，假 设概率密度函数符合某种概率模型，而概率模型是可以用一组参数来描述的，这样我们就可 以使用数理统计的方法，利用训练样本来估计这组参数，有了模型参数，就可以得到概率密 度数。下面介绍几种常用的概率模型及其估计方法。 一、高斯模型（Gaussian Model ） 高斯模型也称为正态分布模型，是一种最常见的概率模型，自然界中很多物理现象都符 合正态分布假设，比如说我们对一个物理量的测量。 N 维的正态分布函数可以表示为： ( ) ( ) ( ) ( ) 1 2 1 2 1 1 exp 2 2 T i i i i N i p C  C   −  = − − −     X X m X m 正态分布函数完全可以有两个参数来描述： 均值矢量： m X i i = E   ； 协方差矩阵： ( )( ) ( ) T T T C E E i i i i i i i = − − = −     X m X m XX m m 正态分布的参数的估计方法非常简单，根据数理统计的理论，虽然均值和协方差都需要 求一个数学期望，也就是当数量 N 趋近于无穷大时求平均，但是当样本量足够大时可以用 有限样本的算术平均来近似，即： ( ) 1 1 Ni i i j j Ni = m X   ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 1 N N i i T T i i i i T i j i j i j j i i j j i i C N N = =    − − = −       X m X m X X m m 例 4.3 二、混合高斯模型 （Mixed Gaussian Model, GMM） 正态分布模型的训练和使用非常简单，然而对于一个实际问题来说，特征的分布函数并 不一定满足正态分布，其分布形式可能非常复杂，并且往往呈现一种多峰情况，如下图所示。 这时再用高斯模型来描述它的概率密度函数就会产生很大的误差。为了描述这些复杂的分布 函数，我们可以采用简单函数的线性组合来逼近复杂函数。GMM 模型就是用多个高斯函数 的线性组合来描述复杂的分布函数。 我们可以用 N (m,C) 来表示一个高斯分布函数， m 为均值矢量， C 为协方差矩阵。那 么一个 GMM 概率密度函数可以表示为： ( ) ( ) ( ) ( ) ( ) 1 K i i i i j j j j p a N = X m ,C  = ，其中 ( ) 1 1 K i j j a =  =