·172· 电子测量与仪器学报 第26卷 已应用在很多方面，见文献[5-11]。 变量X的样本值，y是连续随机变量Y的样本值。 2 信息熵简介 将采用曲线y=f(x)拟合样本数据(x,y)的过程看 作是一个通信过程，而拟合误差看作是信道的噪声。 在物理学中，熵是描述客观事物无序性的参数。 现对拟合过程建立一个加性连续信道模型，称拟合 信息论的开创者商农认为，信息是人们对事物了解 模型，如图1所示。 的不确定性的消除或减少，不确定的程度称为信息 (x) 熵。下面以连续随机变量为例简要介绍本文涉及的 信息嫡理论12。 设连续随机变量X,其概率密度函数为p(x), 则定义连续随机变量X的微分熵（简称熵）为： 图1拟合模型 H(X)=-p(o p()dx Fig.1 Fitting model 随机变量X的熵也就是随机变量X每取一个值 信道的输入是样本数据的x分量：信道的输出 提供的平均信息量，表示X中事件发生的平均不确 定性，随机变量X的不确定性越大，熵也就越大。 是拟合曲线y=f(x);N表示拟合误差，与X分布 独立。 微分熵的概念可以椎广到多个随机变量的情 形。设连续随机变量X和Y的概率密度函数分别为 加性信道的一个重要特征是信道的传递概率密 Px(x)和py(y),二维随机变量(X,Y)的联合概率密 度函数Pyx(ylx)就是信道中加性噪声N的概率密 度函数为PxY(化，)，条件概率密度分别为 度函数Pw(m),信道的条件熵H(YIX)就是信道中 Pxm(xly)和px(ylx),则X和Y的联合熵和条件 加性噪声熵H(W),所以对于曲线拟合模型来说，输 熵分别为： 人变量X和输出变量Y的条件概率Px(ylx)就是 H(XY)=-fpxr(x.y)log pxr(x.y)dxdy 拟合误差概率密度Pw(),条件嫡就是拟合误差熵。 拟合模型中X和Y的互信息为： H(XIY)=-fpxr(x.y)log pxw(xly)dxdy I(X;Y)=H(Y)-H(YIX)=H(Y)-H(N)(1) H(Y1X)=-∬Pxw(x,y）log Prx(ylx)dxdy 式中：H(Y)为拟合结果熵，表示拟合结果的不确定 H(XIY)用来度量Y已知时，X的平均不确定 性，I(X;Y)表示从拟合结果Y中获取的关于X的互 度或疑义度；H(Y1x)用来度量X已知时，Y的平 信息，或者说从X传递到拟合结果的“真信息”的信 均不确定度或疑义度。 息熵。I(X;Y)越大，表示从拟合结果Y中获取的关 信息论中另外一个重要的概念是互信息，是对 于X的互信息越大，拟合准确度越高。 两个随机变量相关性的度量。连续随机变量X和Y 由上所述，基于互信息对一组样本数据的多条 之间的互信息定义为： 拟合曲线进行辨识，应选择互信息最大的曲线作为 x:)-px(x.ylog Px(ly)drdy= 最佳拟合曲线。 Px(x) 在连续信道中，互信息总是非负的，也就是从 jpnk,o(用adt 平均的意义上来说，连续信道每传递一个数值，总 Pr(y) 能传输一定的信息量，只有当输入信源X与输出变 用条件熵表示为： 量Y之间统计独立时，互信息才等于零，信道不传 I(X;Y)=H(X)-H(XIY)=H(Y)-H(YIX) 输信息量。对于曲线拟合来说，互信息的非负性表明， 3曲线拟合模型 从样本数据得到一条拟合曲线，总能在一定程度上 逼近样本数据，如果互信息为零，说明拟合曲线不 现有一组样本数据(，)，本文的目的是基于 能对原有数据进行拟合。 互信息对样本数据进行曲线拟合。本文将样本数据 下面介绍对于具体的拟合曲线y=f(x),I(X:) 的总体当作连续随机变量处理，其中x:是连续随机 的计算。 万方数据·172· 电子测量与仪器学报 第26卷 已应用在很多方面，见文献【5—11】。 2信息熵简介 在物理学中，熵是描述客观事物无序性的参数。 信息论的开创者商农认为，信息是人们对事物了解 的不确定性的消除或减少，不确定的程度称为信息 熵。下面以连续随机变量为例简要介绍本文涉及的 信息熵理论‘121。 设连续随机变量x，其概率密度函数为p(x)， 则定义连续随机变量x的微分熵(简称熵)为： H(X)=一I p(x)logp(x)dx 随机变量x的熵也就是随机变量x每取一个值 提供的平均信息量，表示x中事件发生的平均不确 定性，随机变量x的不确定性越大，熵也就越大。 微分熵的概念可以推广到多个随机变量的情 形。设连续随机变量x和l，的概率密度函数分别为 Px(工)和肼()，)，二维随机变量(x，y)的联合概率密 度函数为Pxr(工，)，)，条件概率密度分别为 P舢(引Y)和P似(YI X)，则x和y的联合熵和条件 熵分别为： H(XY)=一IIPxy(x，y)logpxy(工，y)血dr ／-／(X Iy)=一『JPxy(工，y)logp删(xly)dxdy n(rIx)=一『jPxlr(工，y)logp瞰(ylx)dxdy 日(x Iy)用来度量y已知时，x的平均不确定 度或疑义度；H(Ylx)用来度量x已知时，l，的平 均不确定度或疑义度。 信息论中另外一个重要的概念是互信息，是对 两个随机变量相关性的度量。连续随机变量x和y 之间的互信息定义为： ，(x；y)=IIPxr(五y)·。g!号专等兰≠2dxdy= ’’’Prty) 队y(x,y)log掣dxdy 用条件熵表示为： i(x；y)=H(X)一日(X y)=H(y)一日(y X) 3曲线拟合模型 现有一组样本数据(而，yf)，本文的目的是基于 互信息对样本数据进行曲线拟合。本文将样本数据 的总体当作连续随机变量处理，其中Xi是连续随机 变量x的样本值，Y。是连续随机变量y的样本值。 将采用曲线Y=厂(工)拟合样本数据(xi，Y，)的过程看 作是一个通信过程，而拟合误差看作是信道的噪声。 现对拟合过程建立一个加性连续信道模型，称拟合 模型，如图1所示。 图1拟合模型 Fig．1 Fitting model 信道的输入是样本数据的X分量；信道的输出 是拟合曲线Y=，(J)；N表示拟合误差，与x分布 独立。 加性信道的一个重要特征是信道的传递概率密 度函数pm(yl工)就是信道中加性噪声N的概率密 度函数P_Ⅳ(，z)，信道的条件熵片(y I X)就是信道中 加性噪声熵H(JV)，所以对于曲线拟合模型来说，输 入变量x和输出变量y的条件概率P眦(YI X)就是 拟合误差概率密度pⅣ(，1)，条件熵就是拟合误差熵。 拟合模型中x和y的互信息为： J，(X；y)=H(y)一H(YIX)=日(y)一日(Ⅳ) (1) 式中：何(y)为拟合结果熵，表示拟合结果的不确定 性，，(x；y)表示从拟合结果Y中获取的关于x的互 信息，或者说从x传递到拟合结果的“真信息”的信 息熵。，(x；y)越大，表示从拟合结果y中获取的关 于x的互信息越大，拟合准确度越高。 由上所述，基于互信息对一组样本数据的多条 拟合曲线进行辨识，应选择互信息最大的曲线作为 最佳拟合曲线。 在连续信道中，互信息总是非负的，也就是从 平均的意义上来说，连续信道每传递一个数值，总 能传输一定的信息量，只有当输入信源X与输出变 量l，之间统计独立时，互信息才等于零，信道不传 输信息量。对于曲线拟合来说，互信息的非负性表明， 从样本数据得到一条拟合曲线，总能在一定程度上 逼近样本数据，如果互信息为零，说明拟合曲线不 能对原有数据进行拟合。 下面介绍对于具体的拟合曲线Y=，(工)，趔；y) 的计算。 万方数据