第26卷第2期 电子测量与仪器学报 6l.26Wa.2 2012年2月 JOURNAL OF ELECTRONIC MEASUREMENT AND INSTRUMENT ·171· D0:10.3724/SPJ.1187.2012.00171 信息熵在曲线拟合辨识中的应用 曾金芳2滕召胜1 (1.湖南大学电气与信息工程学院，长沙410082：2.湘潭大学材料与光电物理学院，湘潭411105) 摘要：在对测址数据进行曲线拟合辨识时，常用的误差指标，如均方根误差和误差平方和，没有考虑样本数据的概率统 计特性。基于信息熵原理介绍了一种新的曲线拟合辨识方法。将曲线拟合过程看作加性信道，建立了曲线拟合模型。首先将样 本数据进行多种曲线拟合，采用最大熵方法根据样本值估计出自变址的概率密度函数和信息熵：再根据拟合曲线计算拟合结果 嫡和误差嫡。最后计算出拟合模型的互信息，选取互信息最大的曲线作为样本的最佳拟合曲线，并给出了应用实例。中于该方法 充分考虑了样本数据的概率统计规律，因此能提高测量精度，具有更大的适用范围。对于测量信息论的研究有一定的参考价值。 关键词：曲线拟合；信息熵：误差嫡：互信息 中图分类号：TP202 文献标识码：A国家标准学科分类代码：510.40 Application of information entropy in curve fitting recognition Zeng Jinfang'2 Teng Zhaosheng (1.College of Electrical and Information Engineering.Hunan University,Changsha 410082,China; 2.College of Materials,Optoelectronics and Physics,Xiangtan University,Xiangtan 411105,China) Abstract:In the recognition of curve fitting for measurement data,common error indexes,such as RMS error and error square sum,don't consider sample's probability statistics properties.A curve fitting recognition method was introduced based on information entropy.A curve fitting model was established through taking a curve fitting course as an additive channel.First,variety curves were selected to fit sample.The Maximum Entropy Method was used to estimate the independent variable's probability density function and information entropy according to sample.Then,the fitting result entropy and the error entropy were calculated according to fitting curve.Finally.the fitting model's mutual information was calculated.The curve with maximum mutual information was selected as sample's optimal fitting curve.An application example was provided in the end.Since the method fully considers sample's probability statistics properties, the method can improve measurement's precision,has more extensive adaptability and some reference value to research on measurement information theory. Keywords:curve fitting;information entropy;error entropy;mutual information 1 引言 函数、NURBS曲线2]和样条曲线]等。具体选择哪 条曲线需根据误差指标来辨识，如平均误差、均方根 在测量或观察等过程中，通常会获得一组看上 误差和误差平方和等。这些指标均没有考虑到数据 去杂乱无章的样本数据(：，y,通常希望从中找出 的概率统计规律，然而在实际测量系统中，由于各 某种规律，即寻求一条曲线y=f(x),使f(x)在某 种因素的影响（如环境、人为和设备等），测量数据为 种准则下与所有数据点(：，)最为接近，这就是曲 随机变量，满足一定的概率统计规律。 线拟合。在曲线拟合时，不要求曲线f(x)严格地经 本文基于信息熵提出一种曲线拟合辨识方法。 过所有的数据点(，)，只要求拟合曲线f(x)在： 首先基于通信系统信道模型建立曲线拟合模型，然 处的某种误差指标最小川。对一组数据进行曲线拟合， 后计算曲线拟合模型的互信息，根据互信息指标对 可选择的曲线很多，如多项式函数、指数函数、对数 多条拟合曲线进行辨识。互信息作为一种优化指标 本文于2011年11月收到。 万方数据
第26卷第2期 2012年2月 电子测量与仪器学报 JoURNALoF ELECTRONIC MEAsUREMENT久ND lNSTRUMENT 场L 26 No．2 ·171· DOI：10．3724／SPJ．1187．2012．00171 信息熵在曲线拟合辨识中的应用 曾金芳1，2滕召胜1 (1．湖南大学电气与信息工程学院，长沙410082；2．湘潭大学材料与光电物理学院，湘潭41 1 105) 摘要：在对测量数据进行曲线拟合辨识时，常用的误差指标，如均方根误差和误差平方和，没有考虑样本数据的概率统 计特性。基于信息熵原理介绍了一种新的曲线拟合辨识方法。将曲线拟合过程看作加性信道，建立了曲线拟合模型。首先将样 本数据进行多种曲线拟合，采用最大熵方法根据样本值估计出自变量的概率密度函数和信息熵；再根据拟合曲线计算拟合结果 熵和误差熵，最后计算出拟合模型的互信息。选取互信息最大的曲线作为样本的最佳拟合曲线，并给出了应用实例。南于该方法 充分考虑了样本数据的概率统计规律，因此能提高测量精度，具有更大的适用范围，对于测量信息论的研究有一定的参考价值。 关键词：曲线拟合；信息熵；误差熵：互信息 中图分类号：TP202 文献标识码：A 国家标准学科分类代码：510．40 Application of information entropy in curve fitting recognition Zeng Jinfan91·2 Teng Zhaoshen91 (1．College of Electrical and Information Engineering，Hunan UniversitY,Changsha 410082，China； 2．College of Materials，Optoelectronics and Physics，Xiangtan University,Xiangtan 41 1 105，China) Abstract：In the recognition of curve fitting for measurement data，common error 1ndexes，such as RMS error and error square sum，don’t consider sample’S probability statistics properties．A curve fitting recognition method was introduced based on information entropy．A curve fitting model was established through taking a curve fitting course as an additive channel．First，variety curves were selected to fit sample．The Maximum En仃opy Method was used to estimate the independent variable’S probability density function and information entropy according to sample．Then，the fitting result entropy and the error entropy were calculated according to fitting curve．Finally，the fitting model’S mutual information was calculated．The curve with maximum mutual information was selected as sample’S optimal fitting curve．An application example was provided in the end．Since the method fully considers sample’S probability statistics properties， the method Can improve measurement’S precision，has more extensive adaptability and some reference value to research on measurement information theory． Keywords：curve fitting；information entropy；error entropy；mutual information 1 引 言 在测量或观察等过程中，通常会获得一组看上 去杂乱无章的样本数据(五，yf)，通常希望从中找出 某种规律，即寻求一条曲线Y=，(工)，使．厂(x)在某 种准则下与所有数据点(鼍，咒)最为接近，这就是曲 线拟合。在曲线拟合时，不要求曲线．厂(工)严格地经 过所有的数据点(再，为)，只要求拟合曲线，(石)在xi 处的某种误差指标最小…。对一组数据进行曲线拟合， 可选择的曲线很多，如多项式函数、指数函数、对数 本文于2011年11月收到。 函数、NURBS曲线f2】和样条曲纠驯等。具体选择哪 条曲线需根据误差指标来辨识，如平均误差、均方根 误差和误差平方和等。这些指标均没有考虑到数据 的概率统计规律，然而在实际测量系统中，由于各 种因素的影响(如环境、人为和设备等)，测量数据为 随机变量，满足一定的概率统计规律14J。 本文基于信息熵提出一种曲线拟合辨识方法。 首先基于通信系统信道模型建立曲线拟合模型，然 后计算曲线拟合模型的互信息，根据互信息指标对 多条拟合曲线进行辨识。互信息作为一种优化指标 万方数据
·172· 电子测量与仪器学报 第26卷 已应用在很多方面，见文献[5-11]。 变量X的样本值，y是连续随机变量Y的样本值。 2 信息熵简介 将采用曲线y=f(x)拟合样本数据(x,y)的过程看 作是一个通信过程，而拟合误差看作是信道的噪声。 在物理学中，熵是描述客观事物无序性的参数。 现对拟合过程建立一个加性连续信道模型，称拟合 信息论的开创者商农认为，信息是人们对事物了解 模型，如图1所示。 的不确定性的消除或减少，不确定的程度称为信息 (x) 熵。下面以连续随机变量为例简要介绍本文涉及的 信息嫡理论12。 设连续随机变量X,其概率密度函数为p(x), 则定义连续随机变量X的微分熵（简称熵）为： 图1拟合模型 H(X)=-p(o p()dx Fig.1 Fitting model 随机变量X的熵也就是随机变量X每取一个值 信道的输入是样本数据的x分量：信道的输出 提供的平均信息量，表示X中事件发生的平均不确 定性，随机变量X的不确定性越大，熵也就越大。 是拟合曲线y=f(x);N表示拟合误差，与X分布 独立。 微分熵的概念可以椎广到多个随机变量的情 形。设连续随机变量X和Y的概率密度函数分别为 加性信道的一个重要特征是信道的传递概率密 Px(x)和py(y),二维随机变量(X,Y)的联合概率密 度函数Pyx(ylx)就是信道中加性噪声N的概率密 度函数为PxY(化，)，条件概率密度分别为 度函数Pw(m),信道的条件熵H(YIX)就是信道中 Pxm(xly)和px(ylx),则X和Y的联合熵和条件 加性噪声熵H(W),所以对于曲线拟合模型来说，输 熵分别为： 人变量X和输出变量Y的条件概率Px(ylx)就是 H(XY)=-fpxr(x.y)log pxr(x.y)dxdy 拟合误差概率密度Pw(),条件嫡就是拟合误差熵。 拟合模型中X和Y的互信息为： H(XIY)=-fpxr(x.y)log pxw(xly)dxdy I(X;Y)=H(Y)-H(YIX)=H(Y)-H(N)(1) H(Y1X)=-∬Pxw(x,y）log Prx(ylx)dxdy 式中：H(Y)为拟合结果熵，表示拟合结果的不确定 H(XIY)用来度量Y已知时，X的平均不确定 性，I(X;Y)表示从拟合结果Y中获取的关于X的互 度或疑义度；H(Y1x)用来度量X已知时，Y的平 信息，或者说从X传递到拟合结果的“真信息”的信 均不确定度或疑义度。 息熵。I(X;Y)越大，表示从拟合结果Y中获取的关 信息论中另外一个重要的概念是互信息，是对 于X的互信息越大，拟合准确度越高。 两个随机变量相关性的度量。连续随机变量X和Y 由上所述，基于互信息对一组样本数据的多条 之间的互信息定义为： 拟合曲线进行辨识，应选择互信息最大的曲线作为 x:)-px(x.ylog Px(ly)drdy= 最佳拟合曲线。 Px(x) 在连续信道中，互信息总是非负的，也就是从 jpnk,o(用adt 平均的意义上来说，连续信道每传递一个数值，总 Pr(y) 能传输一定的信息量，只有当输入信源X与输出变 用条件熵表示为： 量Y之间统计独立时，互信息才等于零，信道不传 I(X;Y)=H(X)-H(XIY)=H(Y)-H(YIX) 输信息量。对于曲线拟合来说，互信息的非负性表明， 3曲线拟合模型 从样本数据得到一条拟合曲线，总能在一定程度上 逼近样本数据，如果互信息为零，说明拟合曲线不 现有一组样本数据(，)，本文的目的是基于 能对原有数据进行拟合。 互信息对样本数据进行曲线拟合。本文将样本数据 下面介绍对于具体的拟合曲线y=f(x),I(X:) 的总体当作连续随机变量处理，其中x:是连续随机 的计算。 万方数据
·172· 电子测量与仪器学报 第26卷 已应用在很多方面，见文献【5—11】。 2信息熵简介 在物理学中，熵是描述客观事物无序性的参数。 信息论的开创者商农认为，信息是人们对事物了解 的不确定性的消除或减少，不确定的程度称为信息 熵。下面以连续随机变量为例简要介绍本文涉及的 信息熵理论‘121。 设连续随机变量x，其概率密度函数为p(x)， 则定义连续随机变量x的微分熵(简称熵)为： H(X)=一I p(x)logp(x)dx 随机变量x的熵也就是随机变量x每取一个值 提供的平均信息量，表示x中事件发生的平均不确 定性，随机变量x的不确定性越大，熵也就越大。 微分熵的概念可以推广到多个随机变量的情 形。设连续随机变量x和l，的概率密度函数分别为 Px(工)和肼()，)，二维随机变量(x，y)的联合概率密 度函数为Pxr(工，)，)，条件概率密度分别为 P舢(引Y)和P似(YI X)，则x和y的联合熵和条件 熵分别为： H(XY)=一IIPxy(x，y)logpxy(工，y)血dr ／-／(X Iy)=一『JPxy(工，y)logp删(xly)dxdy n(rIx)=一『jPxlr(工，y)logp瞰(ylx)dxdy 日(x Iy)用来度量y已知时，x的平均不确定 度或疑义度；H(Ylx)用来度量x已知时，l，的平 均不确定度或疑义度。 信息论中另外一个重要的概念是互信息，是对 两个随机变量相关性的度量。连续随机变量x和y 之间的互信息定义为： ，(x；y)=IIPxr(五y)·。g!号专等兰≠2dxdy= ’’’Prty) 队y(x,y)log掣dxdy 用条件熵表示为： i(x；y)=H(X)一日(X y)=H(y)一日(y X) 3曲线拟合模型 现有一组样本数据(而，yf)，本文的目的是基于 互信息对样本数据进行曲线拟合。本文将样本数据 的总体当作连续随机变量处理，其中Xi是连续随机 变量x的样本值，Y。是连续随机变量y的样本值。 将采用曲线Y=厂(工)拟合样本数据(xi，Y，)的过程看 作是一个通信过程，而拟合误差看作是信道的噪声。 现对拟合过程建立一个加性连续信道模型，称拟合 模型，如图1所示。 图1拟合模型 Fig．1 Fitting model 信道的输入是样本数据的X分量；信道的输出 是拟合曲线Y=，(J)；N表示拟合误差，与x分布 独立。 加性信道的一个重要特征是信道的传递概率密 度函数pm(yl工)就是信道中加性噪声N的概率密 度函数P_Ⅳ(，z)，信道的条件熵片(y I X)就是信道中 加性噪声熵H(JV)，所以对于曲线拟合模型来说，输 入变量x和输出变量y的条件概率P眦(YI X)就是 拟合误差概率密度pⅣ(，1)，条件熵就是拟合误差熵。 拟合模型中x和y的互信息为： J，(X；y)=H(y)一H(YIX)=日(y)一日(Ⅳ) (1) 式中：何(y)为拟合结果熵，表示拟合结果的不确定 性，，(x；y)表示从拟合结果Y中获取的关于x的互 信息，或者说从x传递到拟合结果的“真信息”的信 息熵。，(x；y)越大，表示从拟合结果y中获取的关 于x的互信息越大，拟合准确度越高。 由上所述，基于互信息对一组样本数据的多条 拟合曲线进行辨识，应选择互信息最大的曲线作为 最佳拟合曲线。 在连续信道中，互信息总是非负的，也就是从 平均的意义上来说，连续信道每传递一个数值，总 能传输一定的信息量，只有当输入信源X与输出变 量l，之间统计独立时，互信息才等于零，信道不传 输信息量。对于曲线拟合来说，互信息的非负性表明， 从样本数据得到一条拟合曲线，总能在一定程度上 逼近样本数据，如果互信息为零，说明拟合曲线不 能对原有数据进行拟合。 下面介绍对于具体的拟合曲线Y=，(工)，趔；y) 的计算。 万方数据
第2期 信息熵在曲线拟合辨识中的应用 ·173· 设连续随机变量X的概率密度函数为p(x),熵 表1水分天平采样数据 为H(X),拟合曲线y=f(x)可导，则拟合结果熵 Table 1 Moisture balance sample data 序号s /% 序号 % 序号s % H(Y)的计算公式为： 1 0.0 0.0000 21 10.0 3.6885 41 20.0 6.0476 H(Y)=H(X)-[p(x)log J(x.y)dx= 20.5 0.0100 3 10.5 3.8485 42 20.5 6.1675 31.0 0.0800 23 11.0 4.0184 43 21.0 6.2675 -∫Cpx)logp(xir+ 4 (2) 1.5 0.1599 24 11.5 4.1383 44 21.5 6.5174 5 2.0 0.2699 12.0 4.2783 45 22.0 6.7273 ∫(of'(xl 6 2.5 0.3898 26 12.5 4.3982 46 22.5 6.9572 7 3.0 0.5398 27 13.0 4.5182 % 23.0 7.1771 式中：J(x,y)是雅可比行列式，'(x)是f(x)的一阶 83.5 0.7597 28 13.5 4.6281 48 23.5 7.3770 9 4.0 0.9696 29 14.0 4.7381 4924.0 7.6070 导数，具体推导见文献6]。 0 4.5 1.1895 30 14.5 4.8281 50 24.5 7.8169 设拟合误差N的概率密度函数为p(),则拟合 11 5.0 1.4294 1 15.0 4.9280 51 25.0 8.0268 误差熵为： 12 5.5 1.6393 15.5 5.0280 内 25.5 8.2267 13 6.0 1.9392 33 16.0 5.1279 53 26.0 8.4366 H(N)=-p(n)log p(n)dn (3) 6.5 2.1591 34 16.5 5.2579 54 26.5 8.6265 将式(2)和式(3)代人式(1)，即可计算曲线拟合模 7.0 2.4290 35 17.0 5.3679 55 27.0 8.8165 16 75 2.7089 36 17.5 5.4678 56 275 9.0064 型的互信息。 17 8.0 2.9688 之 18.0 5.5978 28.0 9.1963 在经典误差理论中，一般认为误差分布是正态 伊 8.5 3.1587 38 18.5 5.7177 58 28.5 9.3762 分布，假设拟合误差满足方差为σ2的正态分布，则： 9.0 3.3587 39 19.0 5.8077 59 29.0 9.5562 20 9.5 3.5486 40 19.5 5.92766029.59.7261 Hw=21og(2eo2） 数据散点图如图2所示。 在等概情况下也可把误差分布当作均匀分布处 理，假设误差区间为[a,b小，则： 10 口散点图 H(N)=log(b-a）) 9 综上所述，基于互信息的曲线拟合辨识步骤 8 如下： 7 1)根据样本数据的自变量分量，由最大熵方法 6 31估计出自变量x的概率密度函数p(x),进而计 5 算H(X); 2)对样本数据拟合多条曲线： 2 3)根据每条拟合曲线y=f(x)计算每条曲线的 拟合结果熵H(Y); 10 20 30 4)根据拟合误差概率分布p(m)计算每条曲线 采样时间s 的拟合误差熵； 5)求出每条拟合曲线的互信息I(X;Y): 图2数据散点 6)选择互信息最大的曲线作为样本数据的最佳 Fig.2 Data scatter 拟合曲线。 根据数据散点图的变化趋势，选择多项式(6 4 应用实例 阶)、指数曲线和对数曲线来拟合样本数据。拟合结 果如下： 现以水分天平采集的数据为例来验证本文的辨 多项式(6阶)： 识方法。样本数据见表1，x表示采样时间，间隔0.5s, 为=5.81×108x5-1.1×105x+0.0006x4 y表示不同的时间样品的水分含量，单位为%。 0.0152x23+0.1524x2-0.1760x+0.0698 万方数据
第2期 信息熵在曲线拟合辨识中的应用 ·173· 设连续随机变量x的概率密度函数为p(工)，熵 为H(x)，拟合曲线Y=，(工)可导，则拟合结果熵 H(y)的计算公式为： 日(y)=(x)一』二p(工)l(，y)ldx=H log J x 日(y)= (x)一I0·∞ p(工) l(， Y Idx —I p(x)log p(x)dx+ (2) 』二p(x)]oglf侧出 ，一∞ I ’(工)I出 式中：．，(x，Y)是雅可比行列式，，’(工)是．厂(工)的一阶 导数，具体推导见文献f6】。 设拟合误差Ⅳ的概率密度函数为p(，z)，则拟合 误差熵为： 日(Ⅳ)=一I。p(n)logp∽)曲 (3) 将式(2)和式(3)代入式(1)，即可计算曲线拟合模 型的互信息。 在经典误差理论中，一般认为误差分布是正态 分布，假设拟合误差满足方差为仃2的正态分布，则： 日(Ⅳ)=寺log(2舵盯2) 在等概情况下也可把误差分布当作均匀分布处 理，假设误差区间为kb】，则： Ⅳ(Ⅳ)=log(b一口) 综上所述，基于互信息的曲线拟合辨识步骤 如下： 1)根据样本数据的自变量分量，由最大熵方法 [13-171估计出自变量x的概率密度函数p(工)，进而计 算日(x)； 2)对样本数据拟合多条曲线； 3)根据每条拟合曲线Y=，(工)计算每条曲线的 拟合结果熵日(y)； 4)根据拟合误差概率分布p(n)计算每条曲线 的拟合误差熵； 5)求出每条拟合曲线的互信息，(x；'，)： 6)选择互信息最大的曲线作为样本数据的最佳 拟合曲线。 4应用实例 现以水分天平采集的数据为例来验证本文的辨 识方法。样本数据见表1，X表示采样时间，间隔0．5 s， Y表示不同的时间样品的水分含量，单位为％。 表1水分天平采样数据 Thbk 1 Moisture balance sample data 弃号耐s y1％ 痒号 x}s v|％ 昏号】c}s y／％ l O．0 O．0000 2l 10．0 3．688 5 4l 20．0 6．0476 2 0．5 0．0100 22 10．5 3．848 5 42 20．5 6．1675 3 1．0 0．0800 23 11．0 4．0184 43 21．0 6．2675 4 1．5 0．1599 24 11．5 4．138 3 44 21．5 6．5174 5 2．O 0．2699 25 12．0 4．278 3 45 22．O 6．727 3 6 2．5 0．389 8 26 12．5 4．398 2 46 22．5 6．957 2 7 3．0 0．539 8 27 13．0 4．518 2 47 23．O 7．177l 8 3．5 0．759 7 28 13．5 4．628 l 48 23．5 7．3770 9 4．0 0．969 6 29 14．0 4．738 1 49 24．0 7．6070 10 4．5 1．189 5 30 14．5 4．828 l 50 24．5 7．8169 ll 5．0 1．4294 3l 15．0 4．928 0 51 25．O 8．026 8 12 5．5 1．639 3 32 15．5 5．028 0 52 25．5 8．2267 13 6．0 1．939 2 33 16．O 5．127 9 53 26．0 8．4366 14 6．5 2．159l 34 16．5 5．257 9 54 26．5 8．6265 15 7．O 2．4290 35 17．O 5．3679 55 27．O 8．816 5 16 7．5 2．708 9 36 17．5 5．467 8 56 27．5 9．0064 17 8．O 2．968 8 37 18．O 5．597 8 57 28．0 9．196 3 18 8．5 3．158 7 38 l&5 5．7177 58 28．5 9．3762 19 9．O 3．358 7 39 19．0 5．807 7 59 29．0 9．5562 20 9．5 3．548 6 40 19．5 5．927 6 60 29．5 9．726l 莲 删 把 糸 * 数据散点图如图2所示。 采样时间／s 图2教据散点 Fig．2 Data scatter 根据数据散点图的变化趋势，选择多项式(6 阶)、指数曲线和对数曲线来拟合样本数据。拟合结 果如下： 多项式(6阶)： Yl=5．81x10-Sx6—1．1x10—5x5+O．0006工4— 0．0152x3+0．1524x2—0．1760x+0．0698 O 9 8 7 6 5 4 3 2 l O 万方数据
·174 电子测量与仪器学报 第26卷 指数曲线： 量信息论的研究和应用有一定的参考价值。 2=51.2463e0.052r-50.4501 0 对数曲线： 。散点图 9 一6阶多项式 3=16.28571og(x+37.1593)-59.3416 由最大熵方法估计出自变量x满足的概率分布 人 及信息熵分别为： 6 p(x)=e4156-5.80”x40003x-14.75 H(X)=-p()log p(x)dx=2.01 3种曲线的其他拟合参数如表2所示。 0 表23种曲线拟合参数 10 Table 2 Fitting parameters for three curves 采样时间s 多项式(6阶)指数曲线 对数曲线 拟合结果熵/nat 1.42 1.40 1.45 图36阶多项式拟合 误差为正 Fig.3 Six-order polynomial fitting 误差嫡 态分布 -1.84 0.59 0.26 10F /nat 误拳为均 -1.67 0.42 0.21 9 散点图 匀分布 8 对数函数 误兼为正 态分布 3.26 0.81 1.19 互信息 7 /pat 误差为均 6 匀分布 3.09 0.98 1.24 5 4 从表2可看出，对于3种曲线，无论误差分布取 正态分布还是均匀分布，互信息按从大到小排列， 顺序都依次是：多项式(6阶)、对数曲线和指数曲线。 所以对于本文样本数据，应选择6阶多项式作为样 0 10 20 本数据的最佳拟合曲线。 采样时间s 6阶多项式、对数曲线和指数曲线对样本数据的 图4对数曲线拟合 拟合情况分别如图3~图5所示。从图3-图5可看出， Fig.4 Logarithm curve fitting 6阶多项式对样本数据拟合效果比较好，而对数曲线 10 和指数曲线对样本数据的拟合效果比较差，同算法 。散点图 9 计算结果一致。 指数听数 8 7 5结论 6 000 5 在测量技术中，曲线拟合是一种很重要的数据 4 处理方法。而一组样本数据可由多种数学曲线进行 3 拟合，所以对各种曲线的辨识很重要。本文从信息熵 2 角度出发，建立了曲线拟合模型，提出了基于互信 息指标对曲线拟合进行最优辨识。实例表明，本文提 0 0 10 20 出的辨识方法是正确的和可行的。由于该方法考虑 采样时间s 了随机变量的概率统计分布规律，所以该方法具有 图5指数曲线拟合 很大的适应性，完善了曲线拟合辨识，同时对于测 Fig.5 Exponent curve fitting 万方数据
·174· 电子测量与仪器学报 第26卷 指数曲线： v，：51．2463eo·005h一50．4501 对数曲线： Y3=16．2857log(x+37．1593)一59．3416 由最大熵方法估计出自变量X满足的概率分布 及信息熵分别为： 。r，、一_4．1 156-5．8x10-17x+o．0003(J一14．75)2e p【工J= Ⅳ(x)=一r Ⅳ(x)=一I‘ p(x)log Ip(x)dx 2．01p(x)log 2 ． 01 ¨ 3种曲线的其他拟合参数如表2所示。 表2 3种曲线拟合参数 Table 2 Fitting parameters for three carves 从表2可看出，对于3种曲线，无论误差分布取 正态分布还是均匀分布，互信息按从大到小排列， 顺序都依次是：多项式(6阶)、对数曲线和指数曲线。 所以对于本文样本数据，应选择6阶多项式作为样 本数据的最佳拟合曲线。 6阶多项式、对数曲线和指数曲线对样本数据的 拟合情况分别如图3。图5所示。从图3一图5可看出， 6阶多项式对样本数据拟合效果比较好，而对数曲线 和指数曲线对样本数据的拟合效果比较差，同算法 计算结果一致。 5结论 在测量技术中，曲线拟合是一种很重要的数据 处理方法。而一组样本数据可由多种数学曲线进行 拟合，所以对各种曲线的辨识很重要。本文从信息熵 角度出发，建立了曲线拟合模型，提出了基于互信 息指标对曲线拟合进行最优辨识。实例表明，本文提 出的辨识方法是正确的和可行的。由于该方法考虑 了随机变量的概率统计分布规律，所以该方法具有 很大的适应性，完善了曲线拟合辨识，同时对于测 量信息论的研究和应用有一定的参考价值。 述 啦j 把 众 * 逞 嘲 把 众 芒 采样时间／s 图3 6阶多项式拟合 Fig．3 Six-order polynomial fitting 采样时间／s 图4对数曲线拟合 Fig．4 Logarithm curve fitting 采样时间／s 图5指数曲线拟合 Fig．5 Exponent cllrve fitting O 9 8 7 6 5 4 3 2●O 万方数据
第2期 信息熵在曲线拟合辨识中的应用 ·175 参考文献： tronic Measurement and Instrument,2009,23(3):99- 105. [】刘士庆.基于给定轮廓线的散乱数据点的曲线拟合方 [10]任东晓，叶茂.基于互信息最小的非线性混合胎儿心 法及其应用D1.青岛：山东大学，2009：20-25. 电信号提取方法.电子测量与仪器学报，2010,247)： LIU SH Q.Curve fitting of scatter data based on contour and application[D].Qingdao:Shandong University,2009: 680-686. REN D X,YE M.FECG extraction from nonlinear mix- 20-25. [2]赵鹏，楼佩煌.基于NURBS曲线拟合的刀具路径优 ture based on minimization of mutual informationfJ]. Journal of Electronic Measurement and Instrument,2010, 化方法).计算机集成制造系统，2011,17(7)：1454 247):680-686. 1460. [11】马建华，陈武凡.基于最大互信息量熵差分割的CT金 ZHAO P.LOU P H.Tool path optimization method 属伪影消除.电子学报，2009,37(8)：1779-1784 based on NURBS curve fitting[J].Computer Integrated Manufacturing Systems,2011,17(7):1454-1460. MA J H.CHEN W F.Metal artifact reduction in CT [3)]赵世田，赵东标.测量数据点的高精度B样条曲线拟 based on maximized the difference of mutual informa- tion segmentation[J].Acta Electronica Sinica,2009, 合算法.计算机集成制造系统，2010,16(8)：1708- 37(8:1779-1784 1714. [12]傅祖芸.信息论一基础理论与应用[MW.北京：电子工 ZHAO SH T.ZHAO D B.High precision B-spline curve 业出版社，2007. fitting algorithm of measure points[J].Computer Inte- grated Manufacturing Systems,2010,16(8):1708-1714. FU Z Y.Information Theory-Basic Theory and Applica- [4 谢煜，杨三序.基于反拟合法的电容称重传感器非线 tion[M].Beijing:Publishing House of Electronics Indus- ty,2007. 性校正[).仪器仪表学报，2007,28(5)：923-928 [13]DEWAR R C.Maximum entropy production and plant XIE Y,YANG S X.Nonlinear compensation of capaci- optimization theories(J].Philosophical Transactions of tance weighing transducer based on inverse fittingJ]. he Royal Society.2010,365(1545):1429-1435. Chinese Journal of Scientific Instrument,2007,28(5): [14孙永厚，周洪彪.基于最大熵的测量不确定度的贝叶 923-928. 斯评估方法.统计与决策，2008,12：141-144. (5]WANG G B,HUANG H ZH,et al.Uncertainty estima- tion of reliability redundancy in complex systems based SUN Y H,ZHOU H B.Measurement Uncertainty Esti- on the Cross Entropy method[J].Journal of Mechanical mation Method based on Maximum Entropy[J].Statistics Science and Technology,2009,23:2612-2623. and Decision,2008,12:141-144. 6]BATINA L,GIERLICHSM B,et al.Mutual Information [15)周扬，戴曙光.基于最大熵的近红外光谱仪调制器工 Analysis:a Comprehensive Study[J].Journal of Cryp- 作状态判别方法).仪器仪表学报，2011,32(4)：927- tology,2011,242:269-292. 932 7刀 VEYRAT-CHARVILLON N,FRANCOIS-XAIER S. ZHOU Y,DAI SH G Working state discrimination Mutual Information Analysis:How,When and Why?J]. method of near infrared spectrometer modulator based International Association for Cryptology Research,2009: on maximum entropy[J].Chinese Journal of Scientific 429-443. 1 nstrument,2011,32(4:927-932. [⑧]苑津莎，赵振兵.基于经验模式分解和互信息的多模 [16]背先勇，马超，李勇.线路故障引起电压凹陷的频次 态图像配准].仪器仪表学报，2009,30(10少：2076 最大嫡评估U.中国电机工程学报，2009,29(1上87 2082. 94. YUAN J SH,ZHAO ZH B.Multi-modal image registra- XIAO X Y,MA CH,LI Y.Voltage Sag Occurrence Fre- tion based on empirical mode decomposition and mutual quency Assessment Caused by Line Faults Using the information[J].Chinese Journal of Scientific Instrument, Maximum Entropy Method[J].Proceedings of the CSEE, 2009.30(10):2076-2082. 2009.291:87-94. [9]惠孛，吴跃.基于互信息理论的Anytime分类算法的 [17刀程亮，童玲.最大熵原理在测量数据处理中的应用们， 研究.电子测量与仪器学报，2009,23(3)：99-105. 电子测量与仪器学报，2009,23(1)：47-52 HUI B,WU Y.Research of anytime classification algo- CHENG L,TONG L.Measurement data processing rithm based on mutual information(J].Journal of Elec- based on maximum entropy method[J].Joumal of Elec- 万方数据
第2期 信息熵在曲线拟合辨识中的应用 ·175· 参考文献： 【l】 刘士庆．基于给定轮廓线的散乱数据点的曲线拟合方 法及其应用【D】．青岛：山东大学，2009：20·25． LIU SH Q．Curve fitting of scatter data based on contour and application[D]．Qingdao：Shandong University，2009： 20．25． 【2】 赵鹏，楼佩煌．基于NURBS曲线拟合的刀具路径优 化方法【J】．计算机集成制造系统，2011，17(7)：1454_ 1460． ZHAO E LOU P H．Tool path optimization method based on NURBS curve fitting[J]．Computer Integrated Manufacturing Systems，201 l，17(7)：1454-1460． 【3】 赵世田，赵东标．测量数据点的高精度B样条曲线拟 合算法【J】．计算机集成制造系统，2010，16(8)：1708- 1714． ZHAO SH T．ZHAO D B．High precision B·spline curve fitting algorithm of measure points[J]．Computer Integrated Manufacturing Systems，2010，16(8)：1708-1714． 【4】 谢煜，杨三序．基于反拟合法的电容称重传感器非线 性校正【J】．仪器仪表学报，2007，28(5)：923．928． XIE Y．YANG S X．Nonlinear compensation of capacitance weighing transducer based on inverse fitting[J]． Chinese Journal of Scientific Instrument,2007，28(5)： 923—928． 【5】 WANG G B，HUANG H ZH，et a1．Uncertainty estima— tion of refiability redundancy in complex systems based on the Cross Entropy method[J]．Journal of Mechanical Science and Technology,2009，23：2612·2623． 【6】 BATINA L，GIERLICHSM B，et a1．Mutual Information Analysis：a Comprehensive Study[J]．Journal of Cryp— tology,201 l，24(2)：269—292． [7】 VEYRAT-CHARVILLON N，FRANCOIS—XAIER S． Mutual Information Analysis：How，When and Why?lJ]． International Association for Cryptology Research，2009： 429-443． [8】 苑津莎，赵振兵．基于经验模式分解和互信息的多模 态图像配准【J】．仪器仪表学报，2009，30(10)：2076· 2082． YUAN J SH．ZHAO ZH B．Multi-modal image registration based on empirical mode decomposition and mutual information[J]．Chinese Journal of Scientific Instrument， 2009，30(10)：2076—2082． 【9】9 惠孛，吴跃．基于互信息理论的Anytime分类算法的 研究【J】．电子测量与仪器学报，2009，23(3)：99-105． HUI B．WU Y．Research of anytime classification algo· rithm based on mutual information[J]．Journal of Elec— tronic Measurement and Instrument，2009，23(3)：99- 105． 【lO】任东晓，叶茂．基于互信息最小的非线性混合胎儿心 电信号提取方法【J】．电子测量与仪器学报，2010，24(7)： 680．686． REN D X，YE M．FECG extraction from nonlinear mixture based on minimization of mutual information[J]． Journal of Electronic Measurement and Instrument，2010， 24(7)：680．686． 【ll】马建华，陈武凡．基于最大互信息量熵差分割的CT金 属伪影消除【J】．电子学报，2009，37(8)：1779．1784． MA J H．CHEN W E Metal artifact reduction in CT based on maximized the difference of mutual informa． tion segmentation[J]．Acta Electronica Sinica，2009， 37(8)：1779—1784． 【12】傅祖芸．信息论一基础理论与应用[M】．北京：电子工 业出版社．2007． FU Z Y．Information Theory—Basic Theory and Appfication[M]．BeOing：Publishing House of Electronics Indus— try,2007． 【13】DEWAR R C．Maximum entropy production and plant optimization theories[J]．Philosophical Transactions of the Royal Society,2010，365(1545)：1429—1435． 【14】孙永厚，周洪彪．基于最大熵的测量不确定度的贝叶 斯评估方法【J】．统计与决策，2008，12：141—144． SUN Y H，ZHOU H B．Measurement Uncertainty Esti— mation Method based on Maximum Entropy[J]．Statistics and Decision，2008，12：141—144． 【15】周扬，戴曙光．基于最大熵的近红外光谱仪调制器工 作状态判别方法【J】．仪器仪表学报，201 1，32(4)：927— 932． ZHOU Y DAI SH G Working state discrimination method of near infrared spectrometer modulator based on maximum entropy[J]．Chinese Journal of Scientific Instrument，2011，32(4)：927-932． 【16J肖先勇，马超，李勇．线路故障引起电压凹陷的频次 最大熵评估【J】．中国电机工程学报，2009，29(1—87- 94． XIAO X Z MA CH，LI Z Voltage Sag Occurrence Frequency Assessment Caused by Line Faults Using the Maximum Entropy Method[J]．Proceedings of the CSEE， 2009，29(1)：87—94． 【17】程亮，童玲．最大熵原理在测量数据处理中的应用【J】． 电子测量与仪器学报，2009，23(1)：47-52． CHENG L，TONG L．Measurement data processing based on maxilnum entropy method[J]．Journal of Elec- 万方数据
·176 电子测量与仪器学报 第26卷 tronic Measurement and Instrument,2009,23(1):47-52. neering,Hunan University.Her main research direction is intel- ligent information processing technology. 作者简介： 滕召胜：1963年出生，1995年和1998年于湖南大学获得 硕士学位和博士学位，现为湖南大学电气与信息工程学院教 曾金芳：1978年出生，2002年和2006年于湘潭大学获得 学士学位和硕士学位，现为湖南大学电气与信息工程学院博 授、博士生导师，主要研究方向为智能检测与控制。 E-mail:tengzs@126.com 士研究生，主要研究方向为智能信息处理技术。 Teng Zhaosheng:born in 1963,received MS and PhD from E-mail:ziflbzjf@126.com Hunan University in 1995 and 1998 respectively.Now he is a Zeng Jinfang:born in 1978,received BS and MS from professor in College of Electrical and Information Engineering. Xiangtan University in 2002 and 2006 respectively.Now she is a Hunan University.His main research direction is intelligent de- PhD candidate in College of Electrical and Information Engi- tecting and intelligent control. 泛华恒兴最新3UPXI14槽背板全面提高机箱性能 近日，北京泛华恒兴科技有限公司（简称：泛华 PCI测控平台的用户群提供了便捷。用户可基于PS 恒兴)发布了一款高性能3UPXI14槽机箱背板一PS PXI-3027结构，根据实际需求再设计加工完成专用 PX1-3027。在128.7mm×334.46mm的有限空间内， 的仪器机箱结构，即缩短了项目周期，也有效节省 PS PXI-3027可为用户提供13个PXI外围设备插槽 了项目成本。 和1个PXⅪ控制器插槽，便于用户搭建多合一自动化 PS PXI-3027隶属于泛华恒兴系统平台系列产 设备测试等大量PXI模块的复杂运用。 品，该平台产品还包括PXI6槽背板、专用PXI零槽 “PS PXI-3027的最大优势在于，除了具有13 控制器、通用PXⅪ零槽控制器、PXI通用开发载板 个PXI外围设备插槽和1个PXI控制器插槽外，还 cRIO电池卡等。了解更多相关产品信息和技术支持， 具备标准的ATX电源接口，用户可以根据需求灵活 请登录泛华恒兴官方网站www.pansino-solutions.com 搭配不同功率的ATX电源，使用非常方便。”泛华恒 兴产品开发工程师强调到，“也正是因为这种特点， 关于泛华恒兴： PS PXI-3027能全面提高机箱性能，并广泛应用于各 北京泛华恒兴科技有限公司（以下简称：泛华恒 种嵌人式、控制，以及测试与测量环境。” 兴)是国内行业测控专家及测控技术专业公司，为各 PS PXI-3027遵循PXI2.2规范设计，兼容符合 行业用户，尤其是“航空、航天和军工领域”高科技 PXI和CompactPCI规范的模块，具有一个用于设备 企业提供专业测试测量解决方案和成套检测设备。 同步的低抖动10MHz参考时钟，支持PXI的定时与 公司成立于2010年9月，地处北京市海淀区中关村 触发总线，使用这些定时与触发总线，用户可以为 高科技园区，泛华恒兴拥有一批熟悉各个领域的测 需要精确同步的应用开发所需的PXI系统。 控行业专家，拥有丰富的测试测量工程经验和多项 PS PXI-3027为没有足够时间和能力设计规范 自主知识产权，并已成为北京中关村地区企业联合 的PXI背板，但又需要自定义建构PXI及Compact- 会会员及航空航天产业联盟单位。 万方数据
电子测量与仪器学报 第26卷 ironic Measurement and Instrument，2009，23(1)：47-52． 作者简介： 曾金芳：1978年出生。2002年和2006年于湘潭大学获得 学士学位和硕士学位，现为湖南大学电气与信息工程学院博 士研究生，主要研究方向为智能信息处理技术。 E—mail：zjnbzjf@126．corn Zcng Jinfang：born in 1978，received BS and MS from Xiangmn University in 2002 and 2006 respectively．Now she is a PhD candidam in College of Electrical and lnformafion Engi· neering，Hunan University．Her main research direction is intcl． 1igent information processing technology． 滕召胜：1963年出生，1995年和1998年于湖南大学获得 硕士学位和博士学位，现为湖南大学电气与信息工程学院教 授、博士生导师，主要研究方向为智能检测与控制。 E-mail：tengzs@1 26．corn Teng Zhaosheng：born in 1963，received MS and PhD from Hunan University in 1995 and 1998 respectively．Now he is a professor in College of Electrical and Information Engineering， Hunan University．His main research direction is intelligent de． tecting and intelligent contr01． 泛华恒兴最新3U PXI 14槽背板全面提高机箱性能 近日，北京泛华恒兴科技有限公司(简称：泛华 恒兴)发布了一款高性能3U PXI 14槽机箱背板一Ps PXI．3027。在128．7 mill×334．46 mm的有限空间内， PS PXI．3027可为用户提供13个PXI外围设备插槽 和1个PXI控制器插槽，便于用户搭建多合一自动化 设备测试等大量PXI模块的复杂运用。 “PS PXI一3027的最大优势在于，除了具有13 个PXI外围设备插槽和1个PXI控制器插槽外，还 具备标准的ATX电源接口，用户可以根据需求灵活 搭配不同功率的ATX电源，使用非常方便。”泛华恒 兴产品开发工程师强调到，“也正是因为这种特点， PS PXI．3027能全面提高机箱性能，并广泛应用于各 种嵌入式、控制，以及测试与测量环境。” PS PXI．3027遵循PXl2．2规范设计，兼容符合 PXI和CompactPCI规范的模块，具有一个用于设备 同步的低抖动10MHz参考时钟，支持PXI的定时与 触发总线，使用这些定时与触发总线，用户可以为 需要精确同步的应用开发所需的PXI系统。 PS PXI．3027为没有足够时间和能力设计规范 的PXI背板，但又需要自定义建构PXI及CompactPCI测控平台的用户群提供了便捷。用户可基于Ps PXI．3027结构，根据实际需求再设计加工完成专用 的仪器机箱结构，即缩短了项目周期，也有效节省 了项目成本。 PS PXI一3027隶属于泛华恒兴系统平台系列产 品，该平台产品还包括PXI 6槽背板、专用PXI零槽 控制器、通用PXI零槽控制器、PXI通用开发载板、 cRIO电池卡等。了解更多相关产品信息和技术支持， 请登录泛华恒兴官方网站www．pansino—solutions．tom 关于泛华恒兴： 北京泛华恒兴科技有限公司(以下简称：泛华恒 兴)是国内行业测控专家及测控技术专业公司，为各 行业用户，尤其是“航空、航天和军工领域”高科技 企业提供专业测试测量解决方案和成套检测设备。 公司成立于2010年9月，地处北京市海淀区中关村 高科技园区，泛华恒兴拥有一批熟悉各个领域的测 控行业专家，拥有丰富的测试测量工程经验和多项 自主知识产权，并已成为北京中关村地区企业联合 会会员及航空航天产业联盟单位。 万方数据
