第13卷 第5期 琼州大学学报 2006年10月28日 Vol.13 No.5 Joumal of Qiongzhou University 0e1.28.2006 信息熵在电子测量误差分析中的应用 谢海霞'，陈德巍 (1.琼州学院物理系，海南五指山572200：2.三亚市建材厂，海南三亚572200) 摘要：分析信息嫡的物理意义及其与电子测量误差之间关系的基础上，说明信息熵在电子测量误差分 析的中的应用。 关键词：嫡；电子测量；误差 中图分类号：TN911.2文献标识码：A文章编号：1008-6722(2006)05-0011-02 在电子测量的误差理论中，误差分布规律不同，其测量结果的置信度也不同，要完整地表达电子测量结 果，就必须给出测量误差的分布规律.目前确定误差分布规律比较常用的办法一般有两种：一种是通过大量 测量与观测作直方图，确定概率密度函数的数学表达式或给出分函数的曲线，进而估计出测量误差的分布规 律；另一种是根据理论分析或经验，先假设测量误差服从某种概率分布，然后通过有限次观测来推断原假设 是否成立，即假设检验方法.这两种法都是建立在对统计现象进行推理、判断的基础之上，其结果都具有一定 的主观性，实际处理起来也比较麻烦，因此，要不断寻求确定误差分布的更好的方法.本文借助信息熵的一些 基本原理，提出一种确定电子测量误差分布规律简便方法。 1信息熵及其与电子测量误差之间的关系 在信息论中，信息量定度为： 1=-lo驶 (1)） 式中P为某一消息出现的概率.(1)式表明出现概率越大的消息一经出现，所提供的信息量就越少，而 信息出现概率有大小恰恰表明消息出现不确定性的大小. 熵可以定义为信息量概率的加权平均值，即： 时离散型消息而言，H=-p,log (2) 对连续型消息而言，H=-」，p(x)lo即(x)d (3) 式中p:为消息发生的概率，P(x)为消息发生的概率密度函数。(2)(3)式表明H是P:或p(x)的函数，是 平均不确定性的一种表征.当所有消息出现的概率相等的时候，就无法说明哪个消息将更可能出现，此时的 不确定性是最大的，熵在此时取得最大值；消息完全确定时熵取值为零.以上公式说明把熵看作消息或事件 的平均不确定性的一种表征是可行的也是完全正确的。 电子测量误差理论中的不确定度可以用测量结果的标准差表示.通过以上分析可以得出，具有任意概率 分布的测量变量x,其熵与方差之间存在一定的对应关系 正态分布测量变量： 7（0LZIb)3o1=(D0业z小)o1=p.o(x)d∫-=p(x)or(x)d°∫-=H 同理，对于非正态分布的测量变量，只要知道其概率分布的密度函数，代入熵定义的(3)式，就可以求出 其熵与标准差之间的对应关系.如： 收稿日期：2006-01-11 作者简介：谢海霞(1978-)，女，海南文昌人，琼州学院物理系教师，主要研究电子信息技术；陈德巍(1967-)，男，三亚 市建材厂助理工程师 万方数据
第13卷第5期 V01．13 No．5 琼州大学学报 Joumal of Qiongzhou University 2006年10月28}j 0ct．28．2006 信息熵在电子测量误差分析中的应用 谢海霞1，陈德巍2 (1．琼州学院物理系，海南五指山572200；2．三亚市建材厂，海南三亚572200) 摘要：分析信息熵的物理意义及其与电子测量误差之间关系的基础上，说明信息熵在电子测量误差分 析的中的应用． ， 关键词：熵；电子测量；误差 中图分类号：TN911．2 文献标识码：A 文章编号：1008—6722(2006)05—0011—02 在电子测量的误差理论中，误差分布规律不同，其测量结果的置信度也不同，要完整地表达电子测量结 果，就必须给出测量误差的分布规律．目前确定误差分布规律比较常用的办法一般有两种：一种是通过大量 测量与观测作直方图，确定概率密度函数的数学表达式或给出分函数的曲线，进而估计出测量误差的分布规 律；另一种是根据理论分析或经验，先假设测量误差服从某种概率分布，然后通过有限次观测来推断原假设 是否成立，即假设检验方法．这两种法都是建立在对统计现象进行推理、判断的基础之上，其结果都具有一定 的主观性，实际处理起来也比较麻烦，因此，要不断寻求确定误差分布的更好的方法．本文借助信息熵的一些 基本原理，提出一种确定电子测量误差分布规律简便方法． 1 信息熵及其与电子测量误差之间的关系 在信息论中，信息量定度为： ，=一logp (1) 式中P为某一消息出现的概率．(1)式表明出现概率越大的消息一经出现，所提供的信息量就越少，而 信息出现概率有大小恰恰表明消息出现不确定性的大小． 熵可以定义为信息量概率的加权平均值，即： n 对离散型消息而言，日=一∑P；logp。 (2) i=1 ·∞ 对连续型消息而言，日=一J P(髫)logp(戈)dx (3) J一∞ 式中pi为消息发生的概率，p(x)为消息发生的概率密度函数．(2)(3)式表明日是Pi或p(x)的函数，是 平均不确定性的一种表征．当所有消息出现的概率相等的时候，就无法说明哪个消息将更可能出现，此时的 不确定性是最大的，熵在此时取得最大值；消息完全确定时熵取值为零．以上公式说明把熵看作消息或事件 的平均不确定性的一种表征是可行的也是完全正确的． 电子测量误差理论中的不确定度可以用测量结果的标准差表示．通过以上分析可以得出，具有任意概率 分布的测量变量戈，其熵与方差之间存在一定的对应关系． 正态分布测量变量： 日=一f ，” P(髫)logP(x)dx=一一I ，o P(菇)log—善=P“…如‘dx=log(／27re盯)=log(4．13270") 1 … 一 (4) ‘一” 3—4 o 27ro" 同理，对于非正态分布的测量变量，只要知道其概率分布的密度函数，代人熵定义的(3)式，就可以求出 其熵与标准差之间的对应关系．如： 收稿日期：2006—01—11 作者简介：谢海霞(1978一)，女，海南文昌人，琼州学院物理系教师，主要研究电子信息技术；陈德巍(1967一)，男，三亚 市建材厂助理工程师． 万方数据
12 琼州大学学报 (第13卷)2006 均匀分布的测量变量：H=log(23σ=log(3.4641σ) (5) 三角分布的测量变量：H=log(√6eσ）=log(4.0385σ) (6) 指数分布的测量变量：H=log(eu）=log(2.7183σ) (7) 双指数分布的测量变量：H=log(√2eo)=log(2.3316o) (8) 通过对各种分布的熵与标准差之间的对应关系的分析我们可以归纳得到对各种分布都可适用的通式： H=log(Ko). (9) 2信息熵在电子测量误差分析中的应用实例 在电子测量中，一般而言对一组随机测量数据，不仅仅能够知道各个测量数据的数值大小，而且也能知 道各个数据占总测量次数的百分比.如果测量数据足够多时，这个百分比就是这个数据出现的概率.在电子 测量中，可能通过测量数据及相应的公式求出测量数据值的标准差σ及嫡H,将它们代入式(9)就可以求出 K大小，再将K值与式(4)(5)(6)(7)(8)各种分布的K值进行比较，找到比较接近的值，该值所代表的分布 就是被测量数值的实际分布 例如：对某-一电阻测量200次，其测量结果如表1所示： 表1电阻测量的实验数据 电阻值R/213211320131913181317131613151314131313121311 出现次数mj 39 204056 4320 5 2 P=m/2000.00500.01500.04500.10000.20000.28000.21500.10000.02500.01000.0050 首先，根据下式： 200 0= P(R-R2 (10) 求出标准差.把以上数据代人可以求得其结果σ=1.5782. 其次，再根据式(2)：求出其熵值H=1.8760. 最后，将标准差与熵值代入式(9)，求出K值，K=4.1359.对照式(4)(5)(6)(7)(8)，可以发现其结果 与式(4)的值4.1327最接近.由此可以判断该组测量值服从正态分布. 由以上分析与实例可知，信息嫡的数学思想与方法可以应用到电子测量误差分析当中去，这无疑简化了 误差分析的一些难点问题，为误差理论的发展做出应有的贡献， 参考文献： [1]有本卓.近代信息论[M].杨逢春译.北京：人民邮电出版社，1985 [2]陶宏伟主编.电子设备测盘与技能训练[M).北京：高等教育出版社，2002 [3]朱雪龙.应用信息论基础[M].北京：清华大学出版社，2001， [4]史玉峰等.测量误差理论的信息论诠释[J].山东理工大学学报，2003(1)：66-71， Aplication of Information Entropy in Analysis of Error of Electronic Measure XIE Hai -xia',CHEN De-wei2 (1.Department of Physics,Qiongzhou Co llege,Wuzhishan Hainan 572200; 2.Sanya Factory of Bulaing Material,Sanya Hainan 572200,China) Abstract:Based on the analysis of the physical concept of the entropy and the relation between it and the error of electronic measure,the application of information entropy in the analysis of error of electronic measure is dis- cussed. Key words:entropy;electronic measure;error 万方数据
J2 琼州大学学报 (第13卷)2006 均匀分布的测量变量：H=log(2√亨盯=log(3．46410-) i角分布的测量变量：H=log(怕e盯)=log(4．03850-) 指数分布的测量变量：Ⅳ=log(eor)=log(2．71830-) (5) (6) (7) 双指数分布的测量变量：日=log(／2e盯)=log(2．33160-) (8) 通过对各种分布的熵与标准差之间的对应关系的分析我们可以归纳得到对各种分布都可适用的通式： H=log(K0-)． (9) 2 信息熵在电子测量误差分析中的应用实例 在电子测量中，一般而言对一组随机测量数据，不仅仅能够知道各个测量数据的数值大小，而且也能知 道各个数据占总测量次数的百分比．如果测量数据足够多时，这个百分比就是这个数据出现的概率．在电子 测量中，可能通过测量数据及相应的公式求出测量数据值的标准差矿及熵Ⅳ，将它们代人式(9)就可以求出 K大小，再将K值与式(4)(5)(6)(7)(8)各种分布的K值进行比较，找到比较接近的值，该值所代表的分布 就是被测量数值的实际分布． 例如：对某一电阻测量200次，其测量结果如表1所示： 表1 电阻测量的实验数据 电阻值R／O 1321 1320 1319 1318 1317 1316 1315 1314 1313 1312 131 1 出现次数耐 1 3 9 20 40 56 43 20 5 2 1 堡三．．堡垒竺竺：塑竺竺：竺!!Q旦：丝塑竺：!竺塑竺：!竺塑旦：!!塑竺：!!i!Q：!塑!!：旦垄Q Q：Q!塑Q：塑!旦 首先，根据下式： —万————_ 圹=／∑pi(R—R)2 (10) ～．广。 求出标准差．把以上数据代人可以求得其结果0-=1．5782． 其次，再根据式(2)：求出其熵值H=1．8760． 最后，将标准差与熵值代人式(9)，求出K值，K=4．1359．对照式(4)(5)(6)(7)(8)，可以发现其结果 与式(4)的值4．1327最接近．由此可以判断该组测量值服从正态分布． 由以上分析与实例可知，信息熵的数学思想与方法可以应用到电子测量误差分析当中去，这无疑简化了 误差分析的一些难点问题，为误差理论的发展做出应有的贡献． 参考文献： [1]有本卓．近代信息论[M]．杨逢春译．北京：人民邮电出版社，1985． [2]陶宏伟主编．电子设备测量与技能训练[M]．jE京：高等教育出版社，2002． [3]朱雪龙．应用信息论基础[M]．北京：清华大学出版社，2001． [4]史玉峰等．测量误差理论的信息论诠释[J]．山东理工大学学报，2003(1)：66—71． Aplieation of Information Entropy in Analysis of Error of Electronic Measure XIE Hai—xial．CHEN De—wel’2 (1．Department of Physics，Qiongzhou Co liege，Wuzhishan Hainan 572200； 2．Sanya Factory of Bulaing Material，Sanya Hainan 572200，China) Abstract：Based on the analysis of the physical concept of the entropy and the relation between it and the error of electronic measure，the application of information entropy in the analysis of error of electronic measure is dis— cussed． Key words：entropy；electronic measure；error 万方数据