822 仪器仪表学报 第25卷 追求在P(x,t)分布下的集合的数学期望值X(t)以及 设测量结果集合由数据{yy1,yn}构成，其概率 不确定性一信息熵Hx(t)的操作。 空间为： 根据概率论和Shannon的信息论定义，被测量的 y…yyn-1 Σp=1 (3) 数学期望和信息熵分别为： Lp。p1…p…p。-1 i= 被测量数学期望： 则测量结果信息熵为： m一1 十 X(t)=∫xp[x,t]dx (1) HY)=-三.py)log:p) (4) 被测量信息熵： H(X.t)--Sp(x.t)log-P(x.t)dx 4被测量集合与测量结果集合的关系及其 (2) 测量误差熵 被测量数学期望反映了被测量的随机平均特性；而被 测量信息熵则是被测量信源集合不确定性或离散性的 如图1示，信源集合为连续集合，其元素的概率分 体现。 布为p(x),信源集合中的任何一个值都会对结果集合 自然界存在的所有客观量值的pdf都随时间变 中的所有元素产生影响，是结果集合的条件。针对信源 化，其数学期望和信息熵也随时间变化。相对于测量操 集合中的某一个值x,有结果集合的条件熵为： 作而言，有的量变化慢，有的变化快。严格按照此模型 进行测量是不可行的。经简化后的、可操作的物理模型 H(Y/x)=-Zp(y:/x)log:p(y:/x) (5) 是：被测量是一个客观存在、单一的、固定不变的量值： 被测量是一个拥有一定概率分布不随时间变化的连续 Y={y。,y,,“ 集合；被测量概率分布满足时间遍历条件的连续集合。 3测量结果信息熵 代表测量结果的数据构成测量的另一个信息集 合一一测量结果信息集合。与被测量信源集合不同的 图1连续分布信源集合与结果集合的关系 是：它不是一个独立存在的信息集合，它所含的信息内 以整个信源集合为条件的结果集合的条件熵为： 容（测量结果数据）和信息量（与不确定性相关的测量 H(Y/X)=-Jp(x)H(Y/x)dx 结果信息熵)由被测量信源和测量过程（测量原理、技 m】 术、设备以及人员等)决定；其次它是一个离散集合，离 =-[p(x)>p(y:/x)logp(y:/x)dx (6) j0 散的最小间距与测量分辨率有关，同时也正是由于其 --fZp(x.y,log.p(y:/x)dx 1 离散特性，使得被测量信源的部分信息丢失（作为连续 其中p(x)dx为信源集合取x的概率，p(x,y)=p(x)P 集合的信源的处于阶梯之间的信息丢失)，表现在信息 (y/x)。 量减少，信息熵变化。由于测量结果信息集合由双重不 若测量结果信息集合的信息熵为H(Y),则被测 确定因素决定，其各种特性远比被测量信源复杂，用信 量集合和测量结果集合交互熵为： 息论的方法准确地获得测量结果信息集合的各种特性 H(X·Y)=H(Y)-H(Y/X) (7) 参数，并从中分析出有关被测量信源的相关特性，合理 式中H(X·Y)代表通过测量从被测量信源集合传递 地评价测量质量和测量系统是测量信息论研究的主要 到测量结果信息集合的“真信息”的信息熵。H(YX) 内容之一。 则代表由于测量引人的误差和干扰信息的信息熵，称 测量结果信息集合是离散的具有一定概率分布的 为误差熵。如果整个测量没有任何误差和干扰，则测量 集合。此集合的不确定性可用信息熵来表示。测量结果 结果信息集合中的所有信息都来自于信源集合，全部 信息集合不是一个独立存在的信息集合，它是以信源 为“真实”信息，则有： 集合的内容及其分布为条件而存在的。二者之间的关 H(Y/X)=0,H(X·Y)=H(Y) (8) 系充分反应了测量过程的质量，因此在测量信息论中 但必须指出的是，由于测量过程中的各种因素（如量值 用表示二者之间关系的信息量参数来表示测量的质 离散化)，并不是所有被测量信源集合的信息全部到达 量。822 仪器仪表学报 第2 5卷 追求在p(x，t)分布下的集合的数学期望值趸两以及 不确定性——信息熵H。(t)的操作。 根据概率论和Shannon的信息论定义，被测量的 数学期望和信息熵分别为： 被测量数学期望： +∞ 雨万一，xp[-x，t-]dx 被测量信息熵： H(X，t)一一，P(x，t)l092P(x，t)dx (2) 被测量数学期望反映了被测量的随机平均特性；而被 测量信息熵则是被测量信源集合不确定性或离散性的 体现。 自然界存在的所有客观量值的pdf都随时间变 化，其数学期望和信息熵也随时间变化。相对于测量操 作而言，有的量变化慢，有的变化快。严格按照此模型 进行测量是不可行的。经简化后的、可操作的物理模型 是：被测量是一个客观存在、单一的、固定不变的量值； 被测量是一个拥有一定概率分布不随时间变化的连续 集合；被测量概率分布满足时间遍历条件的连续集合。 3测量结果信息熵 代表测量结果的数据构成测量的另一个信息集 合一一测量结果信息集合。与被测量信源集合不同的 是：它不是一个独立存在的信息集合．它所含的信息内 容(测量结果数据)和信息量(与不确定性相关的测量 结果信息熵)由被测量信源和测量过程(测量原理、技 术、设备以及人员等)决定；其次它是一个离散集合，离 散的最小间距与测量分辨率有关，同时也正是由于其 离散特性，使得被测量信源的部分信息丢失(作为连续 集合的信源的处于阶梯之间的信息丢失)，表现在信息 量减少，信息熵变化。由于测量结果信息集合由双重不 确定因素决定，其各种特性远比被测量信源复杂，用信 息论的方法准确地获得测量结果信息集合的各种特性 参数，并从中分析出有关被测量信源的相关特性，合理 地评价测量质量和测量系统是测量信息论研究的主要 内容之一。 测量结果信息集合是离散的具有一定概率分布的 集合。此集合的不确定性可用信息熵来表示。测量结果 信息集合不是一个独立存在的信息集合，它是以信源 集合的内容及其分布为条件而存在的。二者之间的关 系充分反应了测量过程的质量，因此在测量信息论中 用表示二者之间关系的信息量参数来表示测量的质 量。 设测量结果集合由数据{Y。，Y1，．．．Y。}构成，其概率 空间为： Y：PY H…乳…n。i魏一1 (3) t-p0 Pl…Pi…P。一1 J1一。 则测量结果信息熵为： H(Y)一一∑P(y，)log：P(y，) (4) 4 被测量集合与测量结果集合的关系及其 测量误差熵 如图1示，信源集合为连续集合，其元素的概率分 布为P(x)，信源集合中的任何一个值都会对结果集合 中的所有元素产生影响，是结果集合的条件。针对信源 集合中的某一个值X，有结果集合的条件熵为： m 1 H(Y／x)一一∑P(y。／x)log。P(y，／x) (5) 1—0 耋兰至酚／ ＼) 。 ＼ ～≮一—+()／ 图1 连续分布信源集合与结果集合的关系 以整个信源集合为条件的结果集合的条件熵为： H(Y／X)一一IP(x)H(Y／x)dx m—l —Ip(x)∑P(y，／x)l092P(y，／x)dx (6) s 1一U m 1 一一，∑P(x，y，)log 2P(y，／x)dx 其中P(x)dx为信源集合取X的概率，P(x，Y，)一p(x)p (y，／x)。 若测量结果信息集合的信息熵为H(Y)，则被测 量集合和测量结果集合交互熵为： H(X·Y)一H(Y)一H(Y／X) (7) 式中H(x·Y)代表通过测量从被测量信源集合传递 到测量结果信息集合的“真信息”的信息熵。H(Y／x) 则代表由于测量引入的误差和干扰信息的信息熵，称 为误差熵。如果整个测量没有任何误差和干扰，则测量 结果信息集合中的所有信息都来自于信源集合，全部 为“真实”信息，则有： H(Y／X)一0，H(X·Y)一H(Y) (8) 但必须指出的是，由于测量过程中的各种因素(如量值 离散化)，并不是所有被测量信源集合的信息全部到达