《通信原理》第三讲 §13信息及其度量 信号是消息的载体,而信息是其内涵。 根据概率论知识,信息量I与消息出现的概率P(x)之间的关系应为 log。P(x) (1.3-1) a=2时,信息量的单位为比特bt):a=e时,信息量的单位为奈特(nit);a=10 时,信息量的单位为十进制单位,叫哈特莱。目前广泛使用的单位为比特。 例1.3-1设二进制离散信源,以相等的概率发送数字0或1,则信源每个输 出的信息含量为 (0)=l(1)=l log2 2=1(bit) (13-2) 可见,传送等概率的二进制波形之一(P=1/2)的信息量为1比特。同理, 传送等概率的四进制波形之一(P=1/4)的信息量为2比特。 综上所述,对于离散信源,M个波形等概率(P=M)发送,且每一个波形 的出现是独立的,则传送M进制波形之一的信息量为 21/M M(bit) (13-3) 式中P为每一个波形出现的概率,M为传送的波形数。若M是2的整幂次, 比如M=2(K=1,2,3,)则式(1.3-3)可改写为 I=log, 2=k(bit) (13-4) 式中K是二进制脉冲数目。 设离散信源是一个由n个符号组成的符号集,其中每个符号 x,(i=,2,3,…,m)出现的概率为 P(x),且有∑P(x)=1 则每个符号所含信息
《通信原理》 第三讲 §1.3 信息及其度量 信号是消息的载体，而信息是其内涵。 根据概率论知识，信息量 I 与消息出现的概率 P(x)之间的关系应为 log ( ) ( ) 1 log P x P x I = a = − a (1.3-1) a =2 时，信息量的单位为比特(bit)；a = e时，信息量的单位为奈特(nit)；a=10 时，信息量的单位为十进制单位，叫哈特莱。目前广泛使用的单位为比特。 例 1.3-1 设二进制离散信源，以相等的概率发送数字 0 或 1，则信源每个输 出的信息含量为 log 2 1 ( ) 1/ 2 1 I(0) = I(1) = log2 = 2 = bit (1.3-2) 可见，传送等概率的二进制波形之一（P=1/2）的信息量为 1 比特。同理， 传送等概率的四进制波形之一（P=1/4）的信息量为 2 比特。 综上所述，对于离散信源，M 个波形等概率（P=1/M）发送，且每一个波形 的出现是独立的，则传送 M 进制波形之一的信息量为 log ( ) 1/ 1 log 1 log2 2 2 M bit P M I = = = (1.3-3) 式中 P 为每一个波形出现的概率，M 为传送的波形数。若 M 是 2 的整幂次， 比如 K M = 2 （K=1，2，3，）则式(1.3-3)可改写为 log 2 ( ) I 2 K bit K = = (1.3-4) 式中 K 是二进制脉冲数目。 设离散信源是一个由 n 个符号组成的符号集，其中每个符号 x (i 1 2 3 n) i = ，，，L， 出现的概率为 ( ) ( ) 1 1 ∑ = = n i i i P x ，且有 P x ，则每个符号所含信息 log ( ) ( ) 1 log p x p x I a = = −
量的统计平均值,即平均信息量为 H(x)=P(,)[-log2 P(x,)+ P(x2)[-log2 P(x2)]+.+P(n)[-log2 P(x, ) ∑P(x,)log2P(x)(bi/符号) (1.3-5 由于H同热力学中的熵形式一样,故通常又称它为信息源的熵,其单位为 bit/符号。显然,当信源中每个符号等概独立出现时,式(13-5)即成为式(13-3), 此时信源的熵有最大值。 例1.3-2一离散信源由0,1,2,3四个符号组成,它们出现的概率分别为 3/8,1/4,14,1/8,且每个符号的出现都是独立的。试求某消息 201020130213001203210100321010023102002010312032100120210的信息量。 解此消息中,0出现23次,1出现14次,2出现13次,3出现7次,共 有57个符号,故该消息的信息量 =23log28/3+14log24+13log24+7log28=108(bin) 每个符号的算术平均信息量为 I108 符号数57 1.89(bit/符号) 若用熵的概念来计算,由式(1.3-5)得 =1.906(bi/符号) 则该消息的信息量 I=57×1.906=10864(bi) 可见,两种算法的结果有一定误差,但当消息很长时,用熵的概念来计算比 较方便。而且随着消息序列长度的增加,两种计算误差将趋于零
量的统计平均值，即平均信息量为 ( )log ( ) ( / (1.3 5) ( ) ( )[ log ( )] ( )[ log ( )] ( )[ log ( )] 2 1 1 2 1 2 2 2 2 = − − = − + − + + − ∑= P x P x bit 符号） H x P x P x P x P x P x P x i n i i L n n 由于 H 同热力学中的熵形式一样，故通常又称它为信息源的熵，其单位为 bit / 符号。显然，当信源中每个符号等概独立出现时，式(1.3-5)即成为式(1.3-3)， 此时信源的熵有最大值。 例 1.3-2 一离散信源由 0，1，2，3 四个符号组成，它们出现的概率分别为 3/8，1/ 4，1/ 4，1/ 8 ，且每个符号的出现都是独 立的。试求某消息 201020130213001203210100321010023102002010312032100120210 的信息量。 解 此消息中，0 出现 23 次，1 出现 14 次，2 出现 13 次，3 出现 7 次，共 有 57 个符号，故该消息的信息量 23log 8 / 3 14log 4 13log 4 7 log 8 108 ( ) 2 2 2 2 I = + + + = bit 每个符号的算术平均信息量为 符号） 符号数 1.89 ( / 57 108 bit I I = = 若用熵的概念来计算，由式（1.3-5）得 1.906 （ /符号） 8 1 log 8 1 4 1 log 4 1 4 1 log 4 1 8 3 log 8 3 2 2 2 2 bit H = = − − − − 则该消息的信息量 可见，两种算法的结果有一定误差，但当消息很长时，用熵的概念来计算比 较方便。而且随着消息序列长度的增加，两种计算误差将趋于零。 I = 57 ×1.906= 108.64 (bit)
§14主要性能指标 通信的任务是快速、准确地传递信息。因此,评价一个通信系统优劣的主要 性能指标是系统的有效性和可靠性。有效性是指在给定信道内所传输的信息内容 的多少,或者说是传输的“速度”问题;而可靠性是指接收信息的准确程度,也 就是传输的“质量”问题。这两个问题相互矛盾而又相对统一,通常还可以进行 互换。 模拟通信系统的有效性可用有效传输频带来度量,可靠性用接收端最终输出 信噪比来度量。如调频信号抗干扰能力比调幅好,但调频信号所需传输频带却宽 于调幅。 数字通信系统的有效性可用传输速率来衡量。可靠性可用差错率来衡量 传输速率 码元传输速率简称传码率,又称符号速率等。它表示单位时间内传输 码元的数目,单位是波特(Baud),记为B 数字信号有多进制和二进制之分,但码元速率与进制数无关,只与传输的码 元长度T有关 (B) (14-1) 在保证信息速率不变的情况下,M进制的码元速率AaM与二进制的码元速率 Rn之间有以下转换关系 Ra2=RBy log, M(B) 信息传输速率。简称传信率,又称比特率等。它表示单位时间内传递的平 均信息量或比特数,单位是比特秒,可记为bits,或b/s,或bps。 码元速率和信息速率有确定的关系,即 R,=RB H(bit/s) (14-2)
§1.4 主要性能指标 通信的任务是快速、准确地传递信息。因此，评价一个通信系统优劣的主要 性能指标是系统的有效性和可靠性。有效性是指在给定信道内所传输的信息内容 的多少，或者说是传输的“速度”问题；而可靠性是指接收信息的准确程度，也 就是传输的“质量”问题。这两个问题相互矛盾而又相对统一，通常还可以进行 互换。 模拟通信系统的有效性可用有效传输频带来度量，可靠性用接收端最终输出 信噪比来度量。如调频信号抗干扰能力比调幅好，但调频信号所需传输频带却宽 于调幅。 数字通信系统的有效性可用传输速率来衡量。可靠性可用差错率来衡量。 一、 传输速率 码元传输速率 RB 简称传码率，又称符号速率等。它表示单位时间内传输 码元的数目，单位是波特（Baud），记为 B。 数字信号有多进制和二进制之分，但码元速率与进制数无关，只与传输的码 元长度 T 有关 ( ) 1 B T RB = （1.4-1） 在保证信息速率不变的情况下，M 进制的码元速率 RBM 与二进制的码元速率 RB2 之间有以下转换关系 log ( ) RB2 = RBM 2 M B 信息传输速率 Rb 简称传信率，又称比特率等。它表示单位时间内传递的平 均信息量或比特数，单位是比特/秒，可记为 bit/s ，或 b/s ，或 bps。 码元速率和信息速率有确定的关系，即 R R H (bit /s) b B = ⋅ （1.4-2）
式中H为信源中每个符号所含的平均信息量(熵)。等概传输时,熵有最 大值log2M,信息速率也达到最大,即 R,= RB log, M(bit/s) (14-3) R 或 og 式中M为符号的进制数。二进制的码元速率和信息速率在数量上相等,有 时简称它们为数码率。 频带利用率η真正衡量数字通信系统传输效率应当是单位频带内的码元 传输速率,即 R (14-5) 为了比较不同系统的传输效率,又可定义频带利用率为 Rh B bit/(s·H=) (14-6) 差错率 衡量数字通信系统可靠性的指标是差错率,常用误码率和误信率表示。 误码率(码元差错率)°,是指发生差错的码元数在传输总码元数中所占的 比例,即 错误码元数 传输总码元数 (14-7) 误信率(信息差错率)P,是指发生差错的比特数在传输总比特数中所占的 比例,即 =)错误比特数 (14-8) 传输总比特数 显然,在二进制中有
式中 H 为信源中每个符号所含的平均信息量（熵）。等概传输时，熵有最 大值log2 M ，信息速率也达到最大，即 log ( / ) 2 R R M bit s b = B （1.4-3） 或 ( ) log2 B M R R b B = （1.4-4） 式中 M 为符号的进制数。二进制的码元速率和信息速率在数量上相等，有 时简称它们为数码率。 频带利用率η 真正衡量数字通信系统传输效率应当是单位频带内的码元 传输速率，即 (B / Hz) B RB η = （1.4-5） 为了比较不同系统的传输效率，又可定义频带利用率为 bit /(s Hz) B Rb η = ⋅ （1.4-6） 二、 差错率 衡量数字通信系统可靠性的指标是差错率，常用误码率和误信率表示。 误码率（码元差错率）Pe，是指发生差错的码元数在传输总码元数中所占的 比例，即 传输总码元数 错误码元数 Pe = （1.4-7） 误信率（信息差错率）Pb ，是指发生差错的比特数在传输总比特数中所占的 比例，即 传输总比特数 错误比特数 Pb = （1.4-8） 显然，在二进制中有
Ph=P §15通信发展趋势 在过去三、四十年间,对数据传输需求的增长以及大规模集成电路的发展, 促进了数字通信的发展。目前数字通信在卫星通信、光纤通信、、移动通信、微 波通信等领域有了新的进展
Pb = Pe §1.5 通信发展趋势 在过去三、四十年间，对数据传输需求的增长以及大规模集成电路的发展， 促进了数字通信的发展。目前数字通信在卫星通信、光纤通信、、移动通信、微 波通信等领域有了新的进展