教字通信原理 (2) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 1 数字通信原理 （2）
第二章信息论基本知识 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 2 第二章 信息论基本知识
21信息的度量 1.信息与消息 消息是由符号、文字、数字、语音或图像组成的序列; 收到一则消息后,所得的信息量,在数量上等于获得 消息前后“不确定性”的消除量; 消息是信息的载体,信息是消息的内涵; 通信的目的在与传送信息。 2001 Copyright SCUT DT&P Labs 3
2001 Copyright SCUT DT&P Labs 3 2.1 信息的度量 1. 信息与消息 ◼ 消息是由符号、文字、数字、语音或图像组成的序列； ◼ 收到一则消息后，所得的信息量，在数量上等于获得 消息前后“不确定性”的消除量； ◼ 消息是信息的载体，信息是消息的内涵； ◼ 通信的目的在与传送信息
2.1信息的度量 2.信息的度量 不确定性--可能性--可能性的大小可用概率来度 信息的度量方式还应满足可加性; 信息量应该是事件发生概率的函数; 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 4 2.1 信息的度量 2. 信息的度量 ◼ 不确定性－－可能性－－可能性的大小可用概率来度 量； ◼ 信息的度量方式还应满足可加性； ◼ 信息量应该是事件发生概率的函数；
21信息的度量 3.离散信源的信息量 离散信源统计特性的描述--概率场 设离散信源包含N中可能的符号,相应的概率场: X1 x2 x3 p(xl)p(x2) p(x3)..... P(XN 例:英文字母出现的概率,见表2-1 汉字电报中数字代码出现的概率,见表2-2 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 5 2.1 信息的度量 3. 离散信源的信息量 离散信源统计特性的描述－－概率场 设离散信源包含N中可能的符号，相应的概率场： x1 x2 x3 . . . . . xN p(x1) p(x2) p(x3) . . . . . P(xN) 例：英文字母出现的概率，见表2－1 汉字电报中数字代码出现的概率，见表2－2
2.1信息的度量 定义离散消息Xi的信息量I(i) I(Xi)=log(1/p(Xi))=-log(p(Xi)) 信息量的单位与对数的低有关: log以2为底时,单位为比特:bit; og以e为底时,单位为奈特:nit 事件Xi出现的概率越小,信息量越大; 信息量具有“相加性”。 2001 Copyright SCUT DT&P Labs 6
2001 Copyright SCUT DT&P Labs 6 2.1 信息的度量 ◼ 定义离散消息Xi的信息量I(Xi): I(Xi)= log(1/p(Xi))= -log(p(Xi)) 信息量的单位与对数的低有关： log以2为底时，单位为比特：bit； log以e为底时，单位为奈特：nit。 ◼ 事件Xi出现的概率越小，信息量越大； ◼ 信息量具有“相加性”
21信息的度量 ■两个离散信源的联合信息量I(XiYj) 设Xi∈X,Yj∈Y I(XiYi)=-log(P(XiYi))=-log(P(Xi/Yi)P(Y) =log(P(Xi/YD)-log(P(Yi 若X与Y统计独立: I(XiYi)=-log(P(Xi))-log(P(YD) I(Xi)+I(YD) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 7 2.1 信息的度量 ◼ 两个离散信源的联合信息量 I(XiYj) 设 Xi∈X, Yj∈Y， I(XiYj)= -log(P(XiYj))= -log(P(Xi/Yj)P(Yj)) = -log(P(Xi/Yj)) – log(P(Yj)) 若X与Y统计独立： I(XiYj)= -log(P(Xi)） – log(P(Yj)) ＝ I(Xi)＋I(Yj)
21信息的度量 ■离散通信系统的信息传递--互信息量 设X为发送符号集,Y为接收符号集 pQX)的分布通常已知,称为先验概率; 收到Yj后,估计X出现的概率,成为后验概率: p(Xi/Yn 定义互信息量 I(Xi, Yi)=log(p(Xi/yi)/p(Xi) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 8 2.1 信息的度量 ◼ 离散通信系统的信息传递－－互信息量 设 X为发送符号集, Y为接收符号集 p(Xi)的分布通常已知，称为先验概率； 收到Yj后，估计Xi出现的概率，成为后验概率: p(Xi/Yj)。 定义互信息量： I(Xi,Yj)= log(p(Xi/Yj)/ p(Xi))
21信息的度量 ▲若Y的出现必可推出X的出现:pxi/Yj)=1 I(XL,Y=I(Xi) (理想信道情况) ▲若Y的出现与X是否出现无关,则pXi/Nj)=pX I(Xi, Y=0 (信道受严重干扰无法通信的情况) ▲可以证明,互信息具有对称性: I(Xi,Y]=I(Y],Xi) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 9 2.1 信息的度量 ▲ 若Yj的出现必可推出Xi的出现：p(Xi/Yj)＝ 1 I(Xi,Yj) ＝ I(Xi) (理想信道情况) ▲ 若Yj的出现与Xi是否出现无关，则p(Xi/Yj)＝p(Xi) I(Xi,Yj) ＝ 0 （信道受严重干扰无法通信的情况） ▲ 可以证明，互信息具有对称性： I(Xi,Yj) ＝ I(Yj，Xi)
2.2离散信源的平均信息量--信源的熵 定义,陪散信源X的熵为: H(X)=∑P)log(pX) 离散信源的熵是统计意义上的平均信息量。 利用信源的熵,可以方便地估算消息序列所包含的总信息量。 (比较例2-3与例2-5) 2001 Copyright SCUT DT&P Labs
2001 Copyright SCUT DT&P Labs 10 2.2 离散信源的平均信息量－－信源的熵 ◼ 定义，离散信源X的熵为： H(X)= ∑p(Xi)log(p(Xi)) 离散信源的熵是统计意义上的平均信息量。 ◼ 利用信源的熵，可以方便地估算消息序列所包含的总信息量。 （比较例2－3与例2－5）