第二章无失真信源编码 ■信息量、熵和互信息 ■信源编码定理 霍夫曼码及其他编码方法 算术编码 游程编码 改进的霍夫曼码 通用编码
第二章 无失真信源编码 ◼ 信息量、熵和互信息 ◼ 信源编码定理 ◼ 霍夫曼码及其他编码方法 ◼ 算术编码 ◼ 游程编码 ◼ 改进的霍夫曼码 ◼ 通用编码
第二章无失真信源编码 无失真编码:保证信源产生的全部信息无失真地 传递给信宿。(只有对离散信源可以实现无失真 信源编码。)实质上是一种概率匹配编码。 狠失真信源编码:在确定标准和准则的条件下, 信源所必须传递的最小信息量。也称信息率失真 函数(限定波形失真——波形编码,限定特性参 量失真——参量编码)
第二章 无失真信源编码 ◼ 无失真编码：保证信源产生的全部信息无失真地 传递给信宿。（只有对离散信源可以实现无失真 信源编码。）实质上是一种概率匹配编码。 ◼ 限失真信源编码：在确定标准和准则的条件下， 信源所必须传递的最小信息量。也称信息率失真 函数（限定波形失真——波形编码，限定特性参 量失真——参量编码）
第二章无失真信源编码 信源中的统计多余度主要取决于以下两个 主要因素 是消息概率分布的非均匀性, 另一个是消息间的相关性。 对无记忆信源主要取决于概率分布的非均 匀性,但是,对于有记忆信源,两者都起 作用,且相关性更加重要
第二章 无失真信源编码 ◼ 信源中的统计多余度主要取决于以下两个 主要因素： 一是消息概率分布的非均匀性， 另一个是消息间的相关性。 对无记忆信源主要取决于概率分布的非均 匀性，但是，对于有记忆信源，两者都起 作用，且相关性更加重要
第二章无失真信源编码 口统计匹配编码:是根据信源的不同概率分 布而选用与之相匹配的编码,以达到的系 统同中传信速率最小,且满足在信宿复制 时无失真或低于某一允许的失真限度值
第二章 无失真信源编码 ◼ 统计匹配编码：是根据信源的不同概率分 布而选用与之相匹配的编码，以达到的系 统同中传信速率最小，且满足在信宿复制 时无失真或低于某一允许的失真限度值
2.1信息量、熵和互信息量 时间发生的概率越小,不确定性就越大, 给人的信息量就越小;发生的概率越大, 不确定性就越小,给人的信息量就越大
2．1 信息量、熵和互信息量 ◼ 时间发生的概率越小，不确定性就越大， 给人的信息量就越小；发生的概率越大， 不确定性就越小，给人的信息量就越大
必须掌握的概率论知识 条件概率 P (AIB) P(AB) P(B) (B14)P(AB) P(A) 联合概率 P (AB)=P(B)P(AI B) P (AB)=P(A)P(B A)
◼ 条件概率 ◼ 联合概率 必须掌握的概率论知识 ( ) ( ) | P B P AB p（A B）= ( ) ( ) | P A P AB p（B A）= p（AB）= P(B) p(A | B) p（AB）= P(A) p(B | A)
必须掌握的概率论知识 全概率 设B1,B2,…是一列互不相容的事件(BzB;=0), 且有B1UB2U..=9(样本空间) p(B1)>0,i=1,2,…,则对任一事件A,有 (A)=∑n(B,)(41B1)=∑以AB)
必须掌握的概率论知识 全概率： 设 B 1 , B 2 , … 是一列互不相容的事件(Bi B j = 0）， 且有 B 1 ∪ B 2 ∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： = = i i i p(A) p(Bi ) p(A| Bi ) p(AB )
必须掌握的概率论知识 4) Bayes公式 设B1,B2,…,是一列互不相容的事件(BiB 0) 且有B1∪B2U..=9(样本空间); p(B1)>0,i=1,2,…,则对任一事件A,有: P(B: IA= P(B )P(AIB) P(B P(A1B: ∑p(B)p(AB P(A)
必须掌握的概率论知识 4)Bayes公式: 设 B 1 , B 2 , … 是一列互不相容的事件(B i B j= 0）， 且有 B 1 ∪ B 2∪… =Ω（样本空间）； p（Bi）＞0 ，i=1，2，…，则对任一事件A，有： ( ) ( ) ( | ) ( ) ( | ) ( ) ( | ) ( | ) 1 P A p B P A B p B p A B p B P A B p B A i i i i i i i i = = =
2.1信息量、熵和互信息量 信息量定义: 个离散无记忆信源是由n个符号消息组成的集合:X={x1, x2…xn},这个件号消息的概率分布为: 称为符号x的先验概率,散信源数学模型表示为: 12 P」Lp(x1)p(x2)P(x3)…p(xn) 称为概率空间,其中p(x)20.∑x)+1 从概率的角度看,可以将符号消息x看一个随机事 件。因此x具有不确定性
一个离散无记忆信源是由n个符号消息组成的集合:X={ x1， x2 ···xn }，这n个符号消息的概率分布为了： 称为符号xi 的先验概率, 散信源数学模型表示为： 称为概率空间, 其中 从概率的角度看，可以将符号消息 xi 看一个随机事 件。因此 xi 具有不确定性。 2．1 信息量、熵和互信息量 ◼ 信息量定义： { ( ), ( ), ( )} p = p x1 p x2 p xn = ( ) ( ) ( ) ( ) 1 2 3 1 2 3 n n p x p x p x p x x x x x P X = = n i p xi p xi 1 ( ) 0, ( ) 1
2.1信息量、熵和互信息量 信息量定义: 美国科学家 L VR. Hartley于1928年给出了信息的度量方法。 定义若信源发出一符号x,由于信道存在干扰,收到 的不是x而是y,从y冲获取有关x信息量用I Xi;y)表示,称为互信息量 定义上述情况,若信道无干扰,收到的就是x/本身, 这样I(x;y就可以用I(x;XD表示,或简单记 作I(XD,并称为自信息量
2．1 信息量、熵和互信息量 ◼ 信息量定义： 美国科学家L.V.R.Hartley 于1928年给出了信息的度量方法。 定义 若信源发出一符号xi ，由于信道存在干扰，收到 的不是 x i 而是 y i ，从 y i中获取有关 x i的信息量用 I ( x i ；y i) 表示，称为互信息量。 定义 上述情况，若信道无干扰，收到的就是x i 本身， 这样I (x i ；y i) 就可以用 I (x i ；x i) 表示，或简单记 作 I( x i)，并称为自信息量