信息论与编码技术第4章无失真信源编码定理2024
2024
、本章介绍对离散信源进行无失真信源编码的要求、方法及理论极限，并引出香农第一定理。进一步加深对滴的物理意义的理解2/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 2/ 本章介绍对离散信源进行无失真信源编码的要求、 方法及理论极限，并引出香农第一定理。进一步加 深对熵的物理意义的理解
码字集：信源符号集：C= (Wi...W,]S=(si.s.信道信信信源编码信道编码信道译码信源译码源宿干扰码符号集：X=fxiX2.g3/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 3/ 信源编码 码符号集 ： X=｛x1，x2.xq｝ 信源符号集： S=｛s1.sq｝ 码字集： C=｛W1.Wq｝ 信道编码 信道译码 信源译码 信 源 信 宿 信 道 干扰
主要内容￥5.1编码器、5.2几个概念√5.3等长码5.4渐进等分割性和&典型序列、5.5等长信源编码定理￥5.6变长码>5.7变长信源编码定理4/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 4/ 5.1 编码器 5.2 几个概念 5.3 等长码 5.4 渐进等分割性和𝜀典型序列 5.5 等长信源编码定理 5.6 变长码 5.7 变长信源编码定理
5.1编码器编码的实质是对信源的原始符号按一定的数学规则进行的一种变换，以码字代替原始信源符号，使变换后得到的码符号接近等概率分布，从而提高信息的传输有效性信源符号集：码字集：S= {s...S,]C (wi...w,]编码器信源信宿码源符号集：X= {xi, X...x,]5/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 5/ 编码的实质 是对信源的原始符号按一定的数学规则进行的一种变换， 以码字代替原始信源符号，使变换后得到的码符号接近等概 率分布，从而提高信息的传输有效性 编码器 码源符号集： X=｛x1，x2.xq｝ 信源符号集： S=｛s1.sq｝ 码字集： C=｛W1.Wq｝ 信源 信宿
5.1编码器定义：信源编码：从信源符号到码符号的一种映射。信源编码器的输入信源符号集，是输入消编码器输出的码，W的元素息单元也可以是未编码的信号单元W，i=1,2，q叫做码字。C= (Wi...W,]S- {s...S,]编码器信源信宿X={x1,X2..X,]构成码字的符号集，其元素x一般是适合信道传输的，称为码元6/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 6/ 信源编码：从信源符号到码符号的一种映射。 信源编码器： 编码器 X=｛x1，x2.xq｝ S=｛s1.sq｝ C=｛W1.Wq｝ 定义： 信源编码器的输入信源符号集,是输入消 息单元也可以是未编码的信号单元. S的元素si，i=1，2.q叫做信号单元或消息（共有q个信源符号）。 编码器输出的码,W的元素 Wi,i=1,2,.q叫做码字。 构成码字的符号集,其元素xi一般是适合信道传输的,称为码元. 信源 信宿
5.1编码器C= {W...W.]S= { s...Sg]编码器信源信宿X=(xi,X..xg]将信源符号集中的符号si，i=1，2g（或者长为N的信源符号序列）变换成由基本符号x，j=1,2r组成的长度为L,的一一对应的输出符号序列,即C-(Wi, W2,", Wg} ,s,(i= 1,.,q)αW, = (x,x,.x,), x, E X (k= ,2,.,)或者a, =(s,s...i,)αW, =(x,X,..-x,), Si, es Xi, eXW,称为码字，1称为码字长度或简称码长，所有这些码字的集合C称为码.可见编码就是从信源符号到码符号序列（码字）的一种映射.若要实现无失真编码，这种映射必须是一一对应的,可逆的。7/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 7/ 编码器 X=｛x1，x2.xq｝ S=｛s1.sq｝ C=｛W1.Wq｝ 将信源符号集中的符号sj，i=1，2.q（或者长为N的信源符号序列）变换成由基 本符号xj,j=1,2.r组成的长度为Li的一一对应的输出符号序列,即 C=｛W1,W2，.，Wq｝， Wi称为码字，li称为码字长度或简称码长,所有这些码字的集合C称为码.可见编码 就是从信源符号到码符号序列（码字）的一种映射,若要实现无失真编码, 这种映 射必须是一一对应的,可逆的。 s s s W x x x s S x X s i q W x x x x X k l k k i N l k i l i i i i i i i i i i i i i i i i i = = = = = ( . ) ( , ,., ), ( , ,., ) ( , ,., ), ( , ,., ) 1 2 1 2 1 2 1 2 1 2 或 者 信源 信宿
5.1编码器C- { wW....W.]S= ( si...Sq]编码器X= (xi=0, X2=1)例：二元信道基本符号集为0.11.将信源符号s变换成由0和1符号组成的码符号序列(码字),即编码。8/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 8/ 例：二元信道基本符号集为{0,1},将信源符号s变 换成由0和1符号组成的码符号序列(码字),即编 码。 编码器 X=｛x1=0，x2=1｝ S=｛s1.sq｝ C=｛W1.Wq｝
5.1编码器例：下表为信源编码所使用的码表，信源输出序列的长度为L=1，信源共有4个符号，对应的概率空间为[]-[ S3ppi]S2码表信源符号出现概率信源符号S;p(s;)码2码1100p(s)S11001p(s2)S210101p(ss)S311111p(s)S49/信息论与编码技术-无失真信源编码定理
信息论与编码技术-无失真信源编码定理 9/ 例：下表为信源编码所使用的码表，信源输出序列的 长度为L=1，信源共有4个符号，对应的概率空间为 信源符号 Si 信源符号出现概率 p(si ) 码表 码1 码2 s1 p(s1 ) 00 1 s2 p(s2 ) 01 10 s3 p(s3 ) 10 101 s4 p(s4 ) 11 111 = p(s ) p(s ) p(s ) p(s ) s s s s P(s) S 1 2 3 4 1 2 3 4
5.1编码器信源荐号出现概率码表信源符号p(s,)Si;码2码1100p(s))S10110p(s2)S210101p(s3)S311111p(s4)S4以码1为例，将信源输出的符号按照固定的规则进行变换，即信源编码器输出共有4个码字，分别为00，01／10和11，码字的长度都为2，即1=2，（i=1，2，3，4）每个码字都是由取值于码符号集合[0，1)的两位二元码组成。也就是说，该码表将信源输出的每个符号映射成二元码。10/信息论与编码技术一无失真信源编码定理
信息论与编码技术-无失真信源编码定理 10/ 以码1为例，将信源输出的符号按照固定的规则进行变换，即信源编 码器输出共有4个码字，分别为00，01，10和11，码字的长度都为 2，即l i=2，（i=1，2，3，4）每个码字都是由取值于码符号集合{0， 1}的两位二元码组成。也就是说，该码表将信源输出的每个符号映 射成二元码。 信源符号 si 信源符号出现概率 p(si ) 码表 码1 码2 s1 p(s1 ) 00 1 s2 p(s2 ) 01 10 s3 p(s3 ) 10 101 s4 p(s4 ) 11 111