《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.1 信源模型 2.2 信息的描述 2.3 确定性与信息

第二章信息的度量2.1信源模型

第二章 信息的度量 2.1 信源模型

一、概念1.消息：实际信源的输出2.基本消息：构成消息的最小元素

一、概念 1.消息：实际信源的输出 2.基本消息：构成消息的最小元素

3.符号：基本消息■例：将英文视为一个信源，可以将26个英文字母作为基本消息[a，b，．·．z)为基本消息集

3.符号：基本消息  例：将英文视为一个信源，可以 将26个英文字母作为基本消息。 {a，b，．．．z}为基本消息集；

4.信源的概率描述■信源在t,时刻的输出X是一个取值于符号集E的随机变量。信源输出序列为：(X,,tk ET)T：（时间）参数集Ex：Xt.的值域

4.信源的概率描述  信源在t k时刻的输出Xtk是一个取值于 符号集EX的随机变量。信源输出序列 为： { , } k X t T t k  : X T E X k t （时间）参数集 ： 的值域

二、信源的分类TEx离散离散时间离散空间离散信源离散连续时间离散空间连续信源连续离散时间连续空间离散信源连续连续时间连续空间连续信源若没有特别说明，所讲信源都是时间离散信源；所讲的离散或连续信源都是指取值空间的离散或连续

二、信源的分类 T Ex 时间离散空间离散信源 离散 离散 时间离散空间连续信源 离散 连续 时间连续空间离散信源 连续 离散 时间连续空间连续信源 连续 连续 若没有特别说明，所讲信源都是时间离散 信源；所讲的离散或连续信源都是指取值 空间的离散或连续

三、几种常见的信源有记忆信源X中各随机变量统计相关。统计特性：Fx(Xi,..-Xn)= P(X, ≤xi,... X,.≤xn

三、几种常见的信源  有记忆信源 {Xtk}中各随机变量统计相关。 1 1 1 1 ( , ) ( , ) t tN N F x x P X x X x X X N t t N    统计特性：

·平稳信源■特点：有记忆信源；■N阶平稳信源：N维分布函数与时间的起点无关；平稳X,X,...Xn信源(Xi,X2*..X) = Fx. in(Xi,X2 XN)tN+Tt1+t

•平稳信源  特点：有记忆信源；  N阶平稳信源：N维分布函数与时间的 起点无关； 平稳 信源 X X X 1 2 N 1 1 1 2 1 2 ( , ) ( , ) t t t t N N F x x x F x x x X X N X X N     

·无记忆信源■特点：各个时刻的输出随机变量相互独立最简单的独立同分布信源：各随机变量概率分布相同X无记忆信源

•无记忆信源  特点：各个时刻的输出随机变量相互 独立 最简单的独立同分布信源：各随 机变量概率分布相同 无记忆信 源 X

2.2信息的描述一、概念离散无记忆信源DMS1(DiscreteMemoryless Source)：时间离散，空间离散

2.2 信息的描述 一、概念 1) 离散无记忆信源DMS (Discrete Memoryless Source)： 时间离散，空间离散

2）先验概率（先验分布）信源符号的概率P(x)是事先已知的称为先验概率

2) 先验概率（先验分布） ( ) 信源符号的概率P xk 是事先已知的， 称为先验概率