信息论与编马 王军选 wangix@xupt.edu.cn 2012.2
1 信息论与编码 王军选 wangjx@xupt.edu.cn 2012.2
通信原理 信息论涉及的课程 概率论 随机过程 数理统计 奠基人：美国数学家香农(C.E.Shannon) 1948年“通信的数学理论
2 奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论” 信息论涉及的课程 通信原理 概率论 随机过程 数理统计
本课程主要内容 概论(2) >~信源与信息熵(10) >信道与信道容量(10》 >信息率失真函数(6) ,信源编码(10) 信道编码定理与分组码(10) 卷积码(10)》 加密编码(4) 习题课(2)
3 本课程主要内容 ➢ 概论（2） ➢ 信源与信息熵（10） ➢ 信道与信道容量（10） ➢ 信息率失真函数（6） ➢ 信源编码（10） ➢ 信道编码定理与分组码（10） ➢ 卷积码（10） ➢ 加密编码（4） ➢ 习题课（2）
课程性质 课程课时：64学时 ÷考试形式：闭卷(30%、卷面成绩70%) ó平常成绩包括：出勤、作业等 ÷答疑地点：3#133
4 课程性质 ❖ 课程课时：64学时 ❖ 考试形式：闭卷（30%、卷面成绩70%） 平常成绩包括：出勤、作业等 ❖ 答疑地点：3#133
参考书目 。教材：信息论基础与编码，王军选田小平曹 红梅，人民邮电出版社，2011.9 必参考书目： ó信息处理与编码，吴伟陵，人民邮电出版社， 1999 6信息论与编码，付祖芸等，电子工业出版社， 2006 Elements of Information Theory,T.M.Cover, 清华大学出版社 6
5 参考书目 ❖ 教材：信息论基础与编码，王军选 田小平 曹 红梅，人民邮电出版社，2011.9 ❖ 参考书目： 信息处理与编码，吴伟陵，人民邮电出版社， 1999 信息论与编码，付祖芸等，电子工业出版社， 2006 Elements of Information Theory，T.M.Cover， 清华大学出版社
工食鸣行久位速应等装西 “中5”成划附时应话目 码 信息论基础 3武尼海等反校信嘉与通信工程现城数材 Elements of Information Thcory and Coding
6
第一章概论 。1.1信息的基本概念 ÷1.2信息论研究的对象和内容 ·1.3信息论的发展
7 ❖ 1.1 信息的基本概念 ❖ 1.2信息论研究的对象和内容 ❖ 1.3信息论的发展 第一章 概论
1.1信息的概念 6信息是信息论中最基本、最重要的概念，既抽象又 复杂，信息在日常生活中被认为是“消息”、“知 识”、“情报”等 消息：用文字等能够被人们感觉器官所感知的形式，把客观物 质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息，以实践为 基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的 知识 它们之间有着密切联系但不等同，信息的含义更深刻、广泛
8 消息：用文字等能够被人们感觉器官所感知的形式，把客观物 质运动和主观思维活动的状态表达出来。 知识：一种具有普遍和概括性质的高层次的信息，以实践为 基础，通过抽象思维，对客观事物规律性的概括。 情报：是人们对于某个特定对象所见、所闻、所理解而产生的 知识 。 它们之间有着密切联系但不等同，信息的含义更深刻、广泛 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又 复杂，信息在日常生活中被认为是“消息”、“知 识”、“情报”等
1.1信息的概念 >“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义)， 消息是表现形式，信息是实质； >“信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； >信息不同于信号，信号是承载消息的物理量； >信息不同于知识，知识是人们根据某种目的，从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息
9 1.1 信息的概念 ➢“信息”不同于消息（在现代信息论形成之前，信息一直 被看作是通信中消息的同义词，没有严格的数学含义）， 消息是表现形式，信息是实质； ➢“信息”不同于情报，情报的含义比“信息”窄的多， 一般只限于特殊的领域，是一类特殊的信息； ➢信息不同于信号，信号是承载消息的物理量； ➢信息不同于知识，知识是人们根据某种目的,从自然界收 集得来的数据中整理、概括、提取得到的有价值的信息， 是一种高层次的信息
1.1信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消 。 息、信息 ÷信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描述、 可显示。 ·消息：（或称为符号）是信息的数学表达层，它虽不是一个物 理量，但是可以定量地加以描述，它是具体物理信号的进一步 数学抽象，可将具体物理信号抽象为两大类型： 离散（数字）消息，一组未知量，可用随机序列来描述： X=(X1.Xi.Xn) 连续（模拟）消息，未知量，它可用随机过程来描述： X(t,⊙
10 就狭义而言，在通信中对信息的表达分为三个层次：信号、消 息、信息。 ❖ 信号：是信息的物理表达层，是三个层次中最具体的层次。 它是一个物理量，是一个载荷信息的实体，可测量、可描述、 可显示。 ❖ 消息：(或称为符号)是信息的数学表达层，它虽不是一个物 理量，但是可以定量地加以描述，它是具体物理信号的进一步 数学抽象，可将具体物理信号抽象为两大类型： ➢ 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1.Xi.Xn ) ➢ 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) 1.1 信息的概念