
“十二五”普通高等教育本科国家级规划教材电子信息科学与工程类专业精品教材INFORMATIONTHEORY传祖芸 编著信息论(第4版)基础理论与应用Information Theory Principles and ApplicationsTheFourthEdition電子工業出版社中国工信出版集团http://www.phei.com.cn

免费获取本书教学资源欢迎登录单http:l/www.hxedu.com.cnINFORMATIONTHEORY信息论(第4版)基础理论与应用Information Theory Principles and AppicationsTheFourthEdition本书系统地论递了香农信息论基本理论及某些应用问题,基本覆盖了信息论的各个方面的内容。内客包括:信息的定义和度量:各类离散信源和连续信源的信息端:有记忆、无记忆、离和连续信道的信道容量:香农信息论的三个基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理:网络信息理论及保密系统的信息理论。本书还介绍了无失真数据理编(即无失真信源编码)的实用的编码算法与方法,以及信道纠错编码的基本内容和分析方法:最后简要地介绍了信息论与热力学、光学,统计学、,生物学和医学等其他学科交叉结合的应用内容,光其是新增第13章,介绍量子力学与信息理论交叉结合而飞建发展起来,又极具诱人前景的量子信息科学·教育部评选的“普通高等教育精品教材”同步学习辅导书一《信息论与编码学习辅导及习题详解》解答详细,方便自学多媒体教学课件一一集知识要点、公式、图表为一体,辅助教学I5BN978-7-121-2470策划编辑:陈晓莉责任编辑:陈晓莉定价:58.00元封面设计:张昱

十二五”普通高等教育本科国家级规划教(一用电子信息科学与工程类专业精品教材信息论基础理论与应用(第4版)傅祖芸编著電子工業出版社Publishing House of Electronics Industry北京·BEIJING

内容简介本书是“十二五”普通高等教育本科国家级规划教材,且为教育部评选的"2008年度普通高等教育精品教材”。本书系统地论述了香农信息论基本理论及某些应用问题,基本覆盖了信息论的各个方面的内容。内容包括信息的定义和度量:各类离散信源和连续信源的信息摘;有记忆、无记忆、离散和连续信道的信道容量:香农信息论的三个基本定理:无失真信源编码定理、限失真信源编码定理和信道编码定理;网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩(即无失真信源编码)的实用的编码算法与方法,以及信道纠错编码的基本内容和分析方法:最后简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容尤其是新增第13章,介绍量子力学与信息理论交叉结合而飞速发展起来,又极具诱人前景的量子信息科学。本书深人浅出、概念清晰、内容丰富、系统性和可读性强,并具实际应用价值。本书可作为高等院校信息工程、通信工程、雷达、计算机、电子学、信息与计算科学等相关专业的本科生、研究生的信息论课程教材或教学参考书也可供数学、物理、生物学、系统科学、管理科学等专业研究生及从事信息科学理论、技术、方法研究的科研工作者和工程技术人员参考。未经许可,不得以任何方式复制或抄袭本书之部分或全部内容。版权所有,侵权必究。图书在版编目(CIP)数据信息论:基础理论与应用/傅祖芸编著一4版.一北京:电子工业出版社,2015.2ISBN 978-7-121-24705-7I.①信Ⅱ.?傅Ⅲ.①信息论一高等学校一教材IV.①G201中国版本图书馆CIP数据核字(2014)第258839号策划编辑:陈晓莉责任编辑:陈晓莉印刷:北京市李史山胶印厂装订:北京市李史山胶印厂出版发行:电子工业出版社北京市海淀区万寿路173信箱邮编100036开本:787×10921/16印张:30.75字数:895千字版 次:2001年8月第1版2015年2月第4版印次:2015年2月第1次印刷定价:58.00元凡所购买电子工业出版社图书有缺损问题,请向购买书店调换。若书店售缺,请与本社发行部联系,联系及邮购电话:(010)88254888质量投诉请发邮件至zlts@phei.com.cn,盗版侵权举报请发邮件至dbqq@phei.com.cn服务热线:(010)88258888

第4版前言自1948年至今60多年来,以香农信息论为核心的信息理论从发展走向了成熟。在信息理论的主导和推动下,信息计算技术、信息存储与处理技术以及信息安全可靠的传输技术等都取得了突破性的进展和卓越的成就。然而,值得关注的是近十多年来,一门量子物理学与香农信息理论交叉融汇的新兴科学一一量子信息科学迅速崛起并取得飞速发展。它的主要内容包括有量子计算(量子计算机)、量子通信、量子保密学以及量子信息论等。量子信息科学将原有的香农经典信息扩充为量子信息,用微观粒子的量子态来表述量子信息。以往香农经典信息理论是将信息荷载在实际的物理载体一一信号上,来研究信息的提取、计算、传输和变换处理等。也就是将信息荷载到经典物理学中的经典物理态上。而量子信息科学是将信息荷载到微观物理系统的微观量子态上,来研究量子信息的提取、计算、传输和处理等。因此,它必须遵循微观量子态的特性和遵循量子力学理论的规律。这就使信息的提取、计算、存储、传输和处理等都发生了根本性的变革。在研究和分析微观量子态特性的基础上,展现出量子信息科学具有奇特的和惊人的优越性。它可以实现无法比拟的、极高速的并行量子计算。可以实现超光速和无条件安全性的信息传输以及可实现非定域性和超空间性的远距离通信等。近年来,世界各国在量子信息科学的技术和理论等方面都取得了众多的、引人瞩自的研究成果。我国在量子通信和量子保密通信方面也取得具有世界先进水平的科研成果,初步奠定了量子通信实用化和产业化的技术基础。然而,量子信息科学还处于起步和发展阶段,有着大量的课题和困难需要探索、研究和解决。其中我们关心的量子信息论更有许多内容有待深入地研究。所以,量子信息科学将是当今信息科学领域中最具广阔发展前景的重要研究方向。在再版《信息论一一基础理论与应用》一书之际,作者认为有必要将量子信息科学简介作为第13章的内容加人本书。目的是希望通过该章简要的论述,使读者今后能更多地注意量子信息科学发展的动向。也希望读者在掌握香农信息论的基础上,对量子信息科学,特别是对量子信息论激起兴趣,并进行深人地研究和探讨在第13章编写过程中曾得到中科院研究生院物理学院丁亦兵教授的帮助和指教,在此表示衷心感谢。同时也参阅引用了一些国内外最近有关量子信息科学方面的著作,在此谨向作者们表示深切的谢意。由于作者水平所限,书中有不当和错误之处,敬请专家、学者和广大读者批评指正。作者2014年12月.m

前言人类社会的生存和发展无时无刻离不开信息的获取、传递、处理、再生、控制和利用。信息论正是一门把信息作为研究对象,以揭示信息的本质特性和规律为基础,应用概率论、随机过程和数理统计等方法来研究信息的存储、传输、处理、控制和利用等一般规律的科学。它主要研究如何提高信息系统的可靠性、有效性、保密性和认证性,以使信息系统最优化,自从1948年香农发表了《通信的数学理论》一文,宣告了信息论作为一门独立的、全新的学科成立。自此之后,信息理论本身得到不断地发展和深化,尤其是在信息理论的指导下,信息技术也获得飞快发展。这又使信息的研究冲破了香农狭义信息的范畴,几乎渗透到自然科学与社会科学的所有领域,从而形成了一门具有划时代意义的新兴学科一一信息科学。近年来,逐渐形成和发展起来的光学信息论,量子信息论、生物信息论或生物信息学都是信息科学的重要分支和发展的重要领域。当人类迈入21世纪一一高度信息化时代以来,移动通信、互联网通信、多媒体技术、计算机技术、空间技术等信息技术出现了超越人们想象的、前所未有的发展速度。在这些领域中,只要涉及信息的存储、传输和处理就要用到香农信息理论一一无失真通信的传输速率极限(即香农极限)、无失真和限失真信源编码理论(即数据压缩原理)和信道编码理论(即纠错编码理论)等。甚至人们娱乐生活中如数字激光影碟机、数码相机、数字家庭音像系统、网络游戏等都普遍采用了纠错编码技术和数据压缩技术。所以,现在人们对于信息的概念、信息论的基本理论已不再感到陌生、抽象深奥和难以理解与掌握,同时也越来越意识到学习和掌握信息理论的重要。在这种形势下,各高校的热门专业“信息工程技术专业”得到快速发展,专业的知识结构也做了相应调整,先后将《信息论与编码》及有关课程列为本科生、研究生必修的专业基础课。与此同时,全国几百所高校先后在理学院(或数学系)内新增设了“信息与计算科学专业”,也将《信息论与编码》作为此专业的必修基础课。甚至,在物理学、光学、声学,以及生物学专业的研究生中也增设或选修有关信息论的课程。为满足广大读者的需要,作者在几十年的教学实践和科研工作的积累,以及在1986年、1989年最早编写出版的全国统编教材《信息论基础》37]一书基础上,于2001年编写出版了《信息论一一基础理论与应用》38]二书。经近十年的使用和修改,在增加了信道纠错编码的内容的基础上,现又在章节上做一些适当的调整和修改,以求内容和框架结构更全面合理,以期能适应不同专业的需求。本书系统地介绍香农(Shannon)信息论和编码理论及其应用。全书注重基本概念、基本定理和基本分析方法的论述,并结合实例建立概念和数学模型,给出详细的、必要的数学推演过程和证明。一般来说,在重要定理的证明前后都会描述定理和结论的物理意义或实用意义及证明的思路,然后通过严密推理和巧妙证明进一步说明定理和结论的完美,以期望做到物理概念清晰,逻辑性、系统性强,数学结构严谨完整又避免纯数学的枯燥乏味。在内容的编排上,力求由浅入深、循序渐进,合理地安排章节。全书力图做到既有实际应用背景,又有清晰的数学思想和严密推理。全书共有12章。第1、2、3、4章是全书的基础。首先阐述信息的概念,引出香农关于信息的定义和测度。在这基础上讨论各类离散信源、连续和波形信源的信息测度一一信息,以及各类离散信道、连续和波形信道的信息传输率与信道容量。第5、6、7章主要论述香农信息论的三个基本定理一一离散信源的无失真编码定理、有噪信道编.V·

码定理及限失真信源编码定理,此部分内容是香农信息论的核心部分。第8章集中介绍了若干常用的无失真信源编码方法,以阐明香农无失真信源编码定理的应用意义。第9章论述了信道纠错编码的基本内容及一些主要的纠错编码如线性分组码、循环码和卷积码该章从有噪信道编码定理出发,在读者已具有的工程数学基础上给出纠错编码的基本概念,然后讨论各种纠错编码的编、译码算法。避免了从近世代数理论角度进行讨论,减小了学习的难度。有了这章的学习基础就可对纠错编码理论进行深入的研究。第10章讨论网络信息论(又称为多用户信息理论),比较全面地介绍了各种网络信道的信源和信道编码定理。这一章在本书中占用了一定的篇幅,主要因为实际的各种信息传输系统、信息流通系统都是复杂的信息流通网。另外,多用户信息理论也是由香农首先给出的,并且目前还存在着许多有待研究和解决的理论问题。随着网络通信技术的发展和普及,网络信息理论显得更为重要,而且已成为信息研究的热门领域。第11章简要地介绍香农用信息论的观点对信息保密问题的论述。正是香农的论述把信息保密安全问题的研究引人到科学研究的轨道,使保密学迅速发展成为一个独立的分支。第12章简要地探讨一些信息论与热力学、光学、统计学、生物、医学等学科的关系和应用.使读者了解信息论与其他学科交叉结合的发展前景。第1章至第7章是本书的主体,学好了这几章就掌握了信息论的主要理论和内容。为帮助读者学习和掌握,每章结尾均给出小结,以公式形式列出该章的主要内容。各章还配有大量习题。为避免读者对本书所用符号产生混淆,还将主要所用符号统一列表说明,以供参阅。书后的附录,为读者提供了所需的一些数学基础知识。同时为配合本书的学习和解题,作者已编写并由电子工业出版社出版了《信息论与编码学习辅导及习题详解》39]一书,可供读者学习使用全书引入了弱e典型序列,儿个重要定理都采用此统一的分析方法进行证明,使定理证明简洁明了,而且又使单用户信息理论和网络信息理论中定理的证明方法达成一致。但这些章节均标以“*”号出现。书中标有“*”号的章节和小字体部分均属于严格的数学证明或加深、加宽的内容。各高校、各专业可根据学时的多少或学生的知识程度适当取舍,只讲授主要基本内容.省略”*”章节和小字体部分。省略后并不影响全书的系统性、逻辑性和可读性。所以,本书可作为信息工程、通信工程技术和计算机科学专业本科生和研究生的教材,也可作为其他有关专业所需的教材。为了便于教师使用本教材进行课堂教学,还配套提供了电子教案。本书第8章“字典码”二节由赵建中老师协助编写。孙建京、路而红、彭一凡等老师阅读了书稿部分章节并提出许多中肯的修改意见。刘泉、陈立、赵黎明、施燕琼、许晓东、陈曦、张栋等同志参与了审稿、绘图、习题录入、电子教案编程等大量工作,在此一并表示衷心的感谢。在本书编写修改过程中,参阅了国内外一些经典著作,均列于参考书自中,在此谨向作者表示深切谢意。本书被国家教育部评为“2008年度普通高等教育精品教材”。其中电子工业出版社陈晓莉编辑对本书的修改、再版做了大量的工作,提出了许多宝贵意见,在此也深表感谢。书中难免有不要和错误之处,殷切希望广大读者予以批评指正。作者2011年元月.V

目录第1章绪论1.1信息的概念81.2信息论研究的对象、目的和内容121.3信息论发展简史与信息科学17第2章离散信源及其信息测度-172.1信源的数学模型及分类222.2离散信源的信息摘222.2.1自信息252.2.2信息摘282.3信息摘的基本性质35¥2.4信息嫡的唯一性定理382.5离散无记忆的扩展信源402.6离散平稳信源·402.6.1离散平稳信源的数学定义412.6.2二维离散平稳信源及其信息摘452.6.3离散平稳信源的极限摘482.7马尔可夫信源·482.7.1马尔可夫信源和m阶马尔可夫信源的定义512.7.2马尔可夫信源和m阶马尔可夫信源的信息嫡582.8信源剩余度与自然语言的炳62*2.9意义信息和加权摘65小结66习题70第3章离散信道及其信道容量703.1信道的数学模型及分类703.1.1信道的分类713.1.2离散信道的数学模型743.1.3单符号离散信道的数学模型763.2平均互信息及平均条件互信息763.2.1信道疑义度773.2.2平均互信息3.2.3平均条件互信息·80823.3平均互信息的特性863.4信道容量及其一般计算方法813.4.1离散无噪信道的信道容量.VI

893.4.2对称离散信道的信道容量913.4.3准对称信道的信道容量923.4.4一般离散信道的信道容量98*3.5信道容量的送代算法993.5.1信道容量的选代算法1033.5.2信道容量选代算法的收敛性1053.6离散无记忆扩展信道及其信道容量1103.7#独立并联信道及其信道容量.1113.8串联信道的互信息和数据处理定理1183.9信源与信道的匹配119小结·121习题125波形信源和波形信道·第4章1254.1波形信源的统计特性和离散化*1274.2连续信源和波形信源的信息测度1274.2.1连续信源的差摘1294.2.2连续平稳信源和波形信源的差1304.2.3两种特殊连续信源的差摘··.1324.3连续信源摘的性质及最大差摘定理1324.3.1差摘的性质1344.3.2具有最大差摘的连续信源·1364.4连续信源摘的变换1374.4.1坐标变换后概率密度函数的变化1384.4.2坐标变换后差摘的变化1394.5嫡功率·1414.6连续信道和波形信道的分类:1414.6.1按信道输入和输出的统计特性分类1424.6.2按噪声的统计特性分类1454.6.3按噪声对信号的作用功能分类1464.7连续信道和波形信道的信息传输率1464.7.1基本连续信道的平均互信息.1474.7.2多维连续信道的平均互信息1474.7.3波形信道的信息传输率1484.7.4连续信道平均互信息的特性1514.8连续信道和波形信道的信道容量1524.8.1单符号高斯加性信道1534.8.2单符号非高斯加性信道1544.8.3多维无记忆高斯加性连续信道157*4.8.4多维有记忆高斯加性连续信道1594.8.5限带高斯白噪声加性波形信道.VII

160*4.8.6有色高斯加性波形信道1614.8.7香农公式的重要实际指导意义164小结·167习题170第5章无失真信源编码定理1705.1编码器1725.2等长码175渐近等分割性和e典型序列*5.31785.4等长信源编码定理1815.5变长码1815.5.1唯一可译变长码与即时码1835.5.2即时码的树图构造法1845.5.3克拉夫特(Kraft)不等式1875.5.4唯一可译变长码的判断法1885.6变长信源编码定理195小结:196习题·199第6章有噪信道编码定理·1996.1错误概率和译码规则2036.2错误概率与编码方法210*6.3联合e典型序列2156.4有噪信道编码定理2196.5联合信源信道编码定理221小结223习题·225第7章保真度准则下的信源编码2267.1失真度和平均失真度2267.1.1失真度2287.1.2平均失真度2297.2信息率失真函数及其性质2297.2.1信息率失真函数:7.2.2信息率失真函数的性质2312367.3二元信源和离散对称信源的R(D)函数2367.3.1二元对称信源的R(D)函数7.3.2离散对称信源的R(D)函数2387.4信息率失真函数的参量表述及其计算240248*7.5信息率失真函数的选代算法7.6连续信源的信息率失真函数251.7.6.1连续信源的信息率失真函数2517.6.2高斯信源的信息率失真函数252.. X: