复旦大学：《通信原理（A）》PPT教学课件_2016_10 第十章 信道容量

通信原理讲义 前言 ■之前的内容 数字系统的基本原理 口数字调制与解调的方法 第十章信道容量 口数字系统在噪声环境中的性能分析 ■还没有解决的问题 口数字系统的极限是什么? 口有限功率下,有限信道带宽中可靠传输的最大 传输速率 zhuyu@fudan.edu.cn k手 最佳接收机的误码率性能 BPSK的误码率 进制误码率公式 ■星座图E=E s2(0 S E ■误码率的上界 ()=√Eo( erfc(x)0 l(0)=-√E0(( cos(271),0≤t≤Tb (d2n l 4N(4A丿 P==erfc erfc expl 4N2 N 後照大手 後照k季D

通信原理讲义 zhuyu@fudan.edu.cn 第十章 信道容量 前言 ◼ 之前的内容 数字系统的基本原理 数字调制与解调的方法 数字系统在噪声环境中的性能分析 ◼ 还没有解决的问题 数字系统的极限是什么? 有限功率下, 有限信道带宽中可靠传输的最大 传输速率 2 最佳接收机的误码率性能 ◼ 二进制误码率公式 01 01 1 2 1 2 1 , where e d 2 2 4N   d 2 P = erfc = E + E − 2 E E    0  ◼ 误码率的上界 erfc( x)  2e− x 2 , x  0 1 2 d 2 d 2     Pe = erfc  01  exp − 01    4N0   4N0  BPSK的误码率 ◼ 星座图 (t) s1 (t) 2 b b cos(2fc t), T s1 (t)= Eb(t)  (t)= 0  t Tb  ,  s (t)=− E  (t) 2 b Eb 1 2 1 2 e d 2 E 4N N N     E  P = erfc  01 =    0   erfc b   exp − b   0   0  Eb =Es s2 (t) − E 3 4

可靠传输 信道容量是否存在? a Error-free communication or Reliable 在保证可靠传输(错误概率无限小)的前提下, communication 传输速率是否不趋于0(一个不为0的正数)? 口传输错误概率任意的小 ■信号功率P=E6R ■举例:考虑一个离散无记忆信道 实际系统发送功率有上限P≤Pp 0 为了降低错误概率, Before shannon P=erfc N 0 P(decision=1p transmitted) 重复编码—— Repetition Coding 重复编码的特点与存在的问题 001 ■在所有编码序列中,只有两个与信息b对应 0→000 111 ■被占用的“顶点”越少,它们之间的距离 就越能被拉开,错误概率就越低 010 ■为了降低错误概率,就必须增加编码序列长 100 110 000 度,导致bt速率降低 ■是否存在更高效的编码方式? 後照大手 後k手哪

可靠传输 牺牲传输速率 max ◼ 为了降低错误概率, BeforeShannon ◼ Error-free communication, or Reliable communication 传输错误概率任意的小 ◼信号功率 P = EbRb ◼ 实际系统发送功率有上限 P  P 2 b b e E N   E  P = 1 erfc    exp− N   0   0  Rb →0 Pe→0 5 信道容量是否存在？ ◼ 举例: 考虑一个离散无记忆信道 0 1 0 1 在保证可靠传输 (错误概率无限小)的前提下, 传输速率是否不趋于0 (一个不为0的正数)？ 在保证可靠传输 (错误概率无限小)的前提下, 传输速率是否不趋于0 (一个不为0的正数)？ P e= P (decision = 0 1 transmitted) = P(decision =1 0 transmitted) 6 重复编码——Repetition Coding 100 101 001 011 111 000 010 110 ‘0’ 000 ‘1’ 111 重复编码的特点与存在的问题 ◼ 在所有编码序列中, 只有两个与信息bit对应 ◼ 被占用的 “顶点” 越少, 它们之间的距离 就越能被拉开, 错误概率就越低 ◼ 为了降低错误概率, 就必须增加编码序列长 度, 导致 bit 速率降低 ◼ 是否存在更高效的编码方式? ‘0’ 000 ‘1’ 111 7 8

更效的编码方式 保证可靠传输同时速率降低倍数恒定 ■在重复编码中,添加的冗余bits仅仅为了保 护1个原始信息bit aT信息bits T ■在更效的编码方式中,添加的冗余bts为了 保护多个原始信息bts 编码后btsa|ee 口定义a为原始信息bits速率 aT个信息bts可以代表2a条不同的消息 口在时间T跨度范围内,有aT个信息bits ■编码后,这些消息对应于2个“顶点”中的2个 口编码添加了(B-a)7个bits ■在总共2个“顶点”中,只有2a个被占用 口编码器输出bits为Br ■所以当T→>∞时,2/2→0,错误概率P→>0 ■但因编码而造成的信息速率的减低倍数a/β不变 後照k季的 模k季 a/B的极限—信道容量 Channel Capacity a Discrete Memoryless Channel ■根据大数定理,当T→∝ a Discrete memoryless channel (DMC) 时,信道中传输的 xG-、ND』 DMC Ly=(D bit错误概率是P 时,一个BT长的 b序列的平均错误fBP P*∏。p([[m bts为所P个 Message Coding e (12,1 =([u],x, IND encoder 所以对于固定B, 原始信息bit速率 tchannel use 值不能任意增加 y=G[],[ND aB<O a Decoding decoder 後照大季 12 後照k季D

更效的编码方式 ◼ 在重复编码中, 添加的冗余 bits 仅仅为了保 护 1个原始信息 bit ◼ 在更效的编码方式中,添加的冗余 bits 为了 保护多个原始信息bits 定义  为原始信息 bits 速率 在时间 T 跨度范围内, 有 T个信息 bits 编码添加了( −)T个 bits 编码器输出 bits 为T 9 保证可靠传输同时速率降低倍数恒定 ◼ 但因编码而造成的信息速率的减低倍数 不变 T 信息bits T 编码后bits T x1 x2  xT c1 c2 c3  cT−1 cT ◼ T 个信息 bits 可以代表 2 T 条不同的消息 ◼ 编码后, 这些消息对应于2 T 个 “顶点” 中的 2 T个 ◼ 在总共 2 T 个 “顶点” 中, 只有 2 T 个被占用 2 T ◼ 所以当 T → 时, 2 T → 0 , 错误概率 Pe→ 0   10   的极限——信道容量 ◼ 根据大数定理, 当T → 时, 信道中传输的 bit 错误概率是 Pe 时, 一个 T 长的 bit 序列的平均错误 TPe bits 为TPe个. ◼ 所以对于固定  , 原始信息 bit 速率 值不能任意增加   C Channel Capacity a Discrete Memoryless Channel ◼ Discrete memoryless channel (DMC) ◼ Coding ◼ Decoding DMC p (y x) xi = (xi 1,, xiN) y = (y 1,, y N) ( ) p (y m xm) N m =1 p y x = encoder Message i1,2,,  xi = (xi 1,, xi N) decoder y = (y 1,, y N) iˆ N R = 2 bit/channel use log 11 12

Some Definition Noisy Channel Coding Theorem a Codeword x=(x[小]…x[D∈(12…1} a Channel capacity of a discrete memoryless Codebook a Consider a discrete memoryless channel with x2y…x input symbol X and output symbol Y The a Error probability (X;y) ■ Reliable communication 後照k季的 後k手哪 Channel Capacity of a Continuous-Valued Channel AWGN信道 a Differential entropy h(x)=-丁f(x)ogf(x)d r,m () Conditional entropy h(xpr)-,(x, y)log /xr(aly )dxdy x() Mutual information V2sin a I(X; Y): =h(x)-h(rr) HiV) C=maxe(x Y) y( ) 後照大手 後照k季D

Some Definition ◼ Codeword ◼ Codebook ◼ Error probability ◼ Reliable communication xi = (xi 1,, xiN) i1,2,,  = x1 ,x2 ,,xC  pe = i ˆ  i 13 Noisy Channel Coding Theorem ◼ Channel capacity of a discrete memoryless channel ◼ Consider a discrete memoryless channel with input symbol X and output symbol Y. The capacity of the channel is p(x) C = max I (X ;Y ) 14 Channel Capacity of a Continuous-Valued Channel ◼ Differential entropy h (X )= − f (x)log f (x)dx ◼ Conditional entropy X ,Y X Y h (X Y )= − f (x, y)log f (x y )dxdy  ◼ Mutual information I (X ;Y ):= h (X )− h (X Y ) ◼ Capacity I (X ;Y ) f X :EX 2 P C = max AWGN信道 I x m xQ m 2 cosc t x (t) x (t) Wsinc(Wt− n) I y (t) 2 cosc t yI (t) yQ (t) yI m yQ m HL (f ) 1 W HL (f ) y (t) n (t) x (t) Wsinc(Wt− n) Q − 2 sinc t − 2 sin c t 1 W 15 16

AWGN的离散时间基带等效模型 Degree of freedom X( x y xb m]=xr[m]+jxo[m] 外回=网+圆{x咧=y四+ ns[m]=n, [m]+ ing ['m 噪声部分的统计特性n[m]~(0,N) a Given the bandwidth b and the time duration t the degree of freedom is 2BT. R,n]=Rn]=8[n] Rm[n]= 後照k季的 AWGN Channel ML decoding a Discrete-time model a At the receiver, maximum likelihood decoding is y[m]=x[m]+w[m] y=(l[]…y[N decoder where m=1…N,wm-(a=N2) a ML decoding algor a Encoding x'=arg maxpyf1v (24(2AD a In AWGN channel, this is equivalent to n Data transmission rate is rake bitslchannel use x=arg max 後照大季 x0後人手

AWGN的离散时间基带等效模型 xb m yb m nb m yb m= xb m+ nb m nI nQ nInQ R n = R n = R N0  n, n =0       b I Q b I Q  xb m = xI m + jxQ m   y m = y m + jy m n m = n m + jn m  噪声部分的统计特性 nb m ~ (0,N0) 2 17 X (t) t → t → X t → ◼ Given the bandwidth B and the time duration T, the degree of freedom is 2BT. Degree offreedom 18 AWGNChannel ◼ Discrete-time model ym = xm+wm, where m = 1,,N, wm~ (0,  2 = N 2) 0 ym wm xm encoder ◼ Encoding Message i1,2,,  xi = (xi 1,, xi N) log  Data transmission rate is R = 2 bits/channel use N ML decoding ◼ At the receiver, maximum likelihood decoding is applied. ◼ ML decoding algorithm decoder y = (y1,, yN) iˆ ( ) * k for all xk x = arg max p y x ◼ In AWGN channel, this is equivalent to 2 k x * = arg max y − x for all xk 19 20

Capacity problem formulation BPSK在AWGN中的性能 a Given a power constraint of the input signal ■AWGN信道模型(仅考虑实部信号) Imk [=x[+m[m]-(0a2) 当采用BPSK调制时,x[咧=±,误码率为 a What is the maximum achievable rate under the reliable communication requirement Pe =gNp/o R=log I bitslchannel use ■当采用重复N次传输时, a Whatever a error probability Parget is required ■误码率减小 there always exists a code such that P=Q(NP/o) p=(i+i <paget 口但bt传输速率也相应减小 填充球( Packing Sphere Sphere packing ■从几何上理解,重复编码其实是将码字排列 a For a given transmitted codeword x,, the 在1个方向(维度)上 distance between the received signal y and x, is ■如果为增加速率,采用MASK调制,结合重 ly-xl+ m 复编码,各星座点等间距排列在1个方向 a With the law of large numbers [] =O" P+5 Do ■ y is within the sphere 此时bt速率为 centered at x with radius√Na2 bit/channel use with probability one No2 when m→∞ 後照大手 後照k季D

◼ What is the maximum achievable rate under the reliable communication requirement   2 Capacity problem formulation ◼ Given a power constraint of the input signal N 1 N m =1 x m  P R = log2 bits/channel use N ◼ Whatever a error probability ptarget is required, there always exists a code such that pe = i ˆ  iptarget 21 BPSK在AWGN中的性能 ◼ AWGN信道模型 (仅考虑实部信号) ◼ 当采用重复 N 次传输时, 但bit传输速率也相应减小 y m= xm+ wm, wm ~ (0, 2 ) ◼ 当采用BPSK调制时, xm =  P , 误码率为 p e = Q ( P  2 ) x A = ◼ 误码率减小 P 1,,1, xB = P−1,,−1 p e = Q ( NP  2 ) 22 填充球 (Packing Spheres) ◼ 从几何上理解,重复编码其实是将码字排列 在1个方向 (维度) 上. ◼ 如果为增加速率,采用M-ASK调制, 结合重 复编码, 各星座点等间距排列在1个方向 ◼ 此时bit速率为 e NP  p  Q   (M − 1)    log M bit/channel use N ◼ With the law of large numbers ◼ is within the sphere i x N 2 0 lim 1 N N → N m =1 w 2 m= 2  w 2 m N  m =1 y − x = w = Sphere packing ◼ For a given transmitted codeword xi , the distance between the received signal y and xi is centered at xi , with radius N 2 with probability one when N →  y 23 24

AwGN信道容量(填充球解释) 带宽有限的AWGN信道容量 采用大数定理mN→ y[m=x[m]+[m]v[m]-(0,N) 接收信号矢量的平均能量不超过N(P+a) ■给定带宽W,传输的符号(复数)速率为W ■规定填充球之间不能 每个符号实部上的噪声方差为Np,每个符 相互交叠最多能填充A 号实部的平均功率为P/(2H) VMP+a) C=looi p bits/real dim 的球的数目为 NM C=los P l bits/complexdim C= (PW卡 Nn 後照k季的 香农公式 香农公式一容量与功率 带限加性白色高斯噪声信道容量 wlog2 I No ■低SNR区域,C与P近似成线性关系,P提高3dB, CW增加一倍 og2(1+x)sxloge when x=0 High SNR ■高SNR区域,C与P近似成对数关系,P提高3dB, CW增加1bits/Hz log2(1+x)=log2x when x >1 LOW SNR 後照大季 後照k季D

AWGN信道容量 (填充球解释) ◼ 采用大数定理 ◼ 接收信号矢量的平均能量不超过 ◼ 规定填充球之间不能 相互交叠,最多能填充 的球的数目为 1 2 2 lim N N → N m−1 w m →  N (P + 2 ) N V (1)( N 2 ) N V (1)( N (P + 2 ))  = 1 1 N 2   P  C = log = log1 + 2    25 带宽有限的AWGN信道容量 ( ) AWGN C bits/s N W  P  C = 1 log1 +  bits/realdim 2  N0W   P  C = log 1 + N W  bits/complexdim  0   P  P,W = W log 1+   0  0 y m = xm+ wm, wm ~ (0, N ) ◼ 给定带宽 W, 传输的符号 (复数) 速率为 W, 每个符号实部上的噪声方差为N0 2 , 每个符 号实部的平均功率为P (2W) 26 香农公式 ◼ 带限加性白色高斯噪声信道容量 ◼ 低 SNR 区域, C 与 P 近似成线性关系, P 提高3dB, C/W 增加一倍 ◼ 高 SNR 区域, C 与 P 近似成对数关系, P 提高3dB, C/W 增加1 bit/s/Hz AWGN 2 P N W   C =W log 1+   0  log2 (1 + x)  x log2 e when x  0 log2 (1 + x)  log2 x when x 1 香农公式－容量与功率 Low SNR High SNR 27 28

香农公式一容量与带宽 数字系统的指标 ■ Fidelity通信质量 口误符号率SER,误比特率BER,误包率PER 信噪比SNR SNR= peR PN Now Limit for w→ ■ Complexity系统复杂度 04F Bandwidth limited region Bandwidth efficiency频谱利用率 Bandwidth W(MHa 若固定功率P,增加带宽,wlog C会趋于一个极限值 香农公式与实际系统 人物介绍— -claude elwood shannon g W bits/s/Hz ■1916年4月30日出生于美国密西根 州的 Petoskey, Gaylord小镇 16PSK ■1936年获得了密西根州大学的数学 (E,.) 和电子工程学学士学位 59dB2 TCMBpSk QPSK ■1940年获得麻省理工学院博士学位 ■1941年至1972年间在贝尔实验室 工作 ■从1958年在麻省理工学院任教,至 Turbo 1978年退休 ■2001年2月24日在马萨诸塞州的 Medford因 Alzheimers Disease与 世长辞,享年84岁 1014 dB 32 後照k季D

香农公式－容量与带宽 若固定功率 P, 增加带宽, C 会趋于一个极限值 2 2 0 0 P P P N W N W N   W log 1+  W log e = log e 2    0  29 数字系统的指标 ◼ Fidelity 通信质量 误符号率 SER, 误比特率 BER, 误包率 PER 信噪比SNR P E R PN N0W ◼ Complexity 系统复杂度 ◼ Bandwidth efficiency 频谱利用率 SNR = S = b b bits/s/Hz B W  = Rb 30 −1.59 0 2 6 10 14 Eb N0 dB 2 1 0.5 0.3 0.1 BPSK QPSK 8PSK 16PSK 32QAM 16QAM Turbo Turbo Conv. Code TCM-8PSK (64) C W bits/s/Hz 5 香农公式与实际系统 ( Eb N0 ) min =loge 2 = −1.59 dB min ( Eb N0 ) =loge 2 = −1.59 dB 人物介绍——Claude ElwoodShannon ◼ 1916年4月30日出生于美国密西根 州的Petoskey, Gaylord小镇. ◼ 1936年获得了密西根州大学的数学 和电子工程学学士学位. ◼ 1940年获得麻省理工学院博士学位. ◼ 1941年至1972年间在贝尔实验室 工作. ◼ 从1958年在麻省理工学院任教, 至 1978年退休. ◼ 2001年2月24日在马萨诸塞州的 Medford因Alzheimer's Disease与 世长辞, 享年84岁. 31 32

香农的主要贡献 ■MT硕士论文“ A Symbolic Analysis of 可靠传输的定义 Relay and Switching Circuits”研究了布 尔代数用于交换理论中的问题,被认为是 ■信道容量与信道编码 历史上最重要的硕士论文之 ■博士论文“ An Algebra for Theoretical ■AWGN信道容量 Genetics"MT数学系 战时对保密通信兴趣浓厚 Communication Theory of Secrecy Systems ■1948年,发表构思了八年的“A Mathematical Theory of Communication 的是不定冠词A收入论文集时改为定冠词 Th 後照k季的 後k手哪 参考文献 a B. P. Lathi and Z. Ding Modern Digital and Analog Communication Systems, 4th Edition, 2010.-Chapter 14 aD. Tse and P viswanath Fundamentals of wireless Communication 2005 Chapter 5 後照大手

香农的主要贡献 ◼ MIT 硕士论文 “A Symbolic Analysis of Relay and Switching Circuits” 研究了布 尔代数用于交换理论中的问题, 被认为是 历史上最重要的硕士论文之一. ◼ 博士论文 “An Algebra for Theoretical Genetics” MIT数学系. ◼ 战时对保密通信兴趣浓厚, “Communication Theory of Secrecy Systems”. ◼ 1948年, 发表构思了八年的“A Mathematical Theory of Communication” 一文, 信息论诞生. 该论文刚发表时，使用 的是不定冠词A, 收入论文集时改为定冠词 The. 33 小结 ◼ 可靠传输的定义 ◼ 信道容量与信道编码 ◼ AWGN 信道容量 34 参考文献 ◼ B. P. Lathi and Z. Ding, Modern Digital and Analog Communication Systems, 4th Edition, 2010. – Chapter 14 ◼ D. Tse and P. Viswanath, Fundamentals of Wireless Communication, 2005. – Chapter 5 35