更效的编码方式 保证可靠传输同时速率降低倍数恒定 ■在重复编码中,添加的冗余bits仅仅为了保 护1个原始信息bit aT信息bits T ■在更效的编码方式中,添加的冗余bts为了 保护多个原始信息bts 编码后btsa|ee 口定义a为原始信息bits速率 aT个信息bts可以代表2a条不同的消息 口在时间T跨度范围内,有aT个信息bits ■编码后,这些消息对应于2个“顶点”中的2个 口编码添加了(B-a)7个bits ■在总共2个“顶点”中,只有2a个被占用 口编码器输出bits为Br ■所以当T→>∞时,2/2→0,错误概率P→>0 ■但因编码而造成的信息速率的减低倍数a/β不变 後照k季的 模k季 a/B的极限—信道容量 Channel Capacity a Discrete Memoryless Channel ■根据大数定理,当T→∝ a Discrete memoryless channel (DMC) 时,信道中传输的 xG-、ND』 DMC Ly=(D bit错误概率是P 时,一个BT长的 b序列的平均错误fBP P*∏。p([[m bts为所P个 Message Coding e (12,1 =([u],x, IND encoder 所以对于固定B, 原始信息bit速率 tchannel use 值不能任意增加 y=G[],[ND aB<O a Decoding decoder 後照大季 12 後照k季D更效的编码方式 ◼ 在重复编码中, 添加的冗余 bits 仅仅为了保 护 1个原始信息 bit ◼ 在更效的编码方式中,添加的冗余 bits 为了 保护多个原始信息bits 定义  为原始信息 bits 速率 在时间 T 跨度范围内, 有 T个信息 bits 编码添加了( −)T个 bits 编码器输出 bits 为T 9 保证可靠传输同时速率降低倍数恒定 ◼ 但因编码而造成的信息速率的减低倍数 不变 T 信息bits T 编码后bits T x1 x2  xT c1 c2 c3  cT−1 cT ◼ T 个信息 bits 可以代表 2 T 条不同的消息 ◼ 编码后, 这些消息对应于2 T 个 “顶点” 中的 2 T个 ◼ 在总共 2 T 个 “顶点” 中, 只有 2 T 个被占用 2 T ◼ 所以当 T → 时, 2 T → 0 , 错误概率 Pe→ 0   10   的极限——信道容量 ◼ 根据大数定理, 当T → 时, 信道中传输的 bit 错误概率是 Pe 时, 一个 T 长的 bit 序列的平均错误 TPe bits 为TPe个. ◼ 所以对于固定  , 原始信息 bit 速率 值不能任意增加   C Channel Capacity a Discrete Memoryless Channel ◼ Discrete memoryless channel (DMC) ◼ Coding ◼ Decoding DMC p (y x) xi = (xi 1,, xiN) y = (y 1,, y N) ( ) p (y m xm) N m =1 p y x = encoder Message i1,2,,  xi = (xi 1,, xi N) decoder y = (y 1,, y N) iˆ N R = 2 bit/channel use log 11 12