通信的目的是要把对方不知道的消息及时可靠地(有时 一是秘密地)传送给对方。 游100 信道 11100 消息 噪声 出现错 误
信息传送与编码 通信的目的是要把对方不知道的消息及时可靠地（有时 是秘密地）传送给对方。 11000 信道 消息 11100 错误 消息
作一个规定:在传送端消息元后加一个检 错元,传送端的消息元相加模2都是0 这就是奇偶校验码 信道 11000 x11100 校验元
作一个规定：在传送端消息元后加一个检 错元，传送端的消息元相加模2都是0 这就是奇偶校验码 11000 信道 0 111000 校验元
重复码 传的萌惠:0 00011 校验元 若传000收到误传为10010,001中的任一种, 则认为是传的000,实现了纠错
重复码 传的消息: 0 , 1 0 00 1 11 校验元 若传000, 收到误传为100,010,001中的任一种, 则认为是传的000，实现了纠错
“0”个教多,就认为发送的是“000 信息m发送码字接收分细译码码字C译码消息亓译码状态 000 000 000 正确译码 0000 000 001 000 正确译码 000 010 000 正确译码 000 011 111 00010 错误译码 111 100 000 错误译码 11 01 111 正确译码 111 110 111 正确译码 111 111/ 111 1正确译码 “1”个多,就认为发送的是“111
v ˆ 信息 发送码字 接收分组 译码码字 c 译码消息 m ˆ 译码状态 0 0 0 0 1 1 1 1 000 000 000 000 111 111 111 111 000 001 010 011 100 101 110 111 000 000 000 111 000 111 111 111 0 0 0 1 0 1 1 1 正确译码 正确译码 正确译码 错误译码 错误译码 正确译码 正确译码 正确译码 m c “0”个数多，就认为发送的是“000” “1”个数多，就认为发送的是“111
信 源 安全编码 信源编码 信道编码 信道 信道译码 信源译码 安全译码 宿 发信机 收信机 般性编码通信模型 ECC编马编马信道。ECC峄码 简化的纠错编码通信模型
m ( ) mˆ s t r(t) 发信机 收信机 安 全 编 码 信 源 编 码 信 源 信 道 编 码 信 道 信 道 译 码 信 源 译 码 安 全 译 码 信 宿 ECC编码 编码信道 ECC译码 一般性编码通信模型 简化的纠错编码通信模型
离散信道编码问题 设信道是一个D元字母输入/D元字母输出的DMC信道,字母表 为{0,1,…,D-1}。其信道转移概率矩阵为D×D矩阵如下 P D-1 D-1 D D-1 D-1D-1 这是一个对称信道。信道传输错误的概率定义为 P(输出不等于k输入为k)=p,k∈{0,1,,D-1}。此处p(1-p)
离散信道编码问题 设信道是一个D元字母输入/ D元字母输出的DMC信道，字母表 为{0, 1, …, D-1}。其信道转移概率矩阵为D×D矩阵如下。 这是一个对称信道。信道传输错误的概率定义为 P(输出不等于k|输入为k)= p，k∈{0, 1, …, D-1}。此处p<(1-p)。 − − − − − − − − − p D p D p D p p D p D p D p p 1 1 1 1 1 1 1 1 1
离散信道编码问题 设信源消息序列经过D元信源编码(等长编码或不等长编码) 后变成了如下的随机变量序列 XXIXOXIX 其中每个随机变量X的事件全体都是D元字母表 0,1,…,D-1} 将此随机变量序列切割成L维随机向量准备输入信道: (x1X2XL),( L+141L+2 如果直接将(X1X2,X)输入信道,信道的输出为X1X2X),则 ①当信道传输错误时无法检测到(即接收方无法确知是否正确接收)。 ②正确接收的概率为P(X1X2…X)=(X1X2…Y) =P(X1=X1)P(X2=X2)P(X’=X=(1-p)
离散信道编码问题 设信源消息序列经过D元信源编码（等长编码或不等长编码） 后变成了如下的随机变量序列 …X-2X-1X0X1X2…， 其中每个随机变量Xl的事件全体都是D元字母表 {0, 1, …, D-1}。 将此随机变量序列切割成L维随机向量准备输入信道： (X1X2…XL ), (XL+1XL+2…X2L ), …。 如果直接将(X1X2…XL )输入信道，信道的输出为(X1 ’X2 ’…XL ’)，则 ①当信道传输错误时无法检测到（即接收方无法确知是否正确接收）。 ②正确接收的概率为P((X1 ’X2 ’…XL ’)=(X1X2…XL )) =P(X1 ’=X1 )P(X2 ’=X2 )…P(XL ’=XL )=(1-p) L
离散信道编码问题 (x1X2)进行变换: C(XX2.XD=(U1U2-.UN), 其中(U1U2…U从为N维随机向量,N>L,且变换是单射(即 (X1X2Y)的不同事件映射到(U1U2UM)的不同事件) 将(U1U2…U)输入信道 信道的输出为(Y1Y2Y) 再根据(Y1Y2…,)的值猜测出输入信道的值(U1'U2UN), 并根据变换式 (U1'U2.UN=C(XIX2.XI 将(U1U2U)反变换为(X12X2”) 如果(X1X2Y)=(X12…Y),则正确接收
离散信道编码问题 将(X1X2…XL )进行变换： C(X1X2…XL )=(U1U2…UN)， 其中 (U1U2…UN)为N维随机向量，N>L，且变换是单射（即 (X1X2…XL )的不同事件映射到(U1U2…UN)的不同事件）。 将(U1U2…UN)输入信道； 信道的输出为(Y1Y2…YN)； 再根据(Y1Y2…YN)的值猜测出输入信道的值(U1 ’U2 ’…UN’)， 并根据变换式 (U1 ’U2 ’…UN ’)=C(X1 ’X2 ’…XL ’) 将(U1 ’U2 ’…UN’)反变换为(X1 ’X2 ’…XL ’)。 如果(X1 ’X2 ’…XL ’)=(X1X2…XL )，则正确接收
离散信道编码问题 (1)(X1X2)的事件共有D个,因此(U12N)的事件共 有D个,占N维向量值的份额为D/Dy=1/D。因此当信道 传输错误时,有可能使输出值(HY2.Y)不在这lD份额 之内。这就是说,信道传输错误有可能被检测到 (2)如果精心地设计变换C(X1X2Y)=(U1U2…U)和猜测规 则(Y1H2…Y)→(U1’U23.U),则正确接收的概率远远大于 (1p)2 (3)变换 (x1X2X)→(U/1U2.U)=C(X1X2…XL) 称为信道编码,又称为(N,L)码。一个事件的变换值称为该事 件的码字。L称为信息长,N称为码长
离散信道编码问题 （1）(X1X2…XL )的事件共有DL个，因此(U1U2…UN)的事件共 有DL个，占N维向量值的份额为DL /DN=1/DN-L。因此当信道 传输错误时，有可能使输出值(Y1Y2…YN )不在这1/DN-L份额 之内。这就是说，信道传输错误有可能被检测到。 （2）如果精心地设计变换C(X1X2…XL )=(U1U2…UN)和猜测规 则(Y1Y2…YN )→(U1 ’U2 ’…UN ’)，则正确接收的概率远远大于 (1-p) L 。 （3）变换 (X1X2…XL )→(U1U2…UN)=C(X1X2…XL ) 称为信道编码，又称为(N, L)码。一个事件的变换值称为该事 件的码字。L称为信息长，N称为码长
离散信道编码问题 (4)过程 (12…,Y)+(U1U2..Uk3)+(X1xX2…1XL) 称为纠错译码。当(H1X2Y)=(x1X2X)时称为正确译码 (实际上就是正确接收) (5)N比L大得越多,1/DM份额越小,信道传输错误不在这 l/M份额之内的可能性越大,即信道传输错误越容易被 检测到。但N比L大得越多,信道传输的浪费越大。 (6)称R=L/N为编码速率,也称为信息率。(似乎与信源编 码相互倒置?)
离散信道编码问题 （4）过程 (Y1Y2…YN)→(U1 ’U2 ’…UN’)→(X1 ’X2 ’…XL ’) 称为纠错译码。当(X1 ’X2 ’…XL ’)=(X1X2…XL )时称为正确译码 （实际上就是正确接收）。 （5）N比L大得越多，1/DN-L份额越小，信道传输错误不在这 1/DN-L份额之内的可能性越大，即信道传输错误越容易被 检测到。但N比L大得越多，信道传输的浪费越大。 （6）称R=L/N为编码速率，也称为信息率。（似乎与信源编 码相互倒置？）