多符号离散信道.ppt
第3章信道容量,3.1信道的数学模型和分类3.2单符号离散信道的信道容量3.3多符号离散信道3.3.1 多符号离散信道的数学模型3.3.2 离散无记忆信道和独立并联信道的信道容量3.4多用户信道3.5连续信道3.6信道编码定理,离散无记忆N次扩展信道,一般离散无记忆信道的数学模型基本上与输入和输出为单符号的简单离散无记忆信道的模型相同。不同的是其输入和输出不是单个随机变量X和Y，而是随机序列其概率空间为,简单的离散无记忆信道,简单的离散无记忆信道的输入和输出都是单个随机变量，其数学模型如下图：信道的输入随机变量取值于符号集X信道的输出随机变量取值于符号集Y信道的传递概率为,简单的离散无记忆信道,信道矩阵为：且满足这意味着矩阵中每一行之和为1。,离散无记忆信道的N次扩展信道,此离散无记忆信道的N次扩展信道的数学模型如下图：,N次扩展信道的信道矩阵,N次扩展信道的信道矩阵,例 二元对称信道的二次扩展信道,分析二元无记忆对称信道的二次扩展信道。,例 二次扩展信道的传递概率,例 二次扩展信道的信道矩阵,从而求得二元对称信道的二次扩展信道的信道矩阵为：,例 二元对称信道的二次扩展信道,二元对称信道的二次扩展信道如下图所示：,N次扩展信道的平均互信息,定理一,若信道的输入和输出分别是N长序列X和Y，且信道是无记忆的，亦即信道传递概率为,定理 二,若信道的输入和输出分别是N长序列X和Y，且信源是无记忆的，亦即,N个独立信道并联,根据定理一和定理二可知，当信源和信道都是无记忆的。此时，这相当于N个独立信道并联的情况。,N个独立信道并联,数学模型,N次扩展信道,N次扩展信道,这样，对于离散无记忆信道的 N 次扩展信道，当信源也是无记忆时，则有 I(X;Y)=N I(X;Y)此式表明，当信源是无记忆时，对于无记忆的N次扩展信道，其平均互信息I(X;Y)等于原来信道的平均互信息I(X;Y)的 N 倍。,离散无记忆N次扩展信道,N次扩展信道的信道容量,CN=NC 表明，对于离散无记忆 N 次扩展信道，其信道容量等于单变量信道的信道容量的N 倍。只有当输入信源是无记忆的，同时序列中每一分量Xi,i=1,2,.,N 的分布各自达到最佳分布时，N 次扩展信道的信道容量才能达到 NC。一般情况下，消息序列在离散无记忆 N 次扩展信道中传输时，其平均互信息量为：I(X;Y)NC对于独立并联信道，有 当个输入随机变量之间统计独立，且每个输入随机变量的概率分布为达到各自信道容量的最佳分布时，等式成立。,小结,首先介绍了离散无记忆信道中各种熵、信道疑义度及平均互信息量之间的相互关系。并通过例题说明和验证了这些关系；讨论了离散无记忆扩展信道。分析了二元对称信道的二次扩展信道的统计特性；对于一般离散信道，关于传输N长随机序列所获得的平均互信息，给出了两个重要的定理。,信道的组合,实际中我们常常会遇到两个或多个信道组合在一起使用的情况。例如：积信道：待发送的消息比较多时，可能要用两个或多个信道并行地传送，香农称这种信道为积信道；级联信道：有时消息会依次地通过几个信道串行地传送，称此为级联信道；和信道：有时将两个以上信道联合起来，这类信道香农称为和信道。在研究较复杂的信道时，往往也可以将它们分解成几个简单的、已经解决的信道的组合。,级联信道（串联信道）的模型,信道I和信道II都是离散无记忆信道,级联信道的传递概率,定理,级联信道中的平均互信息满足以下关系,数据处理定理,数据处理定理,数据处理定理（续）,定理的物理意义,数据处理定理说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。这就是信息不增性原理，它与热熵不减原理正好对应。它深刻地反映了信息的物理意义。,例 二元对称信道的串联,设有二个离散二元对称信道，其串联信道如下图所示。设第一个二元对称信道的输入符号的概率空间，以及两个二元对称信道的信道矩阵为,例（续）平均互信息,n个二元对称信道串联,如果在两个二元对称信道串联之后再增加一个级联环节，可得依次类推，n个二元对称信道经串联后，其平均互信息量如下图所示。,n个二元对称信道串联,例,一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。,例（续）总的信道矩阵,例（续）等效信道,则该级联信道可等效为如下的信道,1/3,1/2,1/6,1/3,1/3,1/3,小结,实际研究信道时，往往将其分解为几个简单的信道的组合；介绍了串联信道（级联信道），并给出了两个重要的定理；重点分析了数据处理定理；分析了n个二元对称信道的串联；给出了信道串联的实例。,信源和信道匹配,信源发出的消息符号一般要通过信道来传输。对于某一信道其信道容量是一定的。只有当输入符号的概率分布P(x)满足一定条件时才能达到信道容量C。或说只有一定的信源才能使某一信道的信息传输率达到最大。一般情况下信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大。这时，信道的信息传输率还有提高的可能。当信源与信道连接时，若信息传输率达到了信道容量，我们则称此信源与信道达到匹配。否则认为信道有剩余。,信道剩余度与相对剩余度,使信息传输率达到信道容量,信源编码就是将信源输出的消息变换成新信源的消息来传输，而使新信源的概率分布接近最佳概率分布，这样，新信源的消息通过信道的消息传输率接近最大值，信道剩余度接近于零，信道得到充分利用。这就是香农无失真信源编码理论，它使信源和信道达到匹配，传输的信息量达到最大，提高了信息传输的有效性。,
