信道容量分析ppt课件.ppt

信息论与编码,西安工业大学电子信息工程学院,赵 黎,第三章 信道容量,信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。信道定义：传输信息的媒介或通道。信道也可以看作一种变换，把输入变换成输出。信道的随机性：由于干扰和噪声的存在，变换是随机（概率）的。信道的描述：用条件转移概率表示。,本章内容,信道的数学模型及分类单符号离散信道的信道容量,3.1 信道的数学模型及分类,一般信道的数学模型信道的分类实际的信道,(1) 一般信道的数学模型信息论对信道的研究：对具体物理信道抽象，建立与各种通信系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导通信系统的设计。信道模型：不研究信号在信道中传输的物理过程，把信道模型看作黑匣子。,数学模型的数学符号表示： X P(Y/X) Y,(2) 信道的分类 根据输入输出随机信号的特点分类 根据输入输出随机变量个数的多少分类 根据输入输出个数分类 根据信道上有无干扰分类 根据信道有无记忆特性分类, 根据输入输出随机信号的特点分类离散信道：输入和输出的随机序列的取值都是离散的信道。连续信道：输入和输出的随机序列的取值都是连续的信道。半离散半连续信道：输入变量取离散值而输出变量取连续值，或反之., 根据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量序列（随机矢量）来表示。 根据输入输出个数分类单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。(多元接入信道和广播信道), 根据信道上有无干扰分类有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。 根据信道有无记忆特性分类无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。,(3) 实际的信道实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。一个实际信道可同时具有多种属性。 最简单的信道是单符号离散信道。,3.2 单符号离散信道的信道容量,信道容量定义几种特殊离散信道的信道容量离散信道容量的一般计算方法,(1) 信道容量的定义 单符号离散信道的数学模型 信道的信息传输率 信道容量, 单符号离散信道的数学模型a 信道模型b 信道统计特性,a 信道模型设输入：Xx1,x2,xi,xn 输出：Yy1,y2,yj,ym其信道模型：,a 信道模型用线图描述：,b 信道统计特性信道统计特性：由信道转移概率描述。信道转移概率（信道传递概率）：条件概率 p(yj /xi)。信道特性表示：用信道转移概率矩阵，简称信道矩阵。反信道矩阵：由条件概率 p(xi /yj) 表示。, 信道的信息传输率, 信道的信息传输率研究信道的目的：讨论信道中平均每个符号传送的信息量（信道的信息传输率）。信道的信息传输率：就是平均互信息： R=I(X;Y) H(X) H(X/Y)（比特/符号）,平均互信息 I(X;Y) 就是接收到符号 Y 后平均每个符号获得的关于 X 的信息量, 信道的信息传输率如果信源熵为 H(X)，希望在信道输出端接收的信息量就是 H(X)，由于干扰的存在，一般只能接收到 I(X;Y)。输出端 Y 往往只能获得关于输入 X 的部分信息，这是由于平均互信息性质决定的：I(X;Y)H(X)。I(X;Y) 是信源无条件概率 p(xi) 和信道转移概率 p(yj /xi) 的二元函数：, 信道容量当信道特性 p(yj /xi) 固定后，I(X;Y)随信源概率分布 p(xi) 的变化而变化。调整 p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y) 是 p(xi) 的上凸函数，因此总能找到一种概率分布 p(xi)（即某一种信源），使信道所能传送的信息率为最大。, 信道容量信道容量 C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量 Ct：若信道平均传输一个符号需要 t 秒钟，则单位时间的信道容量为： Ct 实际是信道的最大信息传输速率。,结 论C 和 Ct 都是求平均互信息 I(X;Y) 的条件极大值问题，当输入信源概率分布 p(xi) 调整好以后， C 和Ct 已与 p(xi) 无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。,(2) 几种特殊离散信道的信道容量, 离散无噪声信道的信道容量 强对称离散信道的信道容量 对称离散信道的信道容量 准对称离散信道的信道容量, 离散无噪信道的信道容量 a 具有一一对应关系的无噪信道 b 具有扩展性能的无噪信道 c 具有归并性能的无噪信道,a 具有一一对应关系的无噪信道（无噪无损信道）信道线图,a 具有一一对应关系的无噪信道（无噪无损信道）信道矩阵,a 具有一一对应关系的无噪信道（无噪无损信道）因为信道矩阵中所有元素均是 “1” 或 “0”，X 和 Y 有确定的对应关系：已知 X 后 Y 没有不确定性，收到 Y 后，X 也不存在不确定性，I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量（信源 X 的最大熵）,噪声熵：H(Y/X)=0,损失熵/信道疑义度：H(X/Y)=0,b 具有扩展性能的无噪信道（有噪无损信道）nm，输入 X 的符号集个数 小于输出 Y 的符号集个数。,噪声熵： H(Y/X)0,损失熵/信道疑义度：H(X/Y)=0,b 具有扩展性能的无噪信道（有噪无损信道）其信道矩阵为：,虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知 Y 后，X 不再有任何不确定度， 信道容量为：此时输入端符号熵小于输出端符号熵，H(X) H(Y)。,噪声熵：H(Y/X)0,损失熵/信道疑义度：H(X/Y)=0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(X),b 具有扩展性能的无噪信道（有噪无损信道）熵之间的关系：,c 具有归并性能的无噪信道（无噪有损信道）nm，输入 X 的符号集个数大于输出 Y 的符号集个数：,噪声熵：H(Y/X)=0,损失熵/信道疑义度：H(X/Y)0,信道矩阵中的元素非“0”即 “1” ，每行仅有一个非零元素，但每列的非零元素个数大于 1：已知某一个 xi 后，对应的 yj 完全确定，收到某一个 yj 后，对应的 xi 不完全确定， 信道疑义度 H(X/Y)0。 信道容量为：这种信道的输入端符号熵大于输出端符号熵，H(X) H(Y)。,噪声熵：H(Y/X)=0,损失熵/信道疑义度：H(X/Y)0I(X;Y)= H(X)H(X/Y)= H(Y)H(Y/X)= H(Y),注意：在求信道容量时，调整的始终是输入端的概率分布 p(xi) ，尽管信道容量式子中平均互信息 I(X;Y) 等于输出端符号熵 H(Y)，但是在求极大值时调整的仍然是输入端的概率分布 p(xi) ，而不能用输出端的概率分布 p(yj) 来代替。,熵之间的关系：,举例：图3.2.4a的信道容量是 log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。由信道矩阵得 p(y1)= p(x1)1+ p(x2)1 p(y2)= p(x3)1+ p(x4)1 p(y3)= p(x5)1只要 p(y1)= p(y2)= p(y3)= (1/3)，H(Y) 达到最大值，即达到信道容量 C。,举例：此时使 p(y1)= p(y2)= p(y3)= (1/3) 的信源概率分布p(xi),i=1,2,3,4,5 存在，但不是惟一的。 这种信道的输入符号熵大于输出符号熵，即 H(X) H(Y)。,结 论无损信道的信道容量 C 只决定于信道的输入符号数 n，与信源无关。无噪信道的信道容量 C 只决定于信道的输出符号数 m，与信源无关。, 强对称离散信道的信道容量 a 什么是强对称离散信道 b 强对称信道矩阵特点 c 强对称离散信道的信道容量 d 输入是什么概率分布时达到信道容量 e 二进制均匀信道,a 什么是强对称离散信道单符号离散信道的 X 和 Y 取值均由 n 个不同符号组成，即Xx1,x2,xi,xn，Yy1,y2,yj,yn每信道矩阵为：,a 什么是强对称离散信道这种信道称为强对称（均匀）信道。这类信道中：总的错误概率是 p，对称平均地分配给(n1)个输出符号.信道矩阵中每行之和等于 1，每列之和也等于 1。一般信道矩阵中，每列之和不一定等于 1。,b 强对称信道矩阵特点强对称信道矩阵，它的每一行和每一 列都是同一集合各个元素的不同排列。由平均互信息定义：,b 强对称信道矩阵特点Hni 的意义：是固定 X=xi 时对 Y 求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以：当 xi 不同时，Hni 只是求和顺序不同，求和结果完全一样。所以Hni 与 X 无关，是一个常数。,b 强对称信道矩阵特点因此：,c 强对称离散信道的信道容量 如何达到信道容量：求一种输入分布使 H(Y) 取最大值。 现已知输出符号集 Y 共有 n 个符号，则 H(Y)log2n。根据最大离散熵定理，只有当 p(yj)= (1/n)，即输出端呈等概率分布时， H(Y) 才达到最大值 log2n 。 要获得这一最大值，可通过下面公式寻找相应的输入概率分布； 现一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。,d 输入是什么概率分布时达到信道容量强对称离散信道的输入和输出之间概率关系可用矩阵表示为：,d 输入是什么概率分布时达到信道容量信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保 证了当输入符号 X 是等概率分布， 即 p(xi)=(1/n) 时，输出符号 Y 一定是等概率分布，这时 H(Y)=log2n。相应的信道容量为：,d 输入是什么概率分布时达到信道容量结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。 这个信道容量只与信道的输出符号数 n 和相应信道矩阵中的任一行矢量有关。,e 二进制均匀信道当 n=2 时的强对称离散信道就是二进制均匀信道。二进制均匀信道的信道容量为：二进制均匀信道容量 曲线如图3.2.6所示。, 对称离散信道的信道容量 a 可排列性 b 对称离散信道定义 c 对称离散信道的信道容量,a 可排列性行可排列：一个矩阵的每一行都是同一集合Qq1,q2,qm 中诸元素的不同排列。列可排列：一个矩阵的每一列都是同一集合Pp1,p2,pn 中诸元素的不同排列。矩阵可排列（具有可排列性）：一个矩阵的行和列都是可排列的。,b 对称离散信道定义 对称离散信道：信道矩阵具有可排列性。 对称离散信道行、列集合的特点： 当 mn 时，P 是 Q 的子集。 当 m=n 时，Q 和 P 中的所有元素重合，Q 和 P 是同一集合。,b 对称离散信道定义举例：,b 对称离散信道定义举例：,c 对称离散信道的信道容量,c 对称离散信道的信道容量对称离散信道的信道容量与强对称的形式相同，只是这里 mn。由于对称信道的特点，其信道矩阵中每一列都是由同一集合中的诸元素的不同排列组成，所以保证了当 X 等概率分布时，Y 也是等概率分布，从而使 Y 的熵达到最大值 log2m，即信道容量。, 准对称离散信道的信道容量,准对称离散信道定义：一个 n 行 m 列单符号离散信道矩阵 P 的行可排列，列不可排列。但是矩阵中的 m 列可分成 S 个不相交的子集，各子集分别有m1,m2,ms个元素(m1+m2+ms=m)，由 n 行 mk(k=1,2,s) 列组成的子矩阵 Pk 具有可排列性。举例 两个子矩阵均是可排列的，故信道 P 是准对称信道。,准对称离散信道容量为：可以证明：实现离散准对称无记忆信道信道容量的输入符号集的分布为等概率分布。,举例已知准对称信道矩阵 ，求其信道容量,(3) 离散信道容量的一般计算方法, 如何计算离散信道容量 用拉格朗日乘子法求信道容量 一般离散信道容量计算步骤, 如何计算离散信道容量由于 I(X;Y) 是输入概率分布 p(xi) 的上凸函数，所以极大值一定存在。因为 I(X;Y) 是 n 个变量 p(x1),p(x2),p(xn) 的多元函数，并满足 ，所以可用拉各朗日乘子法计算这个条件极值。,对一般离散信道求信道容量，就是在固定信道条件下，对所有可能的输入概率分布 p(xi) ，求平均互信息的极大值。, 用拉各朗日乘子法求信道容量引进一个新函数 其中为拉各朗日乘子，解方程组： 可得一般信道容量 C。,将 I(X;Y) 的表达式代入(3.2.21)得：,整理得：,上式左边为平均互信息的极大值，即：, 一般离散信道容量计算步骤一般离散信道容量的计算步骤总结如下：,注意： 在第步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。,注意： 在第步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。,注意： 在第步信道容量 C 被求出后，计算并没有结束，必须解出相应的 p(xi) ，并确认所有的 p(xi)0 时，所求的 C 才存在。 在对 I(X;Y) 求偏导时，仅限制 ，并没有限制 p(xi)0 ，所以求出的 p(xi) 有可能为负值，此时 C 就不存在，必须对 p(xi) 进行调整，再重新求解 C。 现在一般采用计算机，运用迭代算法求解。,例3.2.2：有一信道矩阵 ，求信道容量 C。,因为是条件转移概率 p(y1/x2) ，所以 01，从而有：p(x1)0， p(x2) 0 ，保证了 C 的存在。,离散无记忆多符号信道及其容量,若信道的输入和输出随机序列中的每一个随机变量都取值于同一符号集，并且随机序列中每个随机变量都是统计独立的，这种信道称为离散无记忆多符号信道。,若信道的输入和输出随机序列中的每一个随机变量可以取值于不同的输入符号集或输出符号集，并且随机序列中每个随机变量都是统计独立的，这种信道称为一般离散无记忆信道。,离散无记忆多符号信道及其容量,P(YN/XN),这种信道相当于单符号离散信道在N个不同的时刻连续运用了N次，所以也可以称为离散无记忆单符号N次扩展信道。,离散无记忆多符号信道及其容量,离散无记忆多符号信道的传递概率等于各单位时刻相应的单符号无记忆信道的传递概率的连乘。,离散无记忆多符号信道及其容量,离散无记忆多符号信道的平均互信息,离散无记忆多符号信道及其容量,因为信道的输入序列中的随机变量取自同一信源符号集，且输出序列中的随机变量都取同一信宿符号集，所有的信源符号通过相同的信道传送到输出端，因此满足,即信源无记忆时，无记忆信道的N次扩展信道的平均互信息等于原来信道的平均互信息的N倍。,离散无记忆多符号信道及其容量,离散无记忆多符号信道的信道容量,离散无记忆多符号信道的信道容量等于原离散单符号信道的信道容量的N倍。,串联信道及其信道容量,在一些实际通信系统中，常常出现串联信道。例如微波中继接力通信就是一种串联信道。信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。,信道P(Z/X),信道1的输出Y与其输入X统计相关，信道2的输出Z与其输入Y统计相关，一般来讲，Z与X统计相关。级联的结构决定了Z的取值在给定Y以后与X将不再有关在概率论中称XYZ的这种关系为XYZ组成马尔科夫链。,信道1P(Y/X),信道2P(Z/Y),定理：串联信道中的平均互信息满足,等号成立的充要条件是，对所有的x,y,z有,数据处理定理,数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。即I(X;Z)I(X;Y)I(X;Z)I(Y;Z),结论：两级串联信道输入与输出消息之间的平均互信息量既不会超过第级信道输入与输出消息之间的平均互信息量，也不会超过第级信道输入与输出消息之间的平均互信息量。当对信号/数据/消息进行多级处理时，每处理一次，就有可能损失一部分信息，也就是说数据处理会把信号/数据/消息变成更有用的形式，但是绝不会创造出新的信息。这就是所谓的信息不增原理。,当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。,串联信道的信道容量,串联信道的总信道转移概率为,此时，串联信道就可以当成一个新的信道来看，该信道的转移概率为p(x/z)，这样就可以用离散信道容量的计算方法来计算了。,根据信道容量定义，两级串联信道的信道容量为,n级为：,例：设两个离散二元对称信道。设第一个信道的输入符号的概率空间为,并联信道及其信道容量,输入并接信道,性质：输入并联信道的容量大于任何一个单独的信道，小于maxH(X)。,输入并接信道可以看成一个单输入多输出的信道，其输入为X，输出为Yy1,y2,yj,yn,通信中的分集，就是典型的输入并联信道,并用信道,并用信道的容量,通信中的复用，就是典型的并用信道,并用信道是多输入，多输出。X和Y由彼此独立的N个信道传输,