信息论与编码-第10、11讲-第3章信道容量.ppt
2023/11/11,1,3 信道容量,信道的功能：以信号形式传输和存储信息。信道传输信息的速率：与物理信道本身的特性、载荷信息的信号形式和信源输出信号的统计特性有关。信道容量研究内容：在什么条件下，通过信道的信息量最大。3.1 信道的数学模型和分类3.2 单符号离散信道的信道容量3.3 多符号离散信道3.4 多用户信道3.5 连续信道3.6 信道编码定理,2023/11/11,2,引言,什么是信道？信道是传送信息的载体信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。信道的作用 在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。研究信道的目的 在通信系统中研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并分析其特性。,2023/11/11,3,3.1 信道的数学模型和分类,(1)一般信道的数学模型(2)信道的分类(3)实际的信道,2023/11/11,4,(1)一般信道的数学模型,信道的输入输出关系 一般信道的数学模型,2023/11/11,5,信道的输入输出关系,信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真；信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系；知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了。一般来说，输入和输出信号都是广义的时间连续的随机信号，可用随机过程来描述。,2023/11/11,6,一般信道的数学模型,信道的一般数学模型如图所示 数学模型的数学符号表示 X P(Y/X)Y 实际信道带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。随机序列中每个随机变量的取值可以是可数的离散值，也可以是不可数的连续值。,2023/11/11,7,(2)信道的分类,根据输入输出随机信号的特点分类 根据输入输出随机变量个数的多少分类 根据输入输出个数分类 根据信道上有无干扰分类 根据信道有无记忆特性分类,2023/11/11,8,根据输入输出随机信号的特点分类,离散信道：输入、输出随机变量都取离散值。连续信道：输入、输出随机变量都取连续值。半离散/半连续信道：输入变量取离散值而输出变量取连续值，或反之。,2023/11/11,9,根据输入输出随机变量个数的多少分类,单符号信道：输入和输出端都只用一个随机变量来表示。多符号信道：输入和输出端用随机变量序列/随机矢量来表示。,2023/11/11,10,根据输入输出个数分类,单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。,2023/11/11,11,根据信道上有无干扰分类,有干扰信道：存在干扰或噪声或两者都有的信道。实际信道一般都是有干扰信道。无干扰信道：不存在干扰或噪声，或干扰和噪声可忽略不计的信道。计算机和外存设备之间的信道可看作是无干扰信道。,2023/11/11,12,根据信道有无记忆特性分类,无记忆信道：输出仅与当前输入有关，而与过去输入无关的信道。有记忆信道：信道输出不仅与当前输入有关，还与过去输入和（或）过去输出有关。,2023/11/11,13,(3)实际的信道,实际信道的带宽总是有限的，所以输入和输出信号总可以分解成随机序列来研究。一个实际信道可同时具有多种属性。最简单的信道是单符号离散信道。,2023/11/11,14,3.2 单符号离散信道的信道容量,3.2.1 信道容量定义3.2.2 几种特殊离散信道的信道容量3.2.3 离散信道容量的一般计算方法,2023/11/11,15,3.2.1 信道容量定义,(1)单符号离散信道的数学模型(2)信息传输率(3)信道容量(4)结论,2023/11/11,16,(1)单符号离散信道的数学模型,信道模型 信道统计特性,2023/11/11,17,信道模型,设输入Xx1,x2,xi,xn 输出Yy1,y2,yj,ym其信道模型如图所示。,2023/11/11,18,信道统计特性,信道统计特性描述：由信道转移概率描述。信道转移概率/信道传递概率：条件概率p(yj/xi)。信道特性表示：用信道转移概率矩阵，简称信道矩阵。反信道矩阵：由条件概率p(xi/yj)表示。,2023/11/11,19,(2)信道的信息传输率,如果信源熵为H(X)，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率：就是平均互信息 R=I(X;Y)。输出端Y往往只能获得关于输入X的部分信息，这是由于平均互信息性质决定的：I(X;Y)H(X)。I(X;Y)是信源无条件概率p(xi)和信道转移概率p(yj/xi)的二元函数：,2023/11/11,20,(3)信道容量,当信道特性p(yj/xi)固定后，I(X;Y)随信源概率分布p(xi)的变化而变化。调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的性质已知，I(X;Y)是p(xi)的上凸函数，因此总能找到一种概率分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。信道容量C：在信道中最大的信息传输速率，单位是比特/信道符号。单位时间的信道容量Ct：若信道平均传输一个符号需要t秒钟，则单位时间的信道容量为 Ct实际是信道的最大信息传输速率。,2023/11/11,21,(4)结 论,C和Ct都是求平均互信息I(X;Y)的条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。,2023/11/11,22,3.2.2 几种特殊离散信道的信道容量,(1)离散无噪信道的信道容量(2)强对称离散信道的信道容量(3)对称离散信道的信道容量(4)准对称离散信道的信道容量,2023/11/11,23,(1)离散无噪信道的信道容量,具有一一对应关系的无噪信道 具有扩展性能的无噪信道 具有归并性能的无噪信道 结论,2023/11/11,24,具有一一对应关系的无噪信道,这种信道如图所示对应的信道矩阵是,2023/11/11,25,因为信道矩阵中所有元素均是“1”或“0”，X和Y有确定的对应关系：已知X后Y没有不确定性，噪声熵 H(Y/X)=0；反之，收到Y后，X也不存在不确定性，信道疑义度 H(X/Y)=0;故有 I(X;Y)=H(X)=H(Y)。当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量,2023/11/11,26,具有扩展性能的无噪信道,此信道的举例如图所示。nm，输入X的符号集个数小于输出Y的符号集个数。其信道矩阵如下：,2023/11/11,27,虽然信道矩阵中的元素不全是“1”或“0”，但由于每列中只有一个非零元素：已知Y后，X不再有任何不确定度，信道疑义度 H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)。例如，输出端收到y2后可以确定输入端发送的是x1，收到y7后可以确定输入端发送的是x3，等等。信道容量为与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，H(X)H(Y)。,2023/11/11,28,具有归并性能的无噪信道,这种信道如图所示。nm，输入X的符号集个数大于输出Y的符号集个数。其信道矩阵如下：,2023/11/11,29,信道矩阵中的元素非“0”即“1”，每行仅有一个非零元素，但每列的非零元素个数大于1：已知某一个xi后，对应的yj完全确定，信道噪声熵H(Y/X)=0。但是收到某一个yj后，对应的xi不完全确定，信道疑义度 H(X/Y)0。信道容量为这种信道输入端符号熵大于输出端符号熵，H(X)H(Y)。注意：在求信道容量时，调整的始终是输入端的概率分布p(xi)，尽管信道容量式子中平均互信息I(X;Y)等于输出端符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概率分布p(xi)，而不能用输出端的概率分布p(yj)来代替。,2023/11/11,30,举例：图的信道容量是log23=1.585(比特/信道符号)，求要达到这一信道容量对应的信源概率分布。由信道矩阵得 p(y1)=p(x1)1+p(x2)1 p(y2)=p(x3)1+p(x4)1 p(y3)=p(x5)1只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)达到最大值，即达到信道容量C。此时使p(y1)=p(y2)=p(y3)=(1/3)的信源概率分布p(xi),i=1,2,3,4,5存在，但不是惟一的。这种信道的输入符号熵大于 输出符号熵，即H(X)H(Y)。,2023/11/11,31,结 论,无噪信道的信道容量C只决定于信道的输入符号数n，或输出符号数m，与信源无关。,2023/11/11,32,(2)强对称离散信道的信道容量,什么是强对称离散信道 强对称信道矩阵特点 强对称离散信道的信道容量 输入是什么概率分布时达到信道容量 二进制均匀信道,2023/11/11,33,什么是强对称离散信道,单符号离散信道的X和Y取值均由n个不同符号组成，即Xx1,x2,xi,xn，Yy1,y2,yj,yn信道矩阵为这种信道称为强对称/均匀信道。这类信道中：总的错误概率是p，对称平均地分配给(n-1)个输出符号。信道矩阵中每行之和等于1，每列之和也等于1。一般信道矩阵中，每列之和不一定等于1。,2023/11/11,34,强对称信道矩阵特点,强对称信道矩阵，它的每一行和每一 列都是同一集合各个元素的不同排列。由平均互信息定义：Hni的意义：是固定X=xi时对Y求和，相当于在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以当xi不同时，Hni只是求和顺序不同，求和结果完全一样。所以Hni与X无关，是一个常数。,2023/11/11,35,强对称离散信道的信道容量,因此如何达到信道容量：求一种输入分布使H(Y)取最大值。现已知输出符号集Y共有n个符号，则H(Y)log2n。根据最大离散熵定理，只有当p(yj)=(1/n)，即输出端呈等概率分布时，H(Y)才达到最大值log2n。要获得这一最大值，可通过公式 寻找相应的输入概率分布；一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。,2023/11/11,36,输入是什么概率分布时达到信道容量,强对称离散信道的输入和输出之间概率关系可用矩阵表示为信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保 证了当输入符号X是等概率分布，即p(xi)=(1/n)时，输出符号Y一定是等概率分布，这时H(Y)=log2n。相应的信道容量为,2023/11/11,37,结论：当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量。这个信道容量只与信道的输出符号数n和相应信道矩阵中的任一行矢量有关。,2023/11/11,38,二进制均匀信道,当n=2时的强对称离散信道就是二进制均匀信道。二进制均匀信道 的信道容量为：二进制均匀信道容量 曲线如图所示。,2023/11/11,39,(3)对称离散信道的信道容量,可排列性 对称离散信道定义 对称离散信道的信道容量,2023/11/11,40,可排列性,行可排列：一个矩阵的每一行都是同一集合Qq1,q2,qm中诸元素的不同排列。列可排列：一个矩阵的每一列都是同一集合Pp1,p2,pn中诸元素的不同排列。矩阵可排列/具有可排列性：一个矩阵的行和列都是可排列的。,2023/11/11,41,对称离散信道定义,对称离散信道：信道矩阵具有可排列性。行、列集合的特点当mn时，P是Q的子集。当mn时，Q和P两个集合中，一个必定是另一个的子集。因为矩阵中的每一个元素既是行集合Q中的元素，又是列集合P中的元素。当m=n时，Q和P中的所有元素重合，Q和P是同一集合。,2023/11/11,42,举例：,2023/11/11,43,对称离散信道的信道容量,平均互信息,2023/11/11,44,对称离散信道的信道容量与强对称的形式相同，只是这里mn。由于对称信道的特点，X等概率分布时，Y也是等概率分布，从而使Y的熵达到最大值log2m，即信道容量。,2023/11/11,45,(4)准对称离散信道的信道容量,准对称离散信道定义：一个n行m列单符号离散信道矩阵P的行可排列，列不可排列。但是矩阵中的m列可分成S个不相交的子集，各子集分别有m1,m2,ms个元素(m1+m2+ms=m)，由n行mk(k=1,2,s)列组成的子矩阵Pk具有可排列性。举例 两个子矩阵均是可排列的，故信道P是准对称信道。,2023/11/11,46,可以证明，对于准对称信道，信道输入的最佳分布是等概率分布，而信道容量为,定理:准对称离散信道的 信道容量是在信道输入为等概率分布时达到的。,2023/11/11,47,两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为,2023/11/11,48,N1=1q,N2=q M1=1q,M2=2q根据准对称离散信道的信道容量计算公式求解,2023/11/11,49,图3.4 二元对称纯删除信道,2023/11/11,50,解 通过观测可知，该信道是准对称信道，可以分解为三个互不相交的子集，分别为,2023/11/11,51,2023/11/11,52,3.2.3 离散信道容量的一般计算方法,当信道不具有对称性时，信道容量不容易求出。从信道容量的定义知道，信道容量就是在信道给定条件下，即信道转移矩阵一定条件下，从信道所有可能输入概率分布中寻找一种最佳分布，使得信道输入、输出之间的平均互信息量最大，换句话说，使得信道的输入概率分布与信道匹配。对于一般离散信道，首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值问题即可得到最佳分布；然后根据最佳分布计算信道输入、输出之间的平均互信息量，从而得到信道容量。如果信道输入、输出符号数量较少，那么这种方法是可行的。,例3.5 信道转移矩阵为,2023/11/11,53,求信道输入最佳分布和信道容量C。解 观察信道转移矩阵可知，该信道不是对称的，信道的输入、输出符号数量都为2，假设信道输入符号的概率分别为p和1p，可以得到平均互信息量。根据假设的信道输入的概率分布，求出信道输出概率分布p(yj)：p(y1)=0.9p+0.2(1p)=0.2+0.7p p(y2)=0.1p+0.8(1p)=0.80.7p,输入、输出之间的平均互信息量为,2023/11/11,54,将相关参数代入上述计算公式，得到,对I(X;Y)求导，得到最佳分布,2023/11/11,55,得到p=0.532，所以信道容量为C=maxI(X;Y)=0.415 比特/符号从该例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，不借用计算机很难求出最佳分布，所以一般离散信道的信道容量的求解通过计算机进行。,
