信息论与编码第三章.ppt

信息论与编码基础教程,本章主要内容3.1信道的基本概念3.2离散单符号信道及容量数学模型信道容量3.3离散序列符号信道及容量3.4 信源与信道的匹配3.5*连续信道及其容量,本次课内容3.1 信道的基本概念3.2 离散单符号信道及容量3.2.1 数学模型3.2.2 信道容量,信道(information channels)：是信号的传输媒质。信道的作用：把携有信息的信号从它的输入端传递到输出端。它的最重要特征参数是信息传递能力，即信道容量问题。,相关知识复习,在高斯信道下，信道的信息通过能力与信道的频带宽度、信道的工作时间、信道的噪声功率密度有关。频带越宽，工作时间越长，信号、噪声功率比越大，信道的通过能力就越强，信道容量越大。,相关知识复习,本章主要讨论离散信道的统计特性和数学模型，定量的研究信道传输的平均互信息及其重要性质，导出信道容量的概念和几种比较典型的信道的信道容量计算方法。本章重点在于研究一个输入端和一个输出端的信道，即单用户信道。以无记忆、无反馈、固定参数的离散信道为重点内容讨论。,相关知识复习,X=X0,X1,X2 Xr-1含r个元素的输入符号集,Y=y0,y1,y2ys-1含S个元素的输出符号,r与s的值不同信道模型不同,3.1信道分类,5.1信道分类,信道分类：1.有线信道和无线信道 有线信道：明线、对称电缆、同轴电缆及 光缆等。无线信道：地波传播、短波电离层反射、超短波或微波视距中继、人造 卫星中继以及各种散射信道等。,3.1信道分类,2恒参信道和随参信道恒参信道：信道的统计特性不随时间而变化。如明线、对称电缆、同轴电缆、光缆、卫星中继信道一般被视为恒参信道。随参信道：信道的统计特性随时间而变化。大多数的信道都是随参信道，统计特性随着环境、温度、湿度而变化。如短波电离层反射信道、对流层散射信道等。,3.1信道分类,3单用户信道和多用户信道单用户信道：信道只有一个输入端和一个输出端，且只能进行单方向的通信。多用户信道：又称多端信道，输入端或者输出端至少有一端具有两个或者两个以上用户，并且可以实现双向通信，目前大多数信道都是多端信道。,3.1信道分类,4离散信道、连续信道、半离散半连续信道和波形信道离散信道：又称数字信道，该类信道中输入空间、输出空间均为离散时间集合，集合中事件的数量是有限的，或者无限的，随机变量取值都是离散的。波形信道：也称为时间连续信道，信道输入、输出都是时间的函数，而且随机变量的取值都取自连续集合，且在时间上的取值是连续的。,3.1信道分类,连续信道：又称为模拟信道，输入空间、输出空间均为连续事件集合，集合中事件的数量是无限的、不可数的，即随机变量的取值数量是无限的，或者不可数的。半离散半连续信道：输入空间、输出空间一个为离散事件集合，而另一个则为连续事件集合，即输入、输出随机变量一个是离散的，另一个是连续的。,3.1信道分类,5随机差错信道和突发差错信道。随机差错信道：信道中传输码元所遭受的噪声是随机的、独立的，这种噪声相互之间不具有关联性，码元错误不会成串出现。如：高斯白噪声信道。突发差错信道：信道中噪声或干扰对传输码元的影响具有关联性，相互之间不独立，使码元错误成串出现。如：衰落信道、码间干扰信道。移动通信的信道、光盘存储属于该类信道。,3.1信道分类,3.2离散单符号信道及容量,3.2.1 数学模型 若信道的输入符号之间、输出符号之间都不存在关联性，信道的分析可简化为对单个符号的信道分析，此时输入、输出可以看做是单符号的，称这类信道为单符号信道。如果信道的输入、输出随机变量又都是离散的，该信道则为单符号离散无记忆信道。,3.2离散单符号信道及容量,设离散信道的输入变量为X，输出变量为Y，对应的概率空间分别为,输入符号集合的元素个数为r，输出符号集合的元素个数为s,3.2.1 数学模型,i=1，2，r，j=1，2，s。表明：在输入x的情况下，信道输出y的取值只能是其中的一个，不可能还有其他的取值。,该类信道的特性可用条件转移概率进行描述。输入，输出 时对应的条件转移概率为,3.2.1 数学模型,称该矩阵为：条件转移矩阵 或者信道转移矩阵。,用矩阵表示信道输入输出符号之间的条件转移关系,3.2.1 数学模型,由于信道中存在干扰或者噪声，信道输入符号与输出符号之间并不是一一对应关系，不能使用确定性函数描述输入、输出之间的关系。故信道的分析用统计方法。,用条件转移概率 可以表示输出为bj 的各种可能性,输入:,传输的过程中出现错误,3.2.1 数学模型,信道输入、输出符号之间的联合分布为,前向概率，表示在输入为x=ai 时，通过信道后接收为bj 的概率，描述了信道噪声的特性。P(ai)为先验概率。,联合分布还可以表示为,后验概率,表示当接收符号为bj时,信道输入为ai的概率。,3.2.1 数学模型,可以得到后验概率为,=PT(YX),由前向概率和先验概率可计算出信道输出符号概率,矩阵表示形式,3.2.1 数学模型,二进制离散信道（r=s=2）,由输入值集合X=0,1,输出值Y=0,1,一组表示输入、输出关系的条件概率(转移概率)组成。,P(yj/xi),X0,1,Y0,1,3.2.1 数学模型,若信道存在干扰，导致二进制序列发生统计独立的差错，且条件概率对称.,P(Y=1/X=1)=P(Y=0/X=0)=1-P,即P(Y=0/X=1)=P(Y=1/X=0)=P,输入是1或0输出为0或1,这种对称二进二出的信道叫做二进制对称信道,简称BSC信道.,3.2.1 数学模型,信道模型:,0,1,1-P,P,P,1-P,1,0,这种信道的输出符号仅与对应时刻输入符号有关,与以前输入无关，故称此信道是无记忆信道的.,3.2.1 数学模型,2.离散无记忆信道,则P(Y=yi/X=xi)=P(yi/xi)称为离散无记忆信道,若输入值的集合 X=X0,X1Xr-1,输出 Y=y0,y1ys-1,且信道和调制过程是无记忆的,离散无记忆信道(DMC),3.2.1 数学模型,决定DMC特点的条件概率P(yj/xi)可写成矩阵形式,P(Y1=V1，Y2=V2Yn=Vn/X=U1X=Un)=,若DMC信道的输入、输出是由n个符号组成的序列,其中uiX,viY，i=1 2,3,4n,则联合条件概率为:,3.2.1 数学模型,转移概率矩阵,3.2.1 数学模型,若信道中有干扰,信道输出不是一个固定值,是概率各异的一组值,称有扰离散信道.输入Xi时,各可能输出值yj的概率之和必得1,即:,3.2.1 数学模型,3.离散输入连续输出信道,设信道输入符号是有限、离散的,其输入字符集,信道输出,称离散输入,连续输出信道.,即,又称半离散或半连续信道。,3.2.1 数学模型,4.波形信道,若输入是模拟波形，输出也是模拟波形则为波形信道.,若分析性能的理论极限多选用离散输入,连续输出的信道模型。,选择何种模型取决于我们目的.,从工程上讲,最常用的DMC信道或BSC信道.,3.2.1 数学模型,3.2.2 信道容量,在单符号离散信道中，平均每个符号传送的信息量定义为信道的信息传输率。从统计角度而言，信道的噪声总是有限的，总有部分信息能够准确传输，所以信道的信息传输率为,3.2.2 信道容量,互信息量 是输入符号X 概率分布的凸函数。对于一个给定的信道，总是存在某种概率分布，使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。,什么是信道容量？,3.2.2 信道容量,定义 3-1 设某信道的平均互信息量为，信道输入符号的先验概率为，该信道的信道容量C 定义为 比特/符号,先验概率分布 应当满足下列条件,3.2.2 信道容量,对于给定信道，条件转移概率p(bjai)是一定的，所以信道容量就是在信道的前向概率一定的情况下，寻找某种先验概率分布p(x)，使得平均互信息量最大,这种先验分布概率为最佳分布。,3.2.2 信道容量,如果信道输入满足最佳分布，信息传输率最大，即达到信息容量C；如果信道输入的先验分布不是最佳分布，那么信息传输率不能够达到信息容量C。信道传输的信息量R必须小于信道容量C,否则传输过程中会造成信息损失，出现错误；反之，如果RC成立，可以通过信道编码方法保证信息能够几乎无失真地传送到接收端。,3.2.2 信道容量,1.无干扰离散信道 这类信道是理想信道。输入、输出符号之间是确定性关系，可以根据输入或者输出划分为互不相交的集合。这类信道在实际通信系统中较少，在数据压缩系统中，可以使用这类模型进行研究。根据信道输入符号X与信道输出符号Y之间的关系，可以分为下了几种信道。,3.2.2 信道容量,无噪无损信道 该信道的输入、输出集合符号数量相等，输入X与输出Y之间是一一对应。对于给定ai,由于p(bjai)只有一个为1，其余都为0，所以H(XY)=0,则,(a),无噪无损信道模型,3.2.2 信道容量,根据信道容量的定义，信道容量就是平均互信息量的最大值，根据极大熵定理可知，当输入符号的先验概率为等概率分布时，H(X)取得最大值,信道容量为,比特符号,所以当输入信源满足等概率分布时，信息传输率最大，达到信道容量。这类信道的前向概率矩阵和后验概率矩阵是相等的，都是rr单位矩阵，,3.2.2 信道容量,无噪有损信道 信道输出符号Y 集合的数量小于信道输入符号 X集合的数量，即rs，形成多对一的映射.,3.2.2 信道容量,这类信道的特点是，信道概率转移矩阵中每行只有一个非零元素.,接收到符号Y后,不能确定信道输入X，即不能够完全消除X的不确定性，所以H(XY)0，且H(X)H(Y),I(X;Y)=H(Y).信道容量为,3.2.2 信道容量,3.2.2 信道容量,有噪无损信道 信道输出符号Y集合的数量大于信道符号X集合的数量,即rs,形成一对多的映射关.由于一对多的映射关系,不能由输入完全确定信道的输出,H(XY)0，H(X)H(Y),I(X;Y)=H(X).,信道的容量为,3.2.2 信道容量,当信道输入为等概率输入时，I(X;Y)=H(X)才能取得最大值，所以先验概率的最佳分布就是使得 p(aj)=1/r 的分布。这类信道的特点是，信道概率转移矩阵中每列只有一个非零元素.,P(YX),3.2.2 信道容量,2.对称离散信道的信道容量,对称离散无记忆信道是最简单的信道之一，1）输入对称信道容量 定义 3-2:如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。例如，信道转移矩阵为,3.2离散单符号信道及容量,3.2离散单符号信道及容量,又比如信道转移矩阵,即条件熵H(Y|X)与信道输入的符号无关。,因此，输入对称信道的容量为,3.2离散单符号信道及容量,为了表示方便起见，假设转移矩阵首行元素为,则有,由于,所以输入对称信道的容量就是找到一种分布，使得信道输出的熵最大。,【例 3.2-1】信道的转移矩阵为 求该信道的容量。解 设信道输入的概率空间为,3.2离散单符号信道及容量,信道输出的概率分布为 取得极值的条件为,解上述方程可以得到取极值的条件为P=0.5，即当信道输入为等概率分布时，H(Y)取得最大值，所以,3.2离散单符号信道及容量,该信道的容量为,而应当首先假设信道输入分布，然后解决极值问题,3.2离散单符号信道及容量,此时信道输出的概率分布为,所以，当信道只是输入对称时，信道容量不能简单认为是,上次课内容,3.1信道分类3.2离散单符号信道及容量数学模型信道容量 1.无干扰离散信道 2.对称离散信道的信道容量 1)输入对称信道,1、信道的作用：把携有信息的信号从它的输入端传递到输出端。信道最重要特征参数是信息传递能力，即信道容量.2、什么是信道容量？互信息量I(X,Y)是输入符号X 概率分布的凸函数对于一个给定的信道，总是存在某种概率分布p(xi),使得传输每个符号平均获得的信息量最大，即对于每个固定的信道总是存在一个最大的信息传输速率，这个最大信息传输速率定义为信道容量。,复习,1.无干扰离散信道 无噪无损信道,无噪有损信道,有噪无损信道,复习,2、对称离散信道的信道容量,1）输入对称信道容量 如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，这种信道称为输入对称离散信道。,复习,3.2.2 信道容量 2）输出对称信道容量 3）准对称信道容量 4）对称DMC信道容量 5）一般离散信道的容量3.3 离散序列符号信道及容量3.4 信源与信道的匹配3.5*连续信道及其容量,本次课内容,2）输出对称信道容量 定义：如果信道转移概率矩阵中所有列矢量都是 第一列的某种置换，则称信道是关于输出 对称离散信道。,3.2离散单符号信道及容量,例如：信道转移矩阵,都是输出对称信道。,和,输出对称信道容量：,若信道输出对称，则当信道输入符号等概率分布时,信道输出也是等概率分布的。,3.2离散单符号信道及容量,由于信道转移矩阵是已知的，H(YX)可以使用下列公式,3.2离散单符号信道及容量,只要能够求出使得上式取得最小值的信道输入概率分布，即可求出信道容量,4）对称信道容量,若转移概率矩阵,每一行都是第一行的转置,称矩阵是输入对称.若每一列都是第一列的转置,称矩阵是输出对称.若输入输出都对称,称对称DMC信道。,例,和,对称信道,3.2离散单符号信道及容量,和,不对称,3.2离散单符号信道及容量,对称信道的容量:由于对称信道是关于输入对称，而输入对称信道的容量为,3.2离散单符号信道及容量,且满足,与信道输入的分布无关，只与条件概率分布有关.,为了讨论问题方便起见，假设信道转移矩阵第一行中，各元素对应的条件概率分别为(p1,p2.ps)，有:,对称信道输出也是对称的，当信道输入是等概率分布时，信道输出也是等概率分布,取得最大值,3.2离散单符号信道及容量,则对称信道容量,对称信道的信道容量只与信道的转移矩阵中的行矢量和输出符号集合的数量有关。如果希望信息传输率达到信道容量，信道输入应当满足等概率分布。,【例 3.2-2】设某信道转移矩阵为 求信道容量 解：由信道转移矩阵可知，矩阵的第二行是第一行的置换，每一列都是第一列的置换，所以信道是对称的，所以信道容量为,3.2离散单符号信道及容量,【例 3-3】假设信道的输入、输出符号数相等，都等于r,且信道条件转移矩阵为 求:信道容量。解:显然该信道是对称的，信道容量为,3.2离散单符号信道及容量,上述信道称为强对称信道或者是均匀信道，是对称信道的一个特例。一般信道转移矩阵中，列元素之和并不等于1，而该信道转移矩阵的各列元素之和都等于1。,3.2离散单符号信道及容量,当r=2时，信道容量为,3）准对称信道容量 定义 3-4：如果信道转移矩阵按列可以划分为几 个互不相交的子集，每个子矩阵满 足下列性质：(1)每行都是第一行的某种置换；(2)每列都是第一列的某种置换。称该信道为准对称信道。,3.2离散单符号信道及容量,或者说：每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但可按着信道矩阵的列将信道矩阵划分成若干个子矩阵。称这类信道为准对称信道。,例：,可划分成两个对称矩阵,准对称矩阵,3.2离散单符号信道及容量,准对称信道是关于输入对称的，可以使用输入对称信道的方法直接求解.输入对称信道的容量为：,3.2离散单符号信道及容量,准对称信道的容量:,由于信道输入不一定存在一种分布使得信道输出满足等概率分布,所以准对称信道的信道容量满足下列关系,可以证明，准对称信道信道输入的最佳分布是等概率分布，信道容量为,3.2离散单符号信道及容量,其中p1,p2,ps为准对称信道转移矩阵中的一行元素,n为划分的子集数量,Nk为第k个子矩阵的行元素之和,Mk为第k个子矩阵的列元素之和。,定理 3-1：准对称离散信道的信道容量是在 信道输入为等概率分布时达到的。,3.2离散单符号信道及容量,上式为准对称信道容量计算公式，而到达信道容量的信道输入最佳概率分布由下列定理确定。,【例 5.2-4】设某信道的转移矩阵为求：信道容量。解：从该信道转移矩阵可以看出，该信道是一个准对称信道，可以分解为,3.2离散单符号信道及容量,是两个互不相交的子集，而每个子集都是对称信道形式，对应参数分别为,N1为第1个子矩阵的行元素之和,M1为第1个子矩阵的列元素之和,由准对称离散信道的信道容量计算公式,3.2离散单符号信道及容量,称该信道为二元纯对称删除信道，其信道容量为,如果p=0，则,3.2离散单符号信道及容量,【例 3.2-5】信道转移矩阵为 求：信道容量。解：该信道是准对称信道，可以分解为三个互不相交的子集，分别为,3.2离散单符号信道及容量,对应的参数分别为,3.2离散单符号信道及容量,信道容量为,=0.041比特/符号,3.一般离散信道的容量,从信道容量的定义知，信道容量是在信道给定的情况下，即信道转移矩阵一定条件下，从信道所有可能输入概率分布中寻找一种最佳分布，使得信道输入、输出之间的平均互信息量最大，即，使得信道的输入概率分布与信道匹配。,3.2离散单符号信道及容量,对于一般离散信道，首先假设信道的输入概率分布，根据信道容量的定义和输入概率分布的约束条件，直接求解极值,即可得到最佳分布；然后根据最佳分布计算信道输入、输出之间的平均互信息量，既得到信息容量。如果信道输入、输出符号数量较少，这种方法是可行的。,3.2离散单符号信道及容量,【例 3-6】信道转移矩阵为,3.2离散单符号信道及容量,求:信道输入最佳分布和信道容量。解:由信道转移矩阵知,信道不对称的,信道的输入、输出符号数量都为2.设输入符号的概率为p,1-p。先求出信道输出概率颁布p(bj).,由公式,3.2离散单符号信道及容量,将相关参数带入上述计算公式，得到；,3.2离散单符号信道及容量,对p求导，得到最佳分布,3.2离散单符号信道及容量,比特符号,得到,p=0.532，所以信道容量为,从上例可以看出，即使是简单的非对称二元信道，其最佳分布的求解也十分复杂，不借用计算机很难求出最佳分布，所以一般离散信道的信道容量的求解要通过计算机来进行。下面讨论一般离散信道的解法。,3.2离散单符号信道及容量,一般离散信道容量的计算由于 的上凸函数，故极大值存在。并且 要满足非负且归一化的条件，因此，求信道容量归结为求有约束极值的问题。为了书写方便，记。现求 在约束 下的极值。利用拉格朗日乘子法，求函数 的极值。计算 并使其为0 并考虑到，,得：所以，有记因为，所以,定理 3-2 设有一般离散信道,它有r个输入个符号，s个输出符号，其平均互信息I(X,Y)达到 极大值（即等于信道容量）的充要条件是 输入概率分布p(ai)满足,3.2离散单符号信道及容量,常数C就是所求的信息容量。,其中,对所有,的,C,对所有,的,上述定理只是给出了达到容量时，信道输入符号分布的充要条件，并不能给出信道的最佳概率分布，即,没有给出信道容量的计算公式。另，达到信道容量的最佳分布一般不是唯一的，只要输入分布满足概率的约束条件，并且使得I(X,Y)达到最大值即可。所以一般情况下，根据上述定理求解信道容量和信道输入的最佳概率分布还是十分复杂的。对于某些特殊信道，可以使用上述定理求解信道容量。,3.2离散单符号信道及容量,【例3-7】设某信道的转移矩阵为,3.2离散单符号信道及容量,求;该信道容量和信道输入的最佳概率分布。,解:该信道不能直接使用对称信道计算其信道容量 若信道输入符号的概率p(a2)=0,该信道就是一个二元纯对称删除信道。就可以假设 p(a1)=p(a3)=1/2,然后检查是否满足定理3-2的条件,如果满足就可以计算出信道容量,3.2离散单符号信道及容量,首先求出p(bj),3.2离散单符号信道及容量,p(a1)=p(a3)=1/2,p(a2)=0,计算互信息量,3.2离散单符号信道及容量,该输入概率分布满足定理3-2的条件,信道容量为C=0.9,对应的信道输入最佳概率分布为(0.5,0,0.5),3.3离散序列符号信道及容量,前面讨论了输入和输出都是单个随机变量的信道及其容量，分析了对称信道、准对称信道、一般离散信道的信道容量和信道最佳概率分布的计算方法。实际中，信道输入、输出常常是离散随机序列。离散序列信道的一般模型见图,3.3离散序列符号信道及容量,图3-5 离散序列信道模型,对于无记忆离散序列信道，设序列长度为N，则信道转移概率可以简化为 如果信道是平稳的，则信道转移概率可以进一步简化为 p(YX)=,3.3离散序列符号信道及容量,讨论无记忆离散信道：设信道输入符号取自于符号集 信道输出符号取自于符号集 信道转移矩阵为,3.3离散序列符号信道及容量,设序列长度为N，信道输入序列记作 i=(ai1,ai2,.air)i=1，2，rN，信道输出序列记作j=(bj1,bj2.bjs)j=1，2，sN，由于信道输入共有rN种可能取值,信道输出有sN种可能取值,所以N次扩展信道的转移概率矩阵为rNsN的矩阵，可以表示为,3.3离散序列符号信道及容量,对于无记忆信道,上述的转移概率可以简化为 其中，m=1，2，rN，n=1，2，sN 长度为N的离散序列平均互信息量为 I(X;Y)=H(XN)-H(XNYN)=H(YN)-H(YNXN),3.3离散序列符号信道及容量,单符号无记忆信源的N次扩展信道：可以看作是一种特殊的多符号信道，而多符号信道是各个输入信源Xi都取自同一集合X，并联的各个输出信宿Yj都取自同一集合Y,这样的N个信道的并联。,定理3-3 设离散信道的输入序列为X=(X1,X2,XN),信道输出序列为Y=(Y1,Y2,YN),信道的转移概率为，有(1)如果信道本身是无记忆的，则(2)如果信道的输入序列是无记忆的，几个分量相互独立，则,3.3离散序列符号信道及容量,(3)如果输入序列和信道都是无记忆的，则 其中,Xi和Yi分别表示随机序列X和Y中第i个随机变量 该定理描述了离散信道中随机序列的平均互信息量I(X;Y)与信道输入和输出中各个随机变量的平均互信息量之和之间的关系。特别是当信道输入序列和信道都是无记忆时，两者相等。如果构成信道输入、输出随机序列的各个随机变量来自于同一符号集，都服从同一分布，而且信道也是平稳的.,3.3离散序列符号信道及容量,各互信息量满足下列关系：I(X;Y)=I(Xi,Yi)，i=1，2，N 于是可以得出结论由于信道输入随机序列的各个变量都在同一信道中传输，所以有 Ci=C,3.3离散序列符号信道及容量,其中，i=1，2，N，即具有相同的信道容量。于是，可以得到离散无记忆N次扩展信道的容量为 CN=NC,此式表明,离散无记忆N次扩展信道的信道容量等于构成单个离散信道的信道容量的N倍,而信道输入序列的最佳分布是构成序列的每个随机变量都达到各自的最佳概率分布。,对于一般的离散无记忆信道的N次扩展信道，如果信道输入随机变量是无记忆的，且信道是非平稳的则有,3.3离散序列符号信道及容量,有记忆的离散序列信道的分析比无记忆的离散序列信道的分析要复杂得多，特殊情况下可以通过状态变量来分析，这里不进行讨论。,【例3.3-1】某二元离散无记忆信道的转移矩阵为,3.3离散序列符号信道及容量,求信道容量C。,对信道进行二次扩展，扩展后的信道转移矩阵为,解：由扩展信道的转移矩阵知，二次扩展信道是对称信道，当输入序列等概率分布时可以达到信息容量C2，将扩展后的每种序列排列认为是一个符号，二次扩展信道就等价于四元信道，四元对称信道的信道容量为,3.3离散序列符号信道及容量,3.3离散序列符号信道及容量,在实际中经常有信道的并联和串联，下面简单介绍。1.串联信道。,假设信道1的转移矩阵为P1,信道2的转移矩阵为P2，串联信道总的概率转移矩阵为 P=P1P2,两个信道的串联型式,平均互信息量满足 I(X；Z)I(X；Y)I(X；Z)I(Y；Z)总的信道容量不会大于各组成信道的信道容量，即 C minC1，C2可以将该结论扩展到m级串联，得到总的转移矩阵为,3.3离散序列符号信道及容量,根据总得转移矩阵即可求出串联信道的容量为,其中，X和Z分别表示串联信道的输入和输出符号。而且满足 C minC1，C2，Cm,2.并联信道 将m个相互独立的信道并联，如图所示，,3.3离散序列符号信道及容量,每个信道输出Yi只与本信道输入Xi有关(i=1,2,m),假设各个信道的转移概率分别为，那么序 列的转移概率为,如果每个信道都是无记忆的，总的信道也是无记忆的，则满足 I(X；Y)独立并联信道的容量为 C=maxI(X；Y),3.3离散序列符号信道及容量,当输入随机变量Xi相互独立，且有p(X1,X2Xm)达到最佳分布时容量最大(为各自信道容量之和)。,3.4 信源与信道的匹配,实际通信中，经常使用离散信道分析信息传输问题。对于给定离散信道，其容量是存在的，而且是一个确定量，只有信源输入满足最佳分布时，信息的传输才能够达到信道容量，即只有特殊分布的信源才能够使信息传输速率最大。,3.4 信源与信道的匹配,一般信源与信道连接时,信息传输速率R等于信源与信宿之间的平均互信息量R=I(X,Y)。信源的分布并不总是满足信道输入的最佳概率分布，所以信息传输速率总是小于信道的容量的。当信息传输速率达到信道容量时，称为信源与信道达到匹配，否则信道有冗余。,3.4 信源与信道的匹配,定义3-5 设信道的信息传输速率为R=I(X,Y)，信道容量为C，信道的剩余度定义为 信道冗余度=C-I(X,Y)相对剩余度定义为,3.4 信源与信道的匹配,一般情况下，信源输出符号之间总是存在较强的相关性，而且信源的分布与信道难以匹配。当离散信道是对称的或者接近对称时，为了实现有效的信息传输，要求信源输出符号分布尽可能接近信道要求的等概率分布，为此可以采用信源编码技术去除信源符号之间的相关性，并且经过适当的变换后，信源编码输出符号分布尽可能接近等概率分布，就可使信道传输速率R达到或者接近信道容量，实现信源与信道的匹配。,3.4 信源与信道的匹配,如果信道的传输速率R小于信道容量C,可以对信源输出进行适当的信道编码,实现无误差的信息传输；如果信道的信息传输速率R大于信道容量C，实现无差错信息传输是不可能的。,3.4 信源与信道的匹配,5.5 连续信道及其容量,对于连续信源，互信息量具有与离散信源相同的形式，即互信息量为信源的熵与条件熵之差，而连续信道的容量同样定义为互信息量的最大值，在形式上，连续信道的信道容量与离散信道的信道容量是相同的。离散信道的输入、输出符号都是离散的，所以用概率转移矩阵加以描述；而连续信道的输入、输出符号都是连续变量，所以使用条件概率密度函数描述信道输入、输出变量之间的关系。,5.5 连续信道及其容量,5.5.1 连续单符号加性信道,连续单符号加性信道是最简单的单符号信道，信道的输入和输出都是连续随机变量，如图5-8所示。图5-8 连续单符号信道,5.5 连续信道及其容量,首先假设信道引入的噪声是均值为0，方差为 的高斯白噪声，即，该噪声的连续熵为(5.5-1)根据熵之间的关系可知，单符号连续信道的平均互信息量可以表示为,5.5 连续信道及其容量,信道容量定义为(5.5-2)对于加性噪声信道而言，条件熵 为 证明略。,5.5 连续信道及其容量,综合起来，连续单符号加性噪声信道的信道容量为(5.5-3)如果噪声为高斯白噪声，则有(5.5-4)根据限平均功率最大熵定理，只有当信道输出 为高斯分布时，取得最大值，即，其中，表示 的平均功率限制值。信道输入 与信道的噪声之间相互独立，而变量 可以表示为,5.5 连续信道及其容量,根据高斯分布性质：两个高斯分布的加、减仍然服从高斯分布，假设，则有 所以 又,5.5 连续信道及其容量,于是可以得出结论：当信道输入服从高斯分布，假设 时，达到信道容量，信道容量为(5.5-5)其中，称为信噪比。,5.5 连续信道及其容量,要注意的是，这里没有考虑信道对输入信号的衰减，即认为 是经过信道衰减后的功率。实际中，信道的噪声不一定服从高斯分布，根据上文讨论可知，只要噪声是加性的，就可以进行计算，下面不加证明地给出均值为0，方差为 的加性噪声信道容量的界,5.5 连续信道及其容量,上述不等式的意义在于：对于给定的加性噪声信道，如果信道的输入能够使得信道输出为高斯分布，则信道容量到达上限，而一般情况下，信道容量是小于该上限的。高斯信道是所有加性信道中最差的信道，任何其他类型加性噪声信道的容量都大于其信道容量。所以实际中，在平均功率受限的条件下，经常假设噪声服从高斯分布，除了高斯噪声的分析比较方便之外，还因为高斯信道的信道容量是最小的，对信道的干扰最大。,5.5 连续信道及其容量,5.5.2 多维无记忆加性连续信道,设信道输入随机序列，信道输出的随机序列为，由于高斯噪声具有代表性，这里只讨论高斯信道。设 是均值为零的高斯噪声序列，由于信道无记忆，则有 又因是加性信道，所以得,5.5 连续信道及其容量,即噪声序列中各分量是统计独立的。噪声 是高斯噪声，又各分量统计独立，所以各分量 是均值为零、方差为 的高斯变量。这样，多维无记忆高斯加性信道可等价成 个独立的并联高斯加性信道。由于 则有(5.5-6),5.5 连续信道及其容量,从上式可知，各时刻 上的噪声是均值为零、方差为不同的 高斯噪声，于是，当且仅当输入随机矢量 中各分量统计独立，并且也是均值为零、方差为不同的 的高斯变量时，才能达到此信道容量。可见，上式是多维无记忆高斯加性连续信道的信道容量，也是 个独立的、并联组合的、高斯加性信道的信道容量。,5.5 连续信道及其容量,（1）如果各个时刻 上的噪声都是均值为零、方差为 的高斯噪声，则信道容量 为 比特 个自由度 当且仅当输入信号 的各分量统计独立，并且都是均值为零、方差为 的高斯变量时，信息传输概率达到最大值。（2）如果各个时刻 上的噪声都是均值为零、方差为 的高斯噪声，但输入信号的总平均功率受限，则该约束条件为,5.5 连续信道及其容量,那么，此时各时刻的信号平均功率 应如何分配？其信道容量应等于多少？由于 其中，所以约束条件为。只有当 中各分量是均值为零、方差为 的统计独立的高斯变量时，上式的等式才成立。,5.5 连续信道及其容量,极限问题，就是计算在约束条件 的情况下，使 达到最大。这是一个标准的求极大值的问题，可以用拉格朗日乘法来计算。构造辅助函数为 对变量求偏导数，并令其为0，即,5.5 连续信道及其容量,整理后可以得到下列方程 上式计算得到的 可能会出现负数，这表明独立并联信道中，某一信道的噪声平均功率 大于该信道分配得到信号平均功率，所以该信道就无法利用，只有令，即选取，其中 符号表示 的正数，即,5.5 连续信道及其容量,而常数 的选择由约束条件求得于是，可得信道容量,5.5 连续信道及其容量,上述结论说明，在 个独立信道并联构成的高斯加性通道中，当各分信道的噪声平均功率不相等（或多维无记忆高斯加性信道，各时刻噪声分量的平均功率不相等）时，为达到最大的信息传输率，要对输入信号的总能量进行适当的分配，其分配按下式进行,5.5 连续信道及其容量,即当常数 时，此信道（或此时刻信号分量）不分配能量，不传输任何信息；当 时，在这些信道（或此时刻信号分量）中分配能量，并使满足 加上 等于常数。这样得到的信道容量最大，即噪声大的信道少传甚至不传送信息，而在噪声小的信道多传输些信息，从而有利于信息传输。,5.5 连续信道及其容量,5.5.3 加性高斯白噪声波形信道,上面讨论的连续信道中，信道的输入、输出变量的幅度取值是连续变化的，而在时间上是离散的。而实际中的物理信道都是波形信道，信道的输入和输出在幅度上都是连续变化的。对于这样的信道应当适用随机过程对其进行研究，首先对加性高斯白噪声波形信道进行介绍。假设信道的输入、输出都是平稳随机过程，在限频、限时 条件下将波形信道转换为多维连续信道进行分析。设在时间 内，将信道,5.5 连续信道及其容量,输入、输出随机过程在时间上离散为维数为 的随机序列 和，从而可以得到波形信道的平均互信息为 对于波形信道而言，一般讨论单位时间内信息传输率，定义为 比特秒,5.5 连续信道及其容量,信道容量 定义为(5.5-7)通常情况下，假设波形信道中的噪声是均值为0、双边功率谱密度为 2的高斯白噪声随机过程。同样可以将波形信道中的噪声在时间上离散化，在时间 内使用 维随机序列表示，由于信道带宽总是受限的，设带宽为，在时间 内，随机序列长度取为,5.5 连续信道及其容量,这样就将波形信道变换为多维无记忆高斯加性信道，所以得出下列结论：(5.5-8)其中，为每个噪声分量的功率，即双边功率谱密度，为每个信号样本值的平均功率，当信号受限于功率 时，满足,5.5 连续信道及其容量,为信号带宽，于是得到信道容量为(5.5-9)所以波形信道的信道容量为(5.5-10),5.5 连续信道及其容量,其中，为信号的平均功率，为高斯白噪声在带宽为 内的平均功率。信道的容量是带宽和信噪功率比的函数。这就是著名的香农公式。当信道输入是平均功率受限的高斯白噪声信号时，信息传输率才能达到该信道容量。然而实际中信道一般为非高斯噪声波形信道，由于噪声熵小于高斯噪声的噪声熵，所以信道容量以高斯加性信道的信道容量为下限。,5.5 连续信道及其容量,根据香农公式，可以得出下列结论：（1）当带宽 一定时，信噪比与 信道容量 成对数关系。若 增大，就增大，但增大到一定程度后就趋于缓慢。这说明增加输入信号功率有助于容量的增大，但该方法是有限的；另一方面降低噪声功率也是有用的，当 趋向于0时，趋向于无穷大，既无噪声信道的容量为无穷大。（2）当输入信号功率 一定，增加信道带宽，容量可以增加，但到一定阶段后增加变得缓慢。因为当噪声为加性高斯白噪声时，随着 的增加，噪声功率 也随之增加，当 趋向于0时，趋,5.5 连续信道及其容量,趋向于，利用关系式（很小时）可求出 值。即当带宽不受限制时，传送1比特信息，信噪比最低只需1.6dB，这就是香农限，是加性高斯噪声信道信息传输率的极限值，是一切编码方式所能达到的理论极限。能获得可靠的通信，实际值往往都比这个值大得多。（3）一定时，带宽 增大，信噪比 可降低，即两者是可以互换的。若有较大的传输宽带，则在保持信号功率不变的情况下，可允许较大的噪声，即系统的抗噪声能力提高。无线通信中可扩频系统就是利用了这个原理，将所需传送的信号扩,5.5 连续信道及其容量,频，使之远远大于原始信号宽带，以增强抗干扰的能力。最后，给出连续信道编码定理。定理5-4 对于限带高斯白噪声加性信道，噪声功率为，带宽为，信号平均功率受限于，有（1）当信道传输率 时，总是可以找到一种信道编码在信道中以信息传输率 传输信息，而传输错误概率为任意小；,5.5 连续信道及其容量,（2）当 时，不存在一种信道编码使得以 传输信息，而错误概率为任意小。信道是通信系统的重要组成部分，本章从不同角度对信道进行分类。在信息论中，信道容量是信道能够有效信息传输的重要参数，而信道输入分布和信道转移概率已知的条件下，信道输入与输出之间平均互信息量定义为信道容量。在讨论了几种简单离散无记忆信道的信道容量基础上，重点介绍了离散无记忆对称信道的信道容量和最佳分布计算方法。对于一般信道而言，信道容量和最佳分布计算十分复杂，给出了一般计算方法。最后简单介绍了连续信道及其容量计算，并给出了一些有意义的结论。,5.5 连续信道及其容量,本章小结：,信道及信道容量是Shannon信息论的基本概念之一，也是通信理论与工程所研究的基本问题之一。本章所关注的只是几种信道的简单模型及其容量的计算，特别是离散无记忆对称信道及组合信道的处理和容量计算。目的在于建立关于信道的研究方法及关于信道的基本概念。信道容量C：设某信道的平均互信息量为，信道输入符号的先验概率为，该信道的信道容量 定义为,本章小结,输入对称离散信道：如果信道转移概率矩阵中所有行矢量都是第一行的某种置换，则称信道关于输入是对称的，这种信道称为输入对称离散信道。输出离散信道：如果信道转移概率矩阵中所有列矢量都是第一列的某种置换，则称信道关于输