信息论基础-信道容量的计算.ppt
,2.2.二进删除信道M信道X=0,1;Y=0,2,1,0 1-p 0,p,p,1 1-p 1,2,离散无记忆信道和信道容量,C=1-p最佳入口分布为等概分布,对称离散信道的信道容量,I(X;Y)=H(Y)-H(Y/X)而,H(Y/X=x)是对矩阵的行求和，是与x无关的一个常数，即,因此,当输出等概分布时，即H(Y)=logs时信道容量才能达到。,离散无记忆信道和信道容量,那么，在什么样的信源输出情况下，信道输出能等概分布呢？可以证明，,输入等概分布时，输出也等概分布,离散无记忆信道和信道容量,Eg.求信道容量,离散无记忆信道和信道容量,我们首先从一个例子开始例：二元无记忆对称信道得二次扩展信道。二元记忆对称信道为,离散无记忆信道和信道容量,可以将信道的扩展和信源的扩展联系起来看，当信源扩展以后，信道也就称为了扩展信道。,则它的二次扩展信道为：,离散无记忆信道和信道容量,因此，如果信源、信道都是无记忆的,这就是离散无记忆信道序列的信道容量，该信道容量在信源是无记忆信源且每一个输入变量Xi 达到最大入口分布时达到。,离散无记忆信道和信道容量,数据可靠传输和信道编码,4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型4.5 联合信源-信道编码定理4.6 线性分组码习题四,接入信道容量的分析与寻呼信道不一样，寻呼信道用于前向链路，容量的分析主要在于对寻呼信道占用率的计算，而接入信道用于反向链路，对 CDMA 系统来说，反向链路容量主要用于干扰的分析。即使采用时隙化的随机接入协议，接入信道也可能有较高的通过量，大量的接入业务会在反向链路中产生无法接受的干扰。如前所述，第一个接入试探失败后，下一个接入试探将增加一定量的功率，最终的结果将导致小区接收功率的增加以及反向链路容量的减少。为了保证话音业务信道的容量，应设计一个合适的接入信道，以限制接入对反向链路容量的干扰。一般情况下，我们保持接入信道干扰余量在业务信道负载的 10%以下,业务信道负载定义如下：对某个用户来说，CDMA 系统中的其他用户都是干扰，这种干扰提高了接收机的噪声基底，降低了接收机的灵敏度。,CDMA是码分多址的英文缩写(Code Division Multiple Access)，它是在数字技术的分支-扩频通信技术上发展起来的一种崭新而成熟的无线通信技术。CDMA技术的原理是基于扩频技术，即将需传送的具有一定信号带宽信息数据，用一个带宽远大于信号带宽的高速伪随机码进行调制，使原数据信号的带宽被扩展，再经载波调制并发送出去。接收端使用完全相同的伪随机码，与接收的带宽信号作相关处理，把宽带信号换成原信息数据的窄带信号即解扩，以实现信息通信。,移动通讯技术的分类移动通信系统有多种分类方法。例如按信号性质分，可分为模拟、数字；按调制方式分，可分为调频、调相、调幅；按多址连接方式分，可分为频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)。目前中国联通、中国移动所使用的GSM移动电话网采用的便是FDMA和TDMA两种方式的结合。GSM比模拟移动电话有很大的优势，但是，在频谱效率上仅是模拟系统的3倍，容量有限；在话音质量上也很难达到有线电话水平；TDMA终端接入速率最高也只能达到9.6kbit/s；TDMA系统无软切换功能，因而容易掉话，影响服务质量。因此，TDMA并不是现代蜂窝移动通信的最佳无线接入，而CDMA多址技术完全适合现代移动通信网所要求的大容量、高质量、综合业务、软切换等，正受到越来越多的运营商和用户的青睐。,CDMA的机理相关。CDMA是一个自扰系统，所有移动用户都占用相同带宽和频率，打个比方，将带宽想像成一个大房子，所有的人将进入惟一的大房子。如果他们使用完全不同的语言，他们就可以清楚地听到同伴的声音而只受到一些来自别人谈话的干扰。在这里，屋里的空气可以被想像成宽带的载波，而不同的语言即被当作编码，我们可以不断地增加用户直到整个背景噪音限制住了我们。如果能控制住用户的信号强度，在保持高质量通话的同时，我们就可以容纳更多的用户。数据可靠传输和信道编码,互信息 I(X；Y）是输入信源的概率分布p(x)的上凸函数；每个固定信道都有一个最大的信息传输率，即信道容量C.,信道容量的计算知识回顾,最佳入口分布不一定是唯一的，但是最佳输出分布是唯一的；单位时间内信道的最大信息传输率，即,信道容量的计算,常见信道的信道容量C：无噪信道,信道容量的计算,常见信道的信道容量C：离散对称信道,信道容量的计算,1 信道容量的计算原理C是选择不同的输入概率分布p(x),在满足p(x)=1条件下，求互信息的极大值：,信道容量的计算,Lagrange乘子法,例1、设某二进制数字传输系统接收判决器的输入信号电平、噪声密度分布及判决电平如下图所示.试求：(1)信道模型；(2)平均互信息；(3)信道容量.,信道容量的计算,解2）令，则Y的概率分布为,信道容量的计算,所以，,3）为求信道容量，对平均互信息求驻点：,信道容量的计算,令，解得p=3/5，这时互信息达最大值.,将p=3/5代入（2），得到信道容为:C=0.32bit/sym.,2 达到信道容量输入分布的充要条件,信道容量的计算,令,一般离散信道的互信息I(X；Y)达到极大值（即等于信道容量）的充要条件是输入概率分布p(x)满足,结论：当信道互信息达到信道容量时，输入信源符号集中每一个信源符号对输出端y提供相同的互信息，只是概率为零的符号除外.这个结论和直观概念是一致的：在某给定的输入分布下，若有一个输入符号xi对输出y所提供的互信息比其他输入符号所提供的互信息大，那么，我们就可以更多地使用这一符号来增大互信息.但是，这就会改变输入符号的概率分布，必然使这个符号的互信息减小，而其他符号对应的互信息增加。所以，经过不断调整输入符号的概率分布，就可使每个概率不为零的输入符号对输出Y提供相同的互信息.,信道容量的计算,例2 一个信道的信道矩阵为,信道容量的计算,求信道容量.,解：由x0和x2时信道的对称性以及x1时的不可靠传输，可以假定最佳输入概率分布为,信道容量的计算,这时，,因为能够满足信道容量定理：,所以假定的输入分布确实是最佳输入分布，这时信道容量为,信道容量的计算,习题1：求下述信道的信道容量.,信道容量的计算,C=1p(0)=p(2)=1/2,p(1)=0,习题2：求下述信道的信道容量.,信道容量的计算,分析：由于a3到b1、b2是等概的，可略；a1、a2均到b1，a4、a5均到b2，所以可只取a1、a5.设输入分布：p(a1)=p(a5)=1/2，p(ai)=0,p(a1)=p(a2)=p(a4)=p(a5)=1/4，p(ai)=0,C=1,Z信道,Z信道的信道矩阵：,设入口概率分布为：,则，输出符号的概率分布：,从而，,可得：,注：这时要找某个 使得I(U;V)达到最大值，困难!,定理求法,Z信道,定理 一般离散信道达到信道容量的充要条件是入口概率分布满足,该定理表明，当信道平均互信息达到信道容量时，输入信源符号集中每一个符号对输出端提供相同的互信息；只是概率为零的符号除外.,可得：,注：这时要找某个 使得I(U;V)达到最大值，困难!,定理求法,即,可整理为：,从而，,即，,解得：,Z信道,解方程组，求信道容量,由定理4.2.2可得：,即,令,可得,（*）,由于,两边求和，得,从而，对应的输出概率分布为：,从而可得最大入口分布！,解方程组，求信道容量,例：,可列方程组：,解方程组，求信道容量,解之得：,解方程组，求信道容量,信道容量,最佳入口分布,信源与信道的匹配,信道的信道容量是固定的，如果某一信源通过该信道传输时，信息传输率达到了信道容量，我们认为信源与信道达到匹配，否则，我们认为有剩余.定义：信道剩余度C-I(X;Y)信道的相对剩余度,如何才能做到匹配呢？一般通信系统中，把信源发出的符号变成能在信道中传输的符号，在传输时，要能够尽量用较少的符号表示相同的信息，这样就可以提高信息的传输率，从而提高信道的利用率.这就是香农无失真信源编码理论，也就是无失真数据压缩理论.无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输，而使新信源的符号接近等概率分布，新信源的熵接近最大熵.这样，信源传输的信息量达到最大，信道剩余度接近于零，信源与信道达到匹配.,信源与信道的匹配,数据可靠传输和信道编码,4.1 离散无记忆信道和信道容量 4.2 信道容量的计算 4.3 信道编码理论 4.4 带反馈的信道模型4.5 联合信源-信道编码定理4.6 线性分组码习题四,
