信道及信道容量.ppt

第三章 信道及信道容量,第一节 信道分类及表示参数,第二节 单符号离散信道及其容量,第三节 离散序列信道及其容量,第四节 连续信道及其容量,信道是信息传输的通道。由于干扰而丢失的信息为 H(X|Y);在接收端获取的关于发送端信源X的信息量是：I(X;Y)H(X)-H(X|Y)即：信道中平均每个符号传送的信息量。对于信道,所关心的问题是平均每个符号传送的最大信息量。这就是信道容量C=max I(X;Y)bit/符号,信源在一定的时间T内输出符号。信源输出的信息速率为Rt=H(X)/T bit/s 符号在信道中传送时，传送一个符号所用的时间为t,则最大信息传输速率为Ct=C/t bit/s.若RtCt，那么就可以实现无失真传送;否则;不能无失真传送所以，对于信道主要是研究信道容量。不同的信道，其容量不同.,研究信道容量的意义?,第一节 信道分类及表示参数,一、信道的分类1、根据信道的用户数量，可以分为两端（单用户）信道和多端信道（多用户信道）。,只有一个输入端和一个输出端；单向,至少有一端存在两个用户；双向,2、根据信道输入端和输出端的关系,分为无反馈信道和反馈信道无反馈信道:输出信号对输入无影响。,3、根据信道的参数可以分为固定参数信道和时变参数信道（参数：表示输入和输出统计依赖关系的转移概率.后面详述）固定参数信道：如光纤、电缆时变参数信道：如无线信道.会因天气或周围环境的变化而变化,4、根据信道中所受的噪声种类不同，分为随机差错信道和突发差错信道。,随机差错信道：噪声独立地、随机地影响每个传输的码元。如加性高斯白噪声(AGWN)信道。突发差错信道：大的脉冲干扰或闪电对码元的影响是前后相关的。错误成串出现，且是突发性的。如移动信道。,5、根据输入/输出信号的特点，分为离散信道、连续信道、半离散半连续信道和波形信道。,离散信道：输入/输出信号在时间和幅度上都是离散的。连续信道：输入/输出信号都是在时间上离散而幅度上连续。半离散半连续信道：输入/输出信号有一个在幅度上离散（时间上都连续）。波形信道：输入/输出信号在时间和幅度上都是连续的。,此时，输入和输出信号一般用随机过程来描述。据随机过程的理论，经过限时和限频后，经抽样变成连续型随机变量。相应地，波形信道被分解成连续信道。,二、信道的参数,参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。,由于信道引入的干扰,使得输入和输出之间没有确定的对应关系，而只有统计上的依赖关系(用转移概率来描述)。知道了这种关系，信道的全部特性就确定了.所以,它是信道的参数。,根据信道的参数，将信道分为三大类：1、无干扰信道,理想信道，信道中没有随机干扰或干扰很小。输出与输入之间有完全确定的对应关系。,2、有干扰无记忆信道,无记忆：任意时刻的输出符号，只统计依赖于对应时刻的输入符号，而与其它时刻的输入符号、输出符号无关.,这种信道根据输入信号与输出信号的符号数目进一步划分为以下四种信道：,指符号集中符号的个数,(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称),传递矩阵也完全确定了输入与输出间的统计依赖关系，也是信道的数学模型。,(2)离散无记忆信道(DMC-Discrete Memoryless Channel)仍是单符号离散信道，符号集中的符号数目大于2。,复习与作业讲评,1、符号的使用：自信息量I 熵-H H2不能随便使用,7、向孔祥品学习,2、应画出信源（模型）,3、2.4题，求H(X)，而非I(x),4、2.5题，求自信息量或条件信息量。个别同学H(y|x),5、2.11(2)有些同学计算H(X,Y)太复杂。xi-颜色，构成信源X,yi-数字，构成信源Y.每个数字对应一种颜色（反之未必），数字已知，则颜色确定，H(X|Y)=0。H(X,Y)=H(Y)=.,6、2.21（3）信号放大问题。课上已经强调过，仍出错。,复习：第四节 连续信源的熵和互信息,一、单符号连续信源的熵 相对熵（差熵）,I(X;Y)I(Y;X)Hc(X)-Hc(X|Y)Hc(X)Hc(Y)-Hc(XY)Hc(Y)-Hc(Y|X)Hc(XY)Hc(X)Hc(Y|X)Hc(Y)Hc(X|Y),二、波形信源的熵 理解讨论方法即可,三、连续信源最大熵定理,1、峰值功率受限的最大熵定理对于定义域为有限的随机变量X，当它是均匀分布时，其熵最大。,2、限平均功率最大熵定理 服从正态分布时具有最大相熵。,第五节 冗余度一、冗余度的概念 表示给定信源在实际发出消息时所包含的多余信息。,二、冗余度产生的原因 理解 一是信源符号间的相关性，二是信源符号分布的不均匀性,三、冗余的定义,四、冗余的压缩,第三章 信道及信道容量,第一节 信道分类及表示参数,参数：表示输入和输出统计依赖关系的转移概率。对于单符号信道，即,对于符号序列信道，即。,根据信道的参数，将信道分为三大类：1、无干扰信道,2、有干扰无记忆信道,根据输入信号与输出信号的符号数目进一步划分为以下四种信道：,(1)二进制离散信道(又叫二进制对称信道BSC，转移概率对称),(2)离散无记忆信道(DMC-Discrete Memoryless Channel)仍是单符号离散信道，符号集中的符号数目大于2。,GO ON,(3)离散输入连续输出信道仍是单符号信道，属于半连续半离散信道。,举例：加性高斯白噪声(AWGN)信道(Addable White Goss Noise),(4)波形信道输入信号和输出信号用随机过程表示，所以信道模型为:,经过限时(tB)和限频(fm)后，经过抽样输入和输出信号分别变换成连续型随机序列：和 抽样点数为L=2 fm tB，相应地,波形信道被分解成L维连续信道,其转移特性为：,结论：信道的转移概率密度函数等于噪声的概率密度函数。,条件熵H(Y|X)又叫做噪声熵的进一步理解：确定噪声所需要的平均信息量就是H(Y|X),叫作噪声熵。正像区分X中的每个符号所需要的平均信息量就是信源的熵H(X).因而又叫噪声熵。可以看作是唯一地确定信道中的噪声所需要的平均信息量。,正是噪声熵,3、有干扰有记忆信道,有两种简化处理的方法：(1)将记忆很强的L个符号用一个矢量符号表示(看作一个符号)，各个矢量符号之间认为是无记忆的.L越大,引入误差与小。(2)将序列转移概率看作是马尔科夫链的状态转移概率，用马尔科夫链的分析方法去处理。,4、本课程主要讨论编码和解码，一般使用DMC信道模型 到底选用哪种信道模型，取决于分析问题的目的。若设计和分析离散信道的编码和解码，当然选择DMC信道模型。如果分析性能的理论极限，则使用离散输入连续输出模型则较合适。如果分析和设计调制/解调器，则选择波形信道模型。,第二节 离散单符号信道及其容量,一、几个概念：1、信息传输率R,信道中平均每个符号所传输的信息量。R=I(X;Y)=H(X)-H(X|Y)bit/符号,2、信息传输速率Rt 信道在单位时间内平均传输的信息量。设信道传送一个符号用时为T，则：Rt=I(X;Y)/T bit/s,3、信道容量C 定义最大的信息传输速率为信道容量,4、信道容量的另一种定义：定义信道单位时间内平均传输的最大信息量为信道容量,5、对于某个特定的信道，其信道容量是一定的。在信息传输时，能否达到这个最大传输能力，取决于输入端的信源。从这个意义上也可以理解信源与信道匹配的含义。,二、无干扰离散信道的容量：输出与输入之间有确定的对应关系；有三种不同的关系：,(1)无噪无损信道（一一对应的关系）,H(Y|X)=H(X|Y)=0I(X;Y)=H(X)=H(Y)maxI(X;Y)=logn C=logn,(2)无噪有损信道（多对一的对应关系）,噪声熵H(Y|X)=0损失熵H(X|Y)0故名之。,I(X;Y)=H(Y)-H(Y|X)=H(Y)H(X)C=maxI(X;Y)=maxH(Y)=logm,(3)有噪无损信道（一对多的对应关系）,噪声熵H(Y|X)0,损失熵H(X|Y)=0,故名之。I(X;Y)=H(X)-H(X|Y)=H(X)H(Y)C=maxI(X;Y)=maxH(X)=logn,三、对称DMC信道的容量：,1、对称性：如果转移概率矩阵P的每一行都是第一行的置换（包含同样元素），称该矩阵是输入对称的；,如果转移概率矩阵P的每一列都是第一列的置换（包含同样元素），称该矩阵是输出对称的。,如果输入、输出都对称，则称该DMC为对称的DMC信道。,2、对称DMC的信道容量C：,怎样使bj服从等概分布？,结论：,M是输出符号集中的符号数对转移矩阵的行向量作求熵运算,3、串联信道的信道容量：(1)串联信道举例：微波中继通信,信道1容量为：C(1)=maxI(X;Y),信道1,2,3串联后等价为 容量为：C(1,2,)=maxI(X;W),信道1,2串联后等价为 容量为：C(1,2)=maxI(X;Z),(2)串联信道的信道容量可能会减少。串联级数越大，信道容量会越小。,由2.2节数据处理定理（信息不增定理）知道：H(X)I(X;Y)I(X;Z)I(X;W)所以：C(1,2)C(1,2,3)C(1,2,3)。,四、准对称DMC信道的容量,准对称信道：只满足输入对称的信道,信道容量的计算，有两种方法：1、引入拉格朗日算子求极值。举例说明：,2、划分为若干个互不相交的对称的子矩阵后，求信道容量。,五、一般DMC信道的容量,平均互信息I(X;Y)是关于P(a1),P(a2),P(an)的多元函数，求其最大值的方法有很多，如前述拉格朗日乘子法，Blahut-Arimoto算法等，大都比较复杂，下面只给出相关定理。,定理：一般离散无记忆信道的平均互信息I(X;Y)达到极大值的充要条件是，输入分布满足：I(ai;Y)=C 对于所有的满足p(ai)0的i。I(ai;Y)C 对于所有的满足p(ai)=0的i。,解释：当平均互信息I(X;Y)达到信道容量时，除了概率为零的符号外，输入符号集中的每一个符号对输出端提供相同的信息量。,而其它符号所提供的信息量增大。所以经过不断调整后，输入符号的概率分布使得每个概率不为零的输入符号对于输出Y提供的平均互信息是相同的。,理解：在某种给定的输入分布下，对输出Y所提供的互信息I(X;Y)，若其中有一个符号ai比其它输入符号大，那么就可以更多地使用该符号，即增大该符号ai出现的概率P(ai)，使得加权平均后的I(X;Y)=P(ai)I(ai;Y)增大；但是，这会改变输入符号的分布，而使该符号的平均互信息I(ai;Y)减小（？），,第三节 离散序列信道及其容量,一、回顾,离散单符号扩展信道。分为无记忆和有记忆两种。只讨论无记忆离散序列信道的容量。,二、无记忆离散序列信道的平均互信息,三、无记忆离散序列信道的容量1、定理,2、结论,3、信道容量,4、独立并联信道的信道容量（例如：时分复用）,将L个相互独立的信道并联后，每个信道的输出Yl只与本信道的输入Xl有关。那么序列转移概率P(Y1,Y2,YL|X1,X2,XL)=P(Y1|X1)P(YL|XL),因而是无记忆序列信道。其容量C1,2,L=Cl,第四节 连续信道及信道容量,一、连续单符号加性信道及其容量：1、回顾,2、平均互信息(信息传输率),3、信道容量,怎样才能保证输出Y服从正态分布？,结论：连续单符号信道的信道容量取决于输入信噪比,4、加性噪声不是高斯噪声时的信道容量,高斯白噪声是最恶劣的噪声，相应的信道容量最小。,二、多维无记忆高斯加性连续信道及其容量,1、回顾,2、等价于L个独立并联加性信道,3、信道容量,据3.3节定理，无记忆信道有下式成立：而每个单符号高斯信道 有：所以：,(1)每个时刻的噪声相同(均值为零,方差为2)当输入矢量的各个分量Xl相互独立，且各分量均值为0 方差都为Pl=S时，,复习与测验,第二节 离散单符号信道及其容量,1、信道容量的定义 最大的信息传输速率为信道容量,或：信道单位时间内平均传输的最大信息量为信道容量,2、无干扰离散信道的容量：(1)无噪无损信道（一一对应）H(Y|X)=H(X|Y)=0；I(X;Y)=H(X)=H(Y)；C=maxI(X;Y)=logn,(2)无噪有损信道（多对一）：H(Y|X)=0；H(X|Y)0I(X;Y)=H(Y)-H(Y|X)=H(Y)H(X)C=maxI(X;Y)=maxH(Y)=logm,(3)有噪无损信道（一对多）：H(X|Y)=0;H(Y|X)0I(X;Y)=H(X)-H(X|Y)=H(X)H(Y)C=maxI(X;Y)=maxH(X)=logn,3、对称DMC的信道容量C：,4、串联信道的信道容量：（数据处理定理)串联级数越大，信道容量会越小。,5、准对称DMC信道的容量：有两种方法：1）、引入拉格朗日算子求极值。2）、划分为若干个互不相交的对称的子矩阵后，求信道容量。,6、一般离散无记忆信道的信道容量：定理：平均互信息I(X;Y)达到极大值的充要条件是，输入分布满足：I(ai;Y)=C 对于所有的满足p(ai)0的i。I(ai;Y)C 对于所有的满足p(ai)=0的i。,第三节 离散序列信道及其容量,1、无记忆离散序列信道的信道容量,2、独立并联信道的信道容量（例如：时分复用）,将L个相互独立的信道并联后，每个信道的输出Yl只与本信道的输入Xl有关。那么序列转移概率P(Y1,Y2,YL|X1,X2,XL)=P(Y1|X1)P(YL|XL),因而是无记忆序列信道。其容量C1,2,L=Cl,第四节 连续信道及信道容量,一、连续单符号加性信道及其容量（取决于输入信噪比）,二、多维无记忆高斯加性连续信道及其容量,go on,(1)每个时刻的噪声相同(均值为零,方差为2)当输入矢量的各个分量Xl 相互独立，且各分量均值为0 方差都为Pl=S时，,(2)如果每个时刻的噪声不相同(均值都为零,方差分别为 将随不同时刻信噪比的变化而变化。,结论：噪声小的子信道分配到的输入功率大，信噪比大，抵抗噪声的能力强，可以传输的比特数多，需要采用更高进制的符号调制方法，以提高信道的频带利用率。反之，噪声大的子信道分配到的输入功率小，信噪比小，抵抗噪声的能力差，可以传输的比特数少，最终，每个子信道的误码率都相同。,三、高斯白噪声加性波形信道及其容量,回顾：,1、平均互信息：,2、信道容量：,3、信道容量：上式重新整理即为香农公式,讨论：（1）提高信噪比SNR，可以增加信道容量.N0w-0,Ct-.（2）增加信道的带宽并不能无限制地提高信道容量。,总结：当信道频带受限于w，信道噪声为功率谱密度为N0/2的加性高斯白噪声，输入信号的平均功率受限为Ps时，如果输入信号服从高斯分布，那么信道中的信息传输率Rt达到最大值（即信道容量Ct）。,（3）频带利用率：Ct/w=log(1+SNR)单位频带的信息传输速率，bps/Hz，信道的利用程度。香农公式给出了不同的SNR下，所能达到的最大频带利用率。,（4）Ct一定时，带宽w和信噪比SNR可以互换。大的系统带宽可以降低对输入信噪比的要求。而大的输入信噪比可以减少对带宽的要求。（举例：扩频通信）,例题：电话信道，w=3.3kHz,SNR=20dB=100,则Ct=wlog(1+SNR)=22kbps。实际信道约为19.2kbps。(串音、回波等干扰因素使Ct小于理论值)。,测验题：有一个二元对称信道，各符号正确传输的概率为0.98。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中符号0和1 的概率各为1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？,解：1、消息序列的信息量 14000*H(X)=1.4*104 比特 2、二元对称信道的信道容量 C=1-H(p,1-p)=0.8586 bit/符号 信道最大信息传输速率 Rt=1500*0.8586=1288 bit/s 3、10秒钟能无失真传输的最大信息量 10*1288=12880 bit 14000 12880 所以，10s内不能将这消息序列无失真地传送完,