4第4章信息论课件.ppt

《4第4章信息论课件.ppt》由会员分享，可在线阅读，更多相关《4第4章信息论课件.ppt（47页珍藏版）》请在三一办公上搜索。

1、第四章 波形信源和波形信道,第一节 波形信源的统计特性和离散化第二节 连续信源和信源的信息测度第三节 具有最大熵的连续信源第四节 连续信道和波形信道的分类第五节 连续信道和波形信道的信息传输率第六节 连续信道和波形信道的信道容量第七节 连续信道编码定理,第一节 波形信源的统计特性和离散化,实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程x(t)来表示。随机过程x(t)可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。,（1）随机波形信源中消息数是无限的。（2）随机波形信源可用有限维概率密度

2、函数族以及与各维函数概率密度函数有关的统计量来描述。,就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。,第一节 波形信源的统计特性和离散化,这样，通过取样，随即过程就成为可数的无限维的随机序列。如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取

3、样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。,随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。,第一节 波形信源的统计特性和离散化,连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。变量的一维概率密度函数为：一维概率分布函数为：条件概率密度函数为：联合概率密度函数为：,第一节 波形信源的统计特性和离散化,第二节 波形信源和波形信源的信息测度,它们之间的关系为：基本连续信

4、源的数学模型为：其中R是全实数集。,因此,舍弃无穷大的第二项，可得：,定义连续信源的熵为：,第二节 波形信源和波形信源的信息测度,同理可以定义两个连续变量X、Y的联合熵和条件熵,第二节 波形信源和波形信源的信息测度,连续信源的差熵只具有熵的部分含义和性质（1）可加性 并当且仅当X与Y统计独立时 所以可得（2）凸状性和极值性 差熵h(X)是输入概率密度函数p(x)的型凸函数，对于某一概率密度函数可以得到差熵的最大。（3）差熵可为负值,第二节 波形信源和波形信源的信息测度,波形信源的差熵 实际信源的输入和输出都是平稳随机过程，其 x(t)和y(t)可以通过取样，分解成取值连续的无穷平稳随机序列表示

5、，所以平稳随机过程的熵就是无穷平稳随机序列的熵。,波形信源的差熵:,第二节 波形信源和波形信源的信息测度,当对于限频F/限时T的平稳随机过程，它可以近似地用有限维N=2FT平稳随机矢量表示。这样，一个频带和时间都为有限的连续时间过程就转化为有限维时间离散的平稳随机序列了。和离散变量中一样，易于证明:且当随机序列中各变量统计独立时等式成立。,第二节 波形信源和波形信源的信息测度,两种特殊连续信源的差熵1.均匀分布连续信源的熵值,一维连续随机变量X在a,b区间内均匀分布时，这基本连续信源的熵为：N维连续平稳信源，若其输出N维矢量其分量分别在 的区域内均匀分布，N维连续平稳信源的差熵为：,第二节 波

6、形信源和波形信源的信息测度,无记忆连续平稳信源和无记忆离散平稳信源一样，差熵也满足限频、限时均匀分布的波形信源的熵为：在波形信源中常采用单位时间内信源的差熵熵率。均匀分布的波形信源的熵率为：,第二节 波形信源和波形信源的信息测度,连续信源的熵为:可见，正态分布的连续信源的熵与数学期望m无关，只与其方差 有关。,2.高斯信源的熵值基本高斯信源是指信源输出是一维随机变量X的概率密度分布是正态分布，即,第二节 波形信源和波形信源的信息测度,如果N维连续平稳信源输出的N维连续随机矢量是正态分布则称此信源为N维高斯信源。其差熵为：当各变量之间统计独立，则C为对角线矩阵，并有所以，N维无记忆高斯信源的熵即

7、N维统计独立的正态分布随机变量的差熵为,当均值m=0时，X的方差 就等于信源输出的平均功率P：,第二节 波形信源和波形信源的信息测度,第三节 具有最大熵的连续信源,通常我们最感兴趣的是两种情况：一种是信源的输出值受限；一种是信源的输出平均功率受限。峰值功率受限条件下信源的最大值 若某信源输出信号的峰值功率受限为，它等价于信源输出的连续随机变量X的取值幅度受限，限于a,b内取值。在约束条件 下信源的最大相对熵。定理6.1 若信源输出的幅度被限定在a,b区域内，则当输出信 号的概率密度是均匀分布时信源具有最大熵。其值等 于log(b-a)。若当N维随机矢量取值受限时，也只有随 机分量统计独立并均匀

8、分布时具有最大熵。,第三节 具有最大熵的连续信源,平均功率受限条件下信源的最大值定理6.2 若一个连续信源输出信号的平均功率被限定为P，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大熵，其值为。对于N维连续平稳信源来说，若其输出的N维随机序列的协方差矩阵C被限定，则N维随机为正态分布时信源的熵最大，N维高斯信源的熵最大，其值为。这一结论说明，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯统计特性一样时，才会有最大的熵值。,第三节 具有最大熵的连续信源,对于N维平稳信源也可用类似证明方法，证得当其输出的N维协方差矩阵C受限时，N维高斯信源的熵最大，最大值为。随机序列 中各分

9、量之间不相关，又，则可证得N维随机序列得各分量彼此统计独立，并各自达到正态分布时熵最大，也就是N维无记忆高斯信源的熵最大，最大值为。如果序列中各分量的均值为零，而平均功率为，则得N维无记忆高斯信源得熵最大，最大值为,第四节 连续信道和波形信道的分类,按噪声统计特性分类1.高斯信道 信道中的噪声是高斯噪声。高斯噪声是平稳遍历的随机过程，其瞬时值的概率密度函数服从高斯分布（即正态分布）。一维概率密度函数为 常见的是二维高斯随机变量。,第四节 连续信道和波形信道的分类,2.白噪声信道信道中的噪声是白噪声。白噪声也是平稳遍历的随机过程。它的功率谱密度均匀分布于整个频率区间功率谱密度为一常数其瞬时值的概

10、率密度函数可以是任意的。此处白噪声的功率是按正、负两半轴上的频谱定义的。只采用正半轴频谱来定义，则功率谱为，常称为单边谱密度。而 称为双边谱密度，单位为瓦/赫(W/Hz)。显然。白噪声的相关函数是 函数：,第四节 连续信道和波形信道的分类,3.高斯白噪声信道 具有高斯分布的白噪声称为高斯白噪声。一般情况把既服从高斯分布而功率谱密度又是均匀的噪声称为高斯白噪声。关于低频限带高斯白噪声有一个很重要的性质，即低频限带高斯白噪声经过取样函数取值后可分解成N（2FT）个统计独立的高斯随机变量（方差为，均值也为零）。低频限带高斯白噪声可以看成是无限带宽的高斯白噪声通过一个理想低通滤波器后所得。如果理想低通

11、滤波器其带宽为F赫兹，那么它的传递函数的频率响应为：,考虑双边谱密度，低频限带高斯白噪声的功率谱密度为其自相关函数：由功率谱密度可知在时间间隔 的两个样本点之间的相关函数等于零，所以各样本值之间不相关。有因为随即变量是高斯概率密度分布的，所以随机变量之间统计独立。,第四节 连续信道和波形信道的分类,第四节 连续信道和波形信道的分类,4.有色噪声信道 除白噪声以外的噪声称为有色噪声。信道的噪声是有色噪声称此信道为有色噪声信道。,按噪声对信号的功能分类1.乘性信道 信道中噪声对信号的干扰作用表现为是与信号相乘的关系，则信道称为乘性信道，噪声称为乘性干扰。在实际无线电通信系统中常会遇到乘性干扰。2.

12、加性信道 信道中噪声对信号的干扰作用表现为与信号相加的关系，则此信号称为加性信道，此噪声称为加性噪声。即。,第四节 连续信道和波形信道的分类,连续信道的分类 我们研究波形信道，就是要研究波形信道的信息传输问题。一方面为了便于研究，另一方面因为实际波形信道的频率总是受限的,所以在有限观察时间T内，能满足限频F，限时T的条件。因此，根据时间取样定理把波形信道的输入x(t)和输出y(t)的平稳随机过程信号离散化成N(=2FN)个时间离散，取值连续的平稳随即序列:和 这样，波形信道就转化成多维连续信道。,第四节 连续信道和波形信道的分类,若多维连续信道的传递概率密度函数满足：则称此信道为连续无记忆信道

13、。若连续信道在任一时刻输出的变量只与对应时刻的输入变量有关，与以前时刻的输入，输出变量无关，也与以后的输入变量无关，则此信道为无记忆连续信道。连续信道任何时刻的输出变量与其他任何时刻的输入，输出变量都有关。则此信道称为连续有记忆信道。,第四节 连续信道和波形信道的分类,基本连续信号就是输入和输出都是单个连续型随机变量的信道，基本连续信道就是单符号连续信道，其输入是连续型随机变量X，X取值于a,b或实数域R；输出也是连续性随机变量Y，取值于 或实数域R；信道的传递概率密度函数为p(y|x)，并满足 因此，可用 来描述单符号连续信道。根据噪声的统计特性和作用，多维连续信道和单符号连续信道同样有加性

14、信道，乘性信道和高斯信道等之区分。对于加性信道，信道的传递概率密度函数就等于噪声的概率密度函数。这也进一步说明了信道的传递概率是由于噪声所引起的。,第四节 连续信道和波形信道的分类,因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于心信道中噪声引起的，它完全等于噪声信源的熵，所以称为噪声熵。以后主要讨论的是加性信道，噪声源主要是高斯白噪声。,第四节 连续信道和波形信道的分类,第五节 连续信道和波形信道的信息传输率,单符号连续信道的平均互信息单符号连续信道的数学模型为信源输入X为输出信源Y为而信道的传递概率密度函数为,对于连续信道的平均互信息来说，关系式和离散信道下平均

15、互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连续信源的差熵代替了离散信源的熵。单符号连续信道的信息传输率（比特/自由度）,第五节 连续信道和波形信道的信息传输率,平均互信息为,多维连续信道的平均互信息 多维连续信道的数学模型是X，p(y|x)，Y，其传递概率密度函数为：多维连续信道的平均互信息为：,第五节 连续信道和波形信道的信息传输率,根据随机矢量X和Y的差熵和条件差熵的表达式可得：以上表达式与离散信道下平均互信息的完全类，只是表达式中概率分布函数用概率密度函数来替代，求和号用积分号来替代。因此，离散扩展信道中平均互信息的性质在多维连续信道中仍成立。,第五

16、节 连续信道和波形信道的信息传输率,多维连续信道的信息传输率（比特/N自由度）平均每个自由度的信息传输率（比特/自由度）波形信道的信息传输率 波形信道输入是平稳随机过程x(t)，输出也是平稳随机过程y(t)。一般情况，对于波形信道来说，都是研究其单位时间内的信息传输率,第五节 连续信道和波形信道的信息传输率,连续信道平均互信息的特性1.非负性:2.对称性（交互性）:因为 当X和Y统计独立时即p(x|y)=p(x),I(X;Y)=I(Y;X)=0,就不可能从一个随机变量获得关于另一个随机变量的信息。3.凸状性:连续变量之间的平均互信息是输入连续变量X和概率密度函数p(x)的型凸函数；平均互信息又

17、是连续信道传递概率密度函数p(y|x)的U型凸函数。,第五节 连续信道和波形信道的信息传输率,第六节 连续信道和波形信道的信道容量,和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称为信道容量。它也是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道的带宽以及信号的各种限制不同，所以具有不同的信道容量。一般的多维连续信道的信道容量为:一般的波形信道的信道容量为:,第六节 连续信道和波形信道的信道容量,一般多维加性连续信道的信道容量为一般加性波形信道的信道容量为加性信道的信道容量取决于噪声的统计特性和输入随机矢量所受的限制条件。一般的实

18、际信道中，无论输入信号和噪声的平均功率或能量总是有限的。,第六节 连续信道和波形信道的信道容量,单符号高斯加性信道 单符号高斯加性信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是加性高斯噪声。设信道迭加的噪声n是均值为零，方差为 的一维高斯噪声，噪声信源的熵为 高斯加性信道的信道容量 平均功率受限高斯信道的信道容量 只有当信道的输入信号是均值为零，平均功率为高斯分布的随机变量时，信息传输率才能达到最大值。,第六节 连续信道和波形信道的信道容量,单符号非高斯加性信道 信道的输入和输出都是取值连续的一维随机变量X和Y。信道的噪声Z时均值为零，平均功率为Pn的加性噪声。而且输入信号X的

19、平均功率受限为Ps。这时噪声是非高斯噪声。当且仅当噪声为高斯加性时，等号才成立。多维无记忆高斯加性连续信道信道输入随机序列，输出随机序列,第六节 连续信道和波形信道的信道容量,因为是加性信道，所以有Y=X+n，其中 是均值为零的高斯噪声。当且仅当输入随机矢量X中各分量统计独立，并且均值为零，方差为不同的高斯变量时才能达到此信道容量。高斯白噪声加性波形信道 信道的输入和输出信号是随机过程x(t)和y(t)，而加入信道的噪声是加性高斯白噪声n(t)（其均值为零，功率谱密度为，输出信号满足y(t)=x(t)+n(t),波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为,每个信号样本值

20、的平均功率为,在0,T时刻内，信道的信道容量为,第六节 连续信道和波形信道的信道容量,第六节 连续信道和波形信道的信道容量,要达到这个信道容量要求输入N维随机序列X中每一分量Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。高斯白噪声加性信道的单位时间的信道容量其中Ps是信号的平均功率，为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。,第六节 连续信道和波形信道的信道容量,这就是重要的香农公式。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。一些实际的信道是非高斯波形信道。由前可知高斯加性信道的信道容量是非高斯信道容量的下限值。所以，香农

21、公式可适用于其他一般的非高斯波形信道，由香农公式得到的值是非高斯波形信道的信道容量的下限值。由香农公式可以看出，当带宽W增大时，信道容量 也开始增大，当 时，趋于一极限值。,第七节 连续信道编码定理,第五章中讨论了香农第二定理，对连续信道同样是成立的。只是和研究信道容量一样，还必须对输入信源加以某些限制条件才能建立编码定理。由信源编码定理得知，连续信道的信道容量C同样是连续信源中可靠通信的最大信息传输率。定理6.1 对于限带高斯白噪声加性信道，噪声功率为，带宽为W，信号平均功率受限为，（1）当，总可以找到一种信道编码在信道中以信息传输率R传输信息，而使错误概率任意小。,（2）当 找不到一种信道

22、编码，在信道中以R传输信息而使错误概率任意小。定理6.1的证明方法可类似于离散信道的情况。在连续信源中也可以定义 典型序列和 典型序列集。由连续信道编码定理可知，香农公式对实际通信系统有着十分重要的指导意义。香农公式给出了达到无错误（无失真）通信的传输速率的理论极限值，现在称为香农极限。我们简要的讨论一下香农公式的某些实际应用。,第七节 连续信道编码定理,以上的香农公式把信道的统计参量（信道容量）和实际物理量（频带宽宽度W，时间T，信噪功率比）联系起来。它表明一个信道可靠传输的最大信息量完全由W，T，所确定。一旦这三个物理量给定，理想通信系统的极限信息传输率确定了。由此可见，对一定的信息传输率

23、来说，带宽W，传输时间T和信噪功率比 三者之间可以相互转换。（1）若传输时间T固定，则扩展信道的带宽W就可以降低 信噪比的要求；反之，带变窄，就要增加信噪功率比。,第七节 连续信道编码定理,（2）如果信噪比固定不变，则增加信道的带宽W就可以缩短传送时间T，换取传输时间的节省；或者花费较长的传输时间来换取频带的节省。（3）如果保持频带不变，我们可以采用增加时间T来改善信噪比。这一原理已被应用于弱信号接收技术中，即所谓积累法。这种方法是将重复多次收到的信号叠加起来。由于有用信号直接叠加，而干则是按功率相加，因而经积累相加后，信噪比得到改善，但所需接收时间相应增长。,第七节 连续信道编码定理,作业,P189 4.22 4.23,