信息论基础和信号分析NEW.ppt

数 字 通 信 原 理 Principles of Digital Communication,中南大学信息科学与工程学院School of Information Science and EngineeringCentral South University主讲：李敏联系方式：,第二讲 信息论基础和信号分析,信息及其度量信道容量确知信号分析随机信号分析,1 信息论的出现,信息论是一门主要研究信息的传输和处理，并提出或探讨其普遍性或规律性的科学。二次大战后，维纳(Wiener)提出的“控制论”和香农(Shannon)提出的信息论，是现化科学工程的里程碑。早在本世纪20年代，奈奎斯特(Nyguist)和哈特莱(Hartley)，最早研究了通信系统传输信息的能力，并试图度量系统的信息容量。1948年香农发表讨论信源和信道特性的通信的数学原理(A Mathmatical Theory of Communication)，次年发表有关通信中噪声处理的两篇权威性论文，奠定了现代信息论的基础。,信息及其度量,信息的定义信息可理解为消息中包含的有意义的内容。不同的消息可以包含相同的信息，如，分别用语言和文字发送的天气预报，所含信息内容相同。信息的度量传输信息的多少用“信息量”去衡量。对接收者来说，事件越不可能发生，信息量就越大；即信息量反映事件的不确定性。,信息量的计算,由概率论可知，事件的不确定性可以用其出现的概率来描述。因此消息中所含的信息量I与消息出现的概率P(x)间的关系式应反映如下规律：消息中所含的信息量I是出现该消息的概率P(x)的函数：I=P(x)消息的出现概率越小，它所含的信息量愈大；反之信息量愈小，且当P(x)=1时，I=0。若干个相互独立事件构成的消息，所含的信息量等于各独立事件信息量的和，即：Ip(x1)p(x2)p(x3)=Ip(x1)+Ip(x2)+Ip(x3)+,不难看出，若I与p(x)间的关系式为：I=loga1/p(x)=-logap(x)就可满足上述要求。信息量的单位的确定取决于上式中对数底 a 的确定：,当消息是由几个符号组成的离散信源时，整个消息信息量的计算公式为：,其中：n：表示符号数；Ni：第i个符号在消息中出现的次数；p(xi)：第i个符号xi在消息中出现的概率，且,（各符号的出现互相统计独立）,例题,例1：设英文字母E出现的概率为1/3，X出现的概率为2/3，求出现E和X的信息量分别是多少？例2：某离散信源由0，1，2，3四种符号组成，其概率分别为3/8,1/4,1/4,1/8。求消息的信息量。,等概率出现的离散消息的度量：若要传递的离散消息是在M个独立等概的消息中的一个，则只需采用一个M进制的波形来传送。即传送M个消息之一者与传送M进制波形之一完全等价的。规定：传送两个等概的二进制波形之一的信息量为1，单位为“比特”。即：I=log21/(1/2)=log22=1(bit),只要在接收者看来每一传送波形是独立等概出现的,则一个波形所传递的信息量为:I=log21/P(bit)其中，P-每一波形出现的概率因 P=1/M，上式又可以写做：I=log2M(bit)其中，M-传送的波形数,平均信息量的计算,非等概出现的离散消息的度量 符号集：组成离散信息源的n个符号xi组成的集合每个符号xi在消息中是按一定概率P(xi)独立出现的，设符号集中各符号出现的概率：其中,则x1、x2、xn所包含的信息量分别为-log2P(x1)、-log2P(x2)、-log2P(xn)。于是，每个符号所含信息量的统计平均值，即平均信息量为其中称H(x)为信息源的熵，其单位为bit/符号,例题,例3：设有A、B、C、D四个消息分别以概率1/4、1/8、1/8、1/2传送，假设它们的出现相互独立，试求消息熵。例4：试求二元离散信源的Hmax，并证明其正确性。例5：黑白电视机的图象每秒传输25帧，每帧有625行；屏幕的宽度与高度之比为4：3。设图象的每个像素的亮度有10个电平，各像素的亮度相互独立，且等概出现，求电视图像给观众的平均信息速率。,连续消息的信息量的度量 连续消息的信息量可用概率密度来描述 连续消息的平均信息量（相对熵）为式中 f(x)-连续消息出现的概率密度,2 信 道 容 量,定义：指信道在单位时间内所能传送的最大信息量。模拟信道的信道容量Shannon定律：在信号平均功率受限的高斯白噪声信道中，信道的极限信息传输速率（信道容量）为其中，B为信道带宽，S/N为平均信号噪声功率比在带限系统中，若噪声功率谱密度n0已知，则Nn0B，所以CBlog2(1+S/n0B)例6：若信道带宽为3000Hz，信道上只存在加性白噪声，信号噪声功率比为30dB，求信道容量。,结论,提高信号与噪声功率之比能增加信道容量。当噪声功率N0时，信道容量C趋于，这意味着无干扰信道容量为无穷大。增加信道频带（也就是信号频带）W并不能无限制地使信道容量增大。当噪声为白色高斯噪声时，随着W增大，噪声功率N=W n0(这里n0为噪声的单边功率谱密度）也增大，在极限情况下:,由此可见，即使信道带宽无限增大，信道容量仍然是有限的。信道容量一定时，带宽W与信噪比S/N之间可以彼此互换。,数字信道的信道容量数字信道：离散信道，只能传送离散取值的数字信号典型数字信道：平稳、对称、无记忆的离散信道平稳：对任何码元来说，Pe的取值相同对称：任何码元正确传输和错误传输的概率与其他码元一样错误传输时一个码元错成其他码元的概率都相同无记忆接收到的第i个码元仅与发送的第i个码元有关，而与以前发送的码元无关。,当m=n时，为对称信道；若前后码元输出符号无关，即输出符号只取决于当前输入符号，而与前后输入符号无关，则为无记忆信道；,Nyquist准则指出：带宽为B Hz的信道，所能传送的信号的最高码元速率（即调制速率）为2B Bd。离散、无噪声数字信道的信道容量可表示为：例7：若数字信道的带宽为3000Hz，采用四进制传输，计算无噪声时该数字信道的信道容量。,离散有损信道的信道容量,收到yj的概率：,定义互概率：,则发送x收到y的熵为：,收到yj的概率：,定义互概率：,则发送x收到y的熵为：,离散有损信道的信道容量,发送xi收到yj所获得的信息量定义为：,则：,单位时间内实际传送信息量的大小为：,3 信号分析,3.1 确知信号分析 周期信号与非周期信号 能量信号与功率信号 信号的傅里叶变换3.2 随机信号分析,3 信号分析,重点：信号的分类与特征难点：1.信号类型的区别于关系 2.傅里叶级数的物理意义-频谱,信号可分为确知信号和随机信号两类。确知信号：凡是能用函数表达式准确表示出来的信号。【如正弦波】确知信号分为周期信号和非周期信号。随机信号：不能用函数表达式准确表示出来的信号。【如噪声】,确知信号和随机信号,周期信号：满足条件,即时刻t的信号与时刻t+T0的信号相同。【例】正弦波,非周期信号：不满足周期信号条件的信号。,周期信号和非周期信号,根据信号可以用能量式或功率式表示可分为能量信号和功率信号。,能量信号和功率信号,能量信号：能量积分是一定值，如单个矩形脉冲、各类瞬变信号等,功率信号：能量无限，但平均功率有限，如各种周期信号、常值信号、阶跃信号等,若f(t)表示在1欧姆电阻上的电压(V)，则电流i(t)=f(t)(A)，在电阻上消耗的能量为,能量信号,如果E，则称为能量无限信号。,P，则称为功率信号。,功率信号,若f(t)在区间(-,+)的能量无限，但在有限区间(-T/2,T/2)满足平均功率有限的条件,说明,周期信号是功率信号。非周期信号既有能量信号，又有功率信号。,连续信号和离散信号,如果在某一时间间隔内，对于一切时间值，除若干不连续点外，该函数都能给出确定的函数值，此信号称为连续信号。,连续信号和离散信号,和连续信号相对应的是离散信号。代表离散信号的时间函数只在某些不连续的时间值上给定函数值。,一般而言，模拟信号是_?数字信号是_?,问题,确定信号的时间特性,表示信号的时间函数，包含了信号的全部信息量，信号的特性首先表现为它的时间特性。时间特性主要指信号随时间变化快慢、幅度变化的特性。同一形状的波形重复出现的周期长短信号波形本身变化的速率（如脉冲信号的脉冲持续时间及脉冲上升和下降边沿陡直的程度）以时间函数描述信号的图象称为时域图在时域上分析信号称为时域分析。,确定信号的频率特性,信号还具有频率特性，可用信号的频谱函数来表示。在频谱函数中，也包含了信号的全部信息量。频谱就是频率的分布曲线，复杂振荡分解为振幅不同和频率不同的谐振荡，这些谐振荡的幅值按频率排列的图形叫做频谱。频谱是频率谱密度的简称。频谱函数表征信号的各频率成分，以及各频率成分的振幅和相位。以频谱描述信号的图象称为频域图。在频域上分析信号称为频域分析。,信号的每秒钟变化的次数叫频率用赫兹（Hz）作单位,时域特性与频域特性的联系,时域特性与频域特性的联系,信号的频谱函数和信号的时间函数既然都包含了信号的全部信息量，都能表示出信号的特点,那么，信号的时间特性与频率特性必然具有密切联系。例：周期性脉冲信号的重复周期的倒数就是该信号的基波频率，周期的大或小分别对应着低的或高的基波和谐波频率；通过傅立叶变换，可以揭示两者之间的关系。,2023年6月16日星期五,数字通信原理,4 傅立叶变换与卷积,周期信号的傅立叶变换非周期信号的傅立叶变换,在满足狄里赫莱条件下可以展开为傅氏级数：,周期信号的傅立叶变换,n为整数，T为信号周期，w1是基波角频率，cn是各频率分量的系数：,指数形式的傅立叶变换,周期信号的傅立叶变换,三角形式的傅立叶变换,指数形式的傅立叶级数,三角傅立叶级数与指数傅立叶级数并不是两种不同类型的级数，而只是同一级数的两种不同的表示方法。指数级数形式比三角级数形式更简化更便于计算。,频谱和频域分析法,根据傅立叶变换原理，通常任何信号都可表示成各种频率成分的正弦波之和。对于一个复杂信号，可用傅立叶分析将它分解为许多不同频率的正弦分量，而每一正弦分量则以它的振幅和相位来表征。将各正弦分量的振幅与相位分别按频率高低次序排列成频谱。可通过傅立叶变换将时间变量变换为频率变量去进行分析，这种利用信号频率特性的方法称为频域分析法。,例：正弦波的频谱,例：复杂周期信号,例：复杂周期信号,例：方波及其频谱,例：锯齿波及其频谱,例：三角波及其频谱,数字通信原理,周期信号的频谱特性,周期信号具有离散谱只有在n1的时候才有对应的幅度谱线。,2023年6月16日星期五,数字通信原理,非周期信号的傅立叶变换,数字通信原理,例：阻尼振动及其频谱,数字通信原理,矩形波的宽度越窄，即越小，则过零点向两边伸展。若，f(t)则为冲激函数(t),则F()的过零点趋于无穷远，F()变成一条平行于横轴的直线。,例：矩形函数的频谱函数,数字通信原理,例：冲激函数的频谱函数,2023年6月16日星期五,数字通信原理,解 释,非周期信号的频谱是连续谱。理解当T增加时，基频1变小，频谱线变密，且各分量的振幅也减小，但频谱的形状不变。在T的极限情况下，每个频率分量的间隔变为无穷小，而频率分量有无穷多个，离散频谱变成了连续频谱。这时，f(t)已不是n1的离散函数，而是的连续函数。,2023年6月16日星期五,数字通信原理,说 明,负频率为数学处理结果，实际的物理频率只能是正值。从频谱图中，可以看出信号能量集中的频带。信道带宽只考虑传送矩形信号的主要能量部分，如取该信号的第一个零点或若干个零点位置定义为有效带宽。当矩形波形通过一个有限带宽系统时，高频分量会被滤掉。,信号分析,时域分析信号时域分析（线性系统叠加原理）卷积积分的应用及其数学描述频域分析周期信号的频域分析(三角与指数傅立叶级数）非周期信号的频域分析（傅立叶积分）信号在频域与时域之间的变换（正反傅立叶变换式）频谱与时间函数的关系,卷 积,数学中关于两个函数的一种无穷积分运算它是其中一个函数翻转并平移后与另一个函数的乘积的积分卷积与傅里叶变换有着密切的关系。两函数的傅里叶变换的乘积等于它们卷积后的傅里叶变换,单位冲激函数,信号的时域分析,系统的输入信号称为激励，输出称为响应激励与响应都是时间的函数激励函数s(t)响应函数r(t)当激励是单位冲激函数(t)时，系统的响应称为单位冲激响应函数h(t)系统对s(t)的响应，是s(t)与h(t)的卷积。即,常用的卷积定理,傅立叶变换可将时域上较复杂的卷积运算，简化为相对简单的频域运算。,数字通信原理,调制定理,例：矩形函数的频谱调制,随机信号分析,随机信号 信号的某个或某几个参数不能预知或不能完全被预知，这种具有随机性的信号称为随机信号。随机噪声 不能预测的噪声统称为随机噪声。随机过程 一般随机信号采用随机过程理论来研究，即研究它的分布特性、数字特征、通过系统的变化等。,平稳随机过程,在实际应用特别在通信中所遇到的大多属于或接近于平稳随机过程。平稳随机过程可用一维、二维数字特征很好地描述。,平稳随机过程,定义：n维分布函数或概率密度函数不随时间的平移而变化的随机过程。或者：随机过程n维分布函数或概率密度与时间的起点无关，则该随机过程称为平稳随机过程。特点：数学期望和方差与时间t无关，均为常数。即 为常数。自相关函数与时间起点无关，只与时间间隔有关,又称正态随机过程，普遍存在并十分重要。在通信信道中的噪声通常是一种高斯过程。高斯分布的概率分布密度函数：,高斯随机过程,对于平稳的高斯随机过程，不同时刻的随机变量，是统计独立的。,白噪声 理想情况下，信道中的噪声功率，在整个频域内是均匀分布的，称为白噪声。高斯白噪声信道 具有高斯白噪声分布特性的信道，称为加性高斯白噪声信道（AWGN）。,