第一讲通信概论与信息度量课件.ppt

《第一讲通信概论与信息度量课件.ppt》由会员分享，可在线阅读，更多相关《第一讲通信概论与信息度量课件.ppt（57页珍藏版）》请在三一办公上搜索。

1、,现代通信原理2010.92011.1,任课教师及助教,任课教师金德鹏 中央主楼901C 62781409 助教孙光： , 中央主楼901C,作业及答疑,作业随堂布置，第二周上课交课堂收取、发放作业答疑每周五下午3：304：30，中央主楼901C平时可随时联系老师答疑不限于课程，推研、出国、考研、就业欢迎大家到办公室聊天期中期末集中答疑,课程安排（1）,通信概论与信息度量模拟调制模拟信号数字化及压缩编码时分多路复用数字信号基带传输数字信号载波传输差错控制编码卷积码多址技术,课程安排（2）,教材现代通信原理 ，清华大学出版社，曹志刚、钱亚生讲义每周周一左右上传到网络学堂参考书英文参考书：E1.

2、Introduction to digital communication Rodger E. ZiemerE2. Principle of communication engineering Wozencraft & JacobsE3. Communication systems engineering Proakis & Salehi中文参考书：C1. 数字通信基础与应用（第二版），Bernard SklarC2. 数字微波中继通信工程，姚彦、梅顺良、高葆新，人民邮电出版社C3. 通信原理（1980, 1984），樊昌信，国防工业出版社C4. 现代通信理论基础（上册），樊平毅，冯重熙，清华

3、大学出版社课程成绩平时成绩（作业，随堂测验）期中考试期末考试,第一讲 通信概论与信息度量,主要内容通信的定义通信的发展简史 通信系统及其分类信息的度量香农定理,通信的核心问题是什么？通信系统的的基本框架是怎样的？从信息论的角度如何看通信？通信的理论极限是什么？,通信的定义,通信（communication）信息的传输和交换，信息的传递消息（message)通信系统要传送的内容，包括语音、图像、数据、文字等，消息由信源产生信号（signal）消息的载体，包括电信号、光信号等信息（information）消息中包含的新的、有意义且可被理解的、不可压缩的东西消息是信息与某种冗余成分之和，是信息的载体

4、,本课程着重讨论信息的传输问题，重点在点对点数字通信系统基本原理和基本技术！,通信的基本问题,一个例子烽火台通信的基本问题有效的通信在资源受限条件下把信息准确无误地传送到目的地传输的速率更高占用的带宽更窄传输的延时更小使用更小的功率设备的成本更低可靠的通信复杂恶劣的环境：噪声、干扰、衰落对抗条件下的通信：人为的干扰,尽量减少信息传递所消耗的资源！在给定资源条件下传送尽可能多的信息！,降低信息传输的差错率！,通信的发展简史（1）,通信起源人类社会活动中需要互通消息早期的通信以物示意：烽火台邮政通信：驿站、驿邮电信1837年，摩尔斯发明有线电报1864年，麦克思韦预言电磁波的存在1876年，贝尔发

5、明有线电话1887年，赫兹用实验证明电磁波的存在1893年，史端乔发明步进式电话交换机1897年，马可尼发明无线电报1918年，调幅无线电广播商用,通信的发展简史（2）,1928年，奈奎斯特提出抽样定理1936年，发明调频技术1937年，提出PCM技术1938年，黑白电视广播系统商用19441947年，统计通信理论形成19481950年，香农信息论形成，纠错码出现19481951年，晶体管发明1950年，贝尔实验室研制出PCM数字通信设备，TDM技术应用于电话1953年，彩色电视出现1956年，第一条跨越大洋电缆建成，可提供36个话路1960年，发明激光器1961年，集成电路开始商业生产,通信

6、的发展简史（3）,1962年，第一颗人造卫星上天19621966年，数据传输业务商用1964年，第一台程控交换机投入应用19661975年，有线电视、商用卫星中继、光纤链路投入应用1972年，Motorola开发蜂窝电话系统，第一次跨越大西洋的卫星电视直播成功1977年，光纤通信系统投入商用1978年，模拟蜂窝移动通信系统投入商用1989年，跨大西洋及太平洋的光缆用于通信1991年，GSM移动通信系统投入商用1995年，窄带CDMA移动通信系统在香港投入商用1995年，Foschini提出了多天线无线传输系统1997年，IEEE提出802.11无线局域网标准1998年，Alamouti提出空时

7、编码1998年，数字电视业务在美国开通2001年，NTT试运行WCMDA服务，IEEE提出802.16标准2003年，Li、Yeung、Cai提出了线性网络编码,通信的发展简史（4）,通信的发展趋势数字化：最后一公里的接入网络、电视网络等综合化：电信网、计算机网、电视网三网合一智能化：软交换、ASON、下一代网络移动化：移动电话、移动卫星、WLAN、WiMAX宽带化：PON、宽带无线接入、4G、100G系统个人化：5W（whoever、whenever、wherever、whatever、whoever）,通信系统完成通信这一过程的全部设备和传输媒介通信系统基本框图,通信系统（1）,通信系统（

8、2）,模拟通信系统在信道中传输的是模拟信号的通信系统模拟通信的缺点抗噪声和干扰能力差，传输中模拟信号会越来越弱放大器的引入带来信噪比的恶化,通信系统（3）,数字通信系统在信道中传输的是数字信号的通信系统数字通信的优缺点抗噪声、抗干扰能力强：再生、体制差错可控：纠错码易加密：数字信号适应性强占用频带宽系统和设备复杂,数字化是通信发展的主流和趋势！,通信系统（4）,典型数字通信系统框图信源编码和译码：压缩冗余，去除次要信息信道编码和译码：增加冗余，提高传输可靠性数字调制和解调同步：载波同步、时钟同步、字同步,通信系统（5）,一个更完整的数字通信系统框图,通信系统（6）,通信系统的其它形式从系统构成

9、看任何一个系统可以看成一个单发单收系统的组合系统。在多发多收系统中，除了涉及到上述描述的传输系统外，还包括信息的交换：即如何有效利用现有的通信资源，最大效率地进行信息地传送，从而派生出通信网络的概念。由此引入了交换技术，网络管理等技术。本课程的重点侧重于传输系统中涉及的关键技术与基本原理.,通信系统（7）,通信系统的分类按消息的物理特征分类：文字-电报系统 语音-电话系统 数字-数据通信系统 图象-图象通信系统,通信系统（8）,按调制方式分类：基带传输：实现简便，用于近距离传输，不需考虑频带利用率问题，干扰较小，可靠性高。不适用于长距离传输。调制传输：实现较复杂，用于长距离传输，需将信息转换成

10、便于传输的形式，增强了抗干扰能力，有效地利用频带。,通信系统（9）,按传输信号的特征分模拟通信 采用原始的信源信号，如语音，图像信号等；实现相对简单在长距离中继通信中抗干扰能力差. 信息交换实现较复杂短距离传输保真度高数字通信采用数字采样、量化信源在长距离中继通信中，抗干扰能力 强易于数字化处理 设备集成度高信号的传输与交换易于融合 便于多路复用,通信系统（10）,按复用方式分频分复用FDM时分复用TDM码分复用CDM波分复用WDM空分复用SDM按传输媒介分有线通信系统：有线电视、光纤通信系统无线通信系统：移动电话系统、无线局域网系统,通信方式,单工、半双工和全双工通信单工通信：消息只能从一点

11、沿一个方向传输给另一点，不能沿反方向传输。半双工通信：通信的两点间能够在两个方向上传输信息，但在某一时刻信道中只能有一个方向的信号在传输。全双工通信：通信的两点间可以同时双向地传输信息并行传输和串行传输并行传输：数字信号码元序列分割成两路以上的码元序列在信道中传输串行传输：数字信号的码元序列按照时间顺序一个一个地在信道中传输,信道（1）,信道信号传输的媒介或途径信道的分类有线信道架空明线双绞线同轴电缆光纤,信道（2）,无线信道地波传播：2MHz以下的无线电波沿地球表面传输天波传播：经电离层反射视距（空间波）传播：直接从发射点传到接收点无线电视距中继信道卫星中继信道对流层散射信道流星余迹散射信道

12、恒参信道与变参信道信道中的噪声,通信技术的新进展（1）,有线：电缆：HDSL，VDSLPON：APON，EPON，GPON光纤DWDM技术光交叉连接，几十G Hz（千兆）带宽ROF无线微波中继卫星通信WLANUWBWSNFSO,移动通信2G， GSM，CDMA IS-95技术2.5G，GPRS, EDGES3G , CDMA2000, WCDMA, TD-SCDMA4G MC-CDMA? OFDM? MIMO？认知无线电 软件无线电认知无线电,通信技术的新进展（2）,信息的度量,信息新的、有意义且可被理解的、不可压缩的东西能够消除不确定性事件的随机性带来不确定性不确定的方式由随机变量给出概率分

13、布信息度量的特性信息应该是非负的；信息应该与消息的概率有关：出现的概率越低，包含的信息量越大；信息应该与消息的长度有关：若干独立消息之和的信息应该是每个消息携带信息的线性叠加；可能的消息数目是指数增长的，但信息是线性的,离散信源的信息量消息出现的概率的对数测度作为离散消息的信息度量。,为,的概率,为,与,同时出现的概率,离散信源的信息量,联合信源的信息量联合消息出现的概率的对数测度作为联合信源的信息度量。,离散信源的互信息量反映两个随机事件之间的统计关联程度由一个随机实验的结果所帮助消除的另一个随机变量的不确定性当 与 统计独立时，互信息量为0当后验概率为1时，互信息量等于 的信息量,离散信源

14、的互信息量,互信息的物理含义观测到Y以后，从Y所能获取的关于X的信息，其本质是信息的传递通信条件概率 是对一切信道的一致性和本征性描述！互信息描述了可靠传输信息的量通信的目标：追求最大的互信息,可观测的结果,希望了解的内容,信息通道,互信息的物理意义,熵的定义熵的性质熵非负熵的值与对数底有关取2为底，则熵的单位是比特（Bit）取自然对数e为底，则熵的单位是奈特（Nat）取10为底，则熵的单位是哈特（Hartely）熵为零，当且仅当熵的物理含义对应于描述信源所需的最少字符数量信源压缩的极限所需字符集合的大小为所取对数的底,离散信源的平均信息量熵,确定了通信系统所要传递的信息量的大小或信息速率！,

15、联合熵多个随机变量的不确定性测度条件熵消除了一个随机变量的不确定性后，另一个随机变量残留的不确定性,离散信源联合熵与条件熵,物理意义两个随机变量的联合不确定性，等于一个随机变量的不确定性，加上知道这个随机变量后另一个随机变量残余的不确定性 证明：,熵、联合熵及条件熵的关系,平均互信息量,通信的目标：最大化平均互信息量,平均信息量的不等式,基本不等式：对于 ，如下不等式成立证明：令 ，求导函数可得,熵与条件熵的不等式,熵不小于条件熵： 证明：,熵、条件熵与联合熵的不等式,联合熵不小于条件熵：证明： 而 ，因此联合熵大于任何一个随机变量的熵： 证明：,联合熵不大于两个随机变量熵之和 证明：离散随机

16、变量在均匀分布时取得最大熵 证明：,熵与联合熵的不等式,拉格朗日乘数法,抽样定理 如果一个连续信号的频带限制在（0，W）内，则它完全可用间隔为 的采样序列无失真地表示。每个抽样点的平均信息量即连续信源的平均信息量 连续消息采用了近似于定积分的讨论方法：连续消息信号在每个抽样点上的取值是一个连续的随机变量，其一元概率密度函数为。将随机变量的取值范围分成2N段，取值落在小段内的概率可近似表示为,连续信源的信息度量,令,得：,直接引用离散信源熵的定义,连续信源的熵,连续消息的平均信息量是一个相对的概念，对不同的一一对应变换，它的值发生变化，因此，连续消息的平均信息量只能提供一个相对的比较量。,绝对熵

17、：,相对熵：,一连续信源，其输出信号在（-1，+1）内取值，服从均匀分布，求该连续消息的平均信息量。如将输出信号放大2倍，其平均信息量为多少？,解：（1）,（2）信号放大后,主要原因在于,连续信源的例子,连续信源的条件熵与互熵,条件熵：互熵,思考题：离散信源各种熵之间的等式和不等式都适用于连续信源吗？请证明。,连续信源熵的性质,平移不改变微分熵放缩改变微分熵 证明：,离散信源当其所有符号等概率输出时，其平均信息量最大。连续信源与概率密度函数有关功率受限信源峰值受限信源,熵最大的条件,功率受限连续信源最大熵分布,已知条件：,求：,为最大值时,相应的概率密度函数.,利用拉格朗日乘数法,定义一个新的

18、函数,令：,可得,则：,此时最大熵为,功率受限连续信源最大熵分布,最大熵优化问题使用拉格朗日乘子方法对概率分布求导，可得,峰值受限连续信源最大熵分布,信道容量单位时间内信道上所能传输的最大信息量通信追求的目标在一定的信道条件下，最大化信息传输能力目标是最大化互信息I(x,y)如何优化？信道 由客观物理环境所决定，不可控制输入符号的分布 由发射机设计者所决定，可控制信道容量的求解最大的可靠信息传输量（最大互信息）,信道容量,离散对称信道:信道转移概率矩阵的各行和各列具有相同的集合的元素,最大化平均互信息量,离散对称信道的信道容量,离散对称信道的特点条件平均信息量与输入无关，只与信道条件转移概率相

19、关输入符号的等概与输出符号等概同时存在,离散对称信道的信道容量,当 L=2时,离散对称信道的信道容量,加性高斯白噪声连续信道的信道容量,加性高斯白噪声信道接收信号信道转移概率条件熵信道容量,x为发送信号,n 为高斯白噪声,考虑带宽W的信道，加性高斯白噪声的单边功率谱密度为根据采样定理，该信道内单位时间最多能通过2W个独立的采样。所以，信道容量为香农信道容量公式,引用均方受限的结论:,带限连续信道的信道容量香农公式,提高信噪比能够增加信道容量无干扰信道信道容量为无穷大增加信道频带并不能无限制地使信道容量增大信道容量一定时，信道带宽与信噪比彼此可以互换,香农公式的讨论,作业: 2.3, 2.6, 2.13, 2.14,本讲重点内容,课程的重点通信系统的基本框图数字通信与模拟通信的比较信息的度量各种信息的计算方法及相互关系互信息的物理含义信道容量的定义香农信道容量公式要求掌握的内容模拟通信系统的基本框图数字通信的基本框图给定信源，能够计算各种信息量能够熟练使用香农公式进行各种运算重点课后习题2.3，2.6，2.12、2.13、2.14,