信息论与编码第1章序论.ppt

《信息论与编码第1章序论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第1章序论.ppt（73页珍藏版）》请在三一办公上搜索。

1、湖南科技大学计算机学院周付章MobileQQ：172701374E-,第1章：概述,第2章：信源熵,第3章：信道容量,第4章：信息率失真函数,第5章：信源编码,第6章：信道编码,第7章：密码体制的安全性测度,：美国科学家，信息论创始人中文译名：山农，香农，仙农，商农 Claude Elwood Shannon克劳德艾尔伍德香农 1916年4月30日2001年2月24日,香农于 1916 年4月30 日出生于美国密歇根州的 Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学并获得数学和电子工程学士学位，在那里他遇到了离散数学奠基人乔治 布尔，上过他的课程。1940年获得麻省理工学

2、院（MIT）数学博士学位和电子工程硕士学位。1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。,香农于 1940 年在普林斯顿高级研究所（The Institute for Advanced Study at Princeton Princeton）期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在 1948 年6月和 10 月在 贝尔系统技术杂志（BellSystem Technical Journal Journal）上连载发表了

3、他影响深远的论文通讯的数学原理。1949 年，香农又在该杂志上发表了另一著名论文 噪声下的通信。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。,香农的贡献1）1948年发表“通信的数学理论”，标志着信 息论的诞生；2）1949年发表“噪声下的通信”，为信道编码 奠定理论基础；3）1949年发表“保密通信的信息理论”，首先 用信息论的观点对信息保密问题作了全面 的 论述；4）1959年发表“保真度准则下的离散信源编码 定理”，提出信息率失真理论，为

4、信源压缩 编码研究奠定理论基础；5）1961年发表“双路通信信道”，开拓了多用 户信息理论，（网络信息论）的研究。,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,信息 科学和材料、能源科学一起被称为当代文明的“三大支柱”。,一位美国科学家说过：“没有物质的世界是虚无的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。”,花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；,成熟的水果会产生香味，诱来动物，动物食后为其传播种子，果香也是一种信息；,药有苦味，让人难以吞咽，药味是一种信息；,听老师讲课可以得到许多知识，知识也是信息。,色彩,视觉,果香

5、,嗅觉,苦药,味觉,知识,听觉,总之，信息处处存在，人的眼、耳、鼻、舌、身都能感知信息。,冷热,触觉,那么信息究竟是什么呢？,1928年，美国数学家哈特莱(Hartley)在贝尔系统电话杂志上发表了一篇题为信息传输的论文。他认为“信息是选择的自由度”。,事隔20年，另一位美国数学家香农(C.E.Shannon)在贝尔系统电话杂志发表了题为通信的数学理论的长篇论文。他创立了信息论，但是却没有给出信息的确切定义他认为“信息就是一种消息”。,美国数学家、控制论奠基人的维纳(Wiener）在1950年出版的控制论与社会一书中写到：,“信息既不是物质又不是能量，信息就是信息”。这句话起初受到批评和嘲笑。

6、但正是这句话揭示了信息的特质：即信息是独立于物质和能量之外存在于客观世界的第三要素。,最高的层次的定义是最普遍的层次，也是无约束条件的层次，定义事物的“信息是该事物运动的状态和状态改变的方式”。我们把它叫做“本体论”层次。在这个层次上定义的信息是最广义的信息，使用范围也最广。,例如，引入一个最有实际意义的约束条件：认识主体。信息定义就转化为“认识论”层次的信息定义。即：信息是认识主体（生物或机器）所感知的或所表述的相应事物的运动状态及其变化方式（包括状态及其变化方式的形式、含义和效用）。其中认识主体所感知的东西是外部世界向认识主体输入的信息，而认识主体所表述的东西则是其向外部世界输出的信息。,

7、全 信 息,同时考虑事物运动状态及其变化方式的外在形式、内在含义和效用价值的认识论层次信息。,信息存在于自然界，也存在于人类社会，其本质是运动和变化。可以说哪里有事物的运动和变化，哪里就会产生信息。,人类交换信息的形式丰富多彩，使用的信息载体非常广泛。概括起来，有语言、文字和电磁波。,信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。,综合起来，信息有以下主要特征：,信息来源于物质，又不是物质本身；它从物质的运动中产生出来，又可以脱离源物质而相对独立地存在。,信息来源于精神世界，但又不局限于精神领域。,1,2,信息与能量息息相关，但又与能量有本质的区别。,信息具有知识的本性，

8、但又比知识的内涵更广泛。,信息可以被认识主体获取和利用。,3,4,5,根据上述特征和信息的基本定义，可以导出信息的一些重要性质：,信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的资源，全面掌握信息的概念，正确、及时、有效地利用信息，能够为人类创造更多的财富。,信息的独有性质,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,按照信息的性质,按照观察的过程,按照信息的地位,按照信息的作用,按照信息的逻辑意义,按照信息的传递方向,在众多的分类原则和方法中，最重要的就是按照信息性质的分类。,按照性质的不同可以把信息划分成语法信息、语义信

9、息和语用信息三个基本类型。其中最基本也是最抽象的类型是语法信息。也是迄今为止在理论上研究得最多的类型。,语法信息考虑的是事物运动状态和变化方式的外在形式。,当然，按照事物运动的方式，还可以把信息进一步细分为概率信息、偶发信息、确定信息和模糊信息。香农信息论主要讨论的是语法信息中的概率信息，本书也以概率信息为主要研究对象。,1.1 信息的一般概念,1.3 信息论的起源、发展及研究内容,1.2 信息的分类,信息论自诞生到现在不过70年，在人类科学史上是相当短暂的。但它的发展和对学术界及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。,在人类历史的长河

10、中，信息传输和传播手段经历了五次重大变革：,1,2,3,4,5,1924年，奈奎斯特（Harry Nyquist）(1889-1976)解释了信号带宽和信息速率之间的关系。,20世纪30年代，新的调制方式，如调频、调相、单边带调制、脉冲编码调制和增量调制的出现，使人们对信息能量、带宽和干扰的关系有了进一步的认识。,1936年，阿姆斯特朗（EdwinArmstrong)指出增大带宽可以使抗干扰能 力加强，并根据这一思想提出了宽频移的频率调制方法。,1939年，达得利（Homer Dudley）发明了带通声码器，指出通信所需带宽至少同待传 送消息的带宽应该一样。声码 器是最早的语音数据压缩系统。这

11、一时期还诞生了无线电广播和电视广播。,1928年，哈特莱（Hartley）首先提出了用对数度量信息的概念。Hartley的工作给 Shannon 很大的启示,他在19411944年对通信和密码进行深入研究，用概率论和数理统计的方法系统地讨论了通信的基本问题，得出了几个重要而带有普遍意义的结论。,阐明通信系统传递的对象；,提出了信息熵的概念；,指出通信系统的中心问题；,指明了解决问题的方法。,1,2,3,4,以上这些成果1948年以“通信的数学理论”（A mathematical theory of communication）为题公开发表，标志着信息论的正式诞生。,维纳（Wiener）在研究火

12、控系统和人体神经系统时，提出了在干扰作用下的信息最佳滤波理论，成为信息论的一个重要分支。,50 年代，信息论在学术界引起了巨大反响。1951年，美国无线电工程师协会（IRE）成立了信息论组，并于1955年正式出版了信息论汇刊。,1959年，香农发表了“保真度准则下的离散信源编码定理”（Coding theorems for a discrete source with a fidelity criterion）系统地提出了信息率失真理论（rate-distortion theory）。为信源压缩编码的研究奠定了理论基础。,60 年代，信道编码技术有了较大发展，使它成为信息论的又一重要分支。,1

13、961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。,70年代以后，多用户信息论成为中心研究课题之一。,后来，随着通信规模的不断扩大，人们逐渐意识到信息安全是通信系统正常运行的必要条件。于是，把密码学也归类为信息论的分支。如今信息安全已是网络通信和电子商务系统中不可缺少的重要环节。,人们对信息的认识越来越深入，先后提出了加权熵、动态熵 等概念，建立在模糊数学基础之上的模糊信息的研究也取得了一定的进展。信息论不仅在通信、广播、电视、雷达、导航、计算机、自动控制、电子对抗等电子学领域得到了直接应用，还广泛地渗透到诸如医学、生物学、心理学、神经生理学等自然科学的各个方面，甚至渗透到语

14、言学、美学等领域。,从60年代开始，一些社会学家在研究社会问题和社会现象时，先后提出了后工业社会 和信息社会 的概念，信息论开始向经济学和社会科学领域渗透。,1977年，美国经济学家马克波拉特发表了长达九卷的信息经济报告，用信息论的基本概 念研究经济现象和社会现象，将信息论的研究从自然科学领 域正式移植到经济学和社会科学领域。信息论迅速发展成为涉及范围极广的广义信息论即信息科学。,信息论的研究对象是广义通信系统。不仅电子的、光学的信号传递系统，任何系统，只要能够抽象成通信系统模型，都可以用信息论研究，如神经传导系统、市场销售系统等等。关于信息论的研究内容，一般有以下三种解释：,主要研究信息的测

15、度、信道容量、信息率失真函数，与这三个概念相对应的香农三定理以及信源和信道编码。,亦称香农信息论或狭义信息论。,应用近代概率统计方法研究信息的基本性质及度量方法，研究信息传输、处理等一般规律的学科。,主要是研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳（NWiener）为代表。,一般信息论,虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题。但他们之间有一个重要的区别。,维纳研究的重点是在接收端。研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提

16、取出来，并建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。,香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。为此，发展了信息测度理论、信道容量理论和编码理论等等。,反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存贮、显示、价值、作用、安全以及信息量的大小的一般规律以及实现这些原理的技术手段的工程学科，信息论的完备和延伸，也都属于广义信息论的范畴。,概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。,广义信息论,总之，人们研究信息论的目的是为了高效、可靠、安全并且随心所欲地交换和利用各种各样的信息。,研究对象

17、：信息论是一门应用概率论、随机过程、数理统计和近世代数的方法，来研究广义的信息传输、提取和处理系统中一般规律的工程学科。,最简单的通信系统模型通信系统的三个基本单元：信源（Source）、信道（Channel）、信宿（Destination）。,研究目的：它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,信源是提供消息的人、设备或事物。打电话时人发出的声音 因特网上可供浏览的网页 广播、电视发送的节目信号 天体天电信号人们最感兴趣的是信源给出的消息。消息是由符号、文字、数字、语声、图像等组成的序列。,信道：传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。

18、信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信道、离散信道（Discrete Channel）和连续信道（Continuous Channel）、单用户信道和多用户信道等。,信宿：消息传递的对象，即接收消息的人、设备或事物。根据实际需要，信宿接收的消息，其形式可以与信源发出相同，也可以不同。当两者形式不同时，存在一个映射关系。,消息通常具有如下特征：（1）消息可以产生、传递和获取消息是客观的、可感知的，但它看不见、摸不着传递要借助于载体（或媒质），用载体传送，从

19、 载体中取出。载体是消息的物理体现，如：在纸上写字。用磁带、光碟、存储器等记录语音、图像、数据。最值得研究的载体是电的、磁的、光的载体，这 就是各类信号。信号是一种载体，是消息的物理体现，它使消息 能够看得见，变得具体化。人们通过时域、频域及各种变换域来研究信号的 波形、频谱等结构，构成比较完善的信号理论。,（2）消息是有内容的消息的内容是客观存在的对消息的接受者来说，消息有新、旧或已知、未知之分，有用、无用及有大用、小用之别客观存在的消息，对不同的接收者来说，其性质、作用不同促使人们去研究消息的内涵以及人的主观判断等主观因素，从而产生了信息理论及其各种分支。,消息从信源通过信道到信宿，如何有

20、效、可靠地传输，是通信系统要解决的根本问题。先说有效性（Validity）消息若在信源中先去粗取精，则必能提高通信的有效性对数字通信来说，即信源编码（Source Coding）要解决的主要问题再说可靠性（Reliability）信宿对接收到的“消息”若能够进行判断、评估，去伪存真的处理，则必能提高通信的可靠性对数字通信来说，信道编码（Channel Coding）的主要任务就是解决这个问题,消息是指包含有信息的语言、文字和图像等。消息中的不确定成分是信息。在通信中，消息是指担负着传送信息任务的单个符号或符号序列。这里的符号包括文本、数据、语言、图形和图像等。消息是具体的，它载荷信息，但它不是物理性的。信号是消息的物理体现，为了在信道上传输消息，就必须把消息加载到具有某种物理特征的信号上去。信号是信息的载荷子或载体，它是物理性的。在近代通信中信号往往是电信号和光信号。,随机变量X、Y分别取值于集合,联合随机变量 取值于集合,记,无条件概率、条件概率、联合概率满足下面一些性质和关系：,1,2,3,4,5,6,