信息论与编码第1章概论.ppt

《信息论与编码第1章概论.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第1章概论.ppt（50页珍藏版）》请在三一办公上搜索。

1、1,第1章 概论,1.1 信息的概念 1.2 信息论的研究对象、目的和内容 1.3 信息论的形成和发展,2,1.1 信息的概念,信息的产生与传播信息的定义与分类信息的特征与性质,3,1.1.1 信息的产生与传播 信息这一概念是在人类社会互同情报的实践过程中产生的。人类社会的生存与发展，时刻都离不开接收信息、传递信息、处理信息和利用信息。花朵开放时的色彩是一种信息，它可以引来昆虫为其授粉；中国古代烽火台上点燃的烽火狼烟是一种信息，它一级一级地向后方传递着军情；在当时条件下，这的确是一种快速的信息传递方式。,1.1 信息的概念,4,1.1 信息的概念,在照相机纪录影像之前，人们通过绘画纪录人的面貌

2、，当然，绘画肖像也是一种信息。照相机拍下的影像较之绘画肖像显然要真实得多。,5,1.1 信息的概念,信息革命推动了社会的进步 信息的五次变革 1.声音、手势和语言 2.文字符号进入人类社会 3.印刷术提供了新的信息活动手段 4.电磁波开始传播信息 5.计算机与通信的完美结合,6,1.1 信息的概念,信息时代 1.信息量急剧增加 2.以电子工业为中心的新兴工业正蓬勃发展 3.社会劳动力结构发生很大变化 物质产品 知识产品 信息科学技术知识已经成了最重要的战略资源。信息作为资源，如何开发、利用、共享是人们普遍关注的问题。,7,1.1 信息的概念,人类发展与信息传播 人类发展的历史是沿着信息不断膨胀

3、的方向前进的。在信息量小、传播效率低的社会，发展速度缓慢；而信息量大、传播效率高的社会，发展速度就快，一日千里。信息技术的高速发展使得人类获取信息的深度、广度已今非昔比。如，互联网发展的速度远远超过了以前传播方式。,8,1.1 信息的概念,无线电广播问世38年后，拥有5000万听众；电视诞生13年后，拥有同样数量的观众；而互联网从1993年对公众开发，到拥有这个数量的用户只花了4年时间。推动信息革命和信息技术发展的三项技术 微电子技术：信息技术的“细胞”通信技术：信息技术的“神经”计算机技术：信息技术的“大脑”,9,1.1 信息的概念,信息科学是一门综合性学科，它是研究信息及其运动规律的科学。

4、其内容包括，信息的本质及其度量，信息的产生、获取、传播、处理和施效的规律；研究的目的是扩展人类获取和利用信息的能力。信息技术是运用信息科学的研究成果来解决生产实际问题，具体内容包括：感测技术（信息获取）通信技术（信息传输）计算机技术（信息处理）自动控制技术（信息施效）,10,1.1 信息的概念,信息产业是专门从事信息生产、传播、出售和服务的产业。包括：信息技术设备制造和信息服务等。,11,1.1 信息的概念,1.1.2 信息的定义与分类 1.信息的定义 信息就是信息，即不是物质也不是能量。（1948年，维纳）信息是事物之间的差异。（1975年，朗格）信息是物质和能量在时间和空间的不均匀性。信息

5、是物质的普遍属性。信息是集合的变异度。信息是一种场。信息是系统的复杂性。信息是事物相互作用的表现形式。,12,1.1 信息的概念,信息是事物联系的普遍形式。信息是收信者事先所不知道的报导。信息是用以消除随机不定性的东西。信息是使概率分布发生变动的东西。信息是负熵。,13,1.1 信息的概念,信息的通俗概念 在日常生活中，信息常被认为是“消息”、“情报”、“知识”等。信息与它们有密切联系，但是信息的含义要更深刻、更广泛。消息和消息并不是一回事，不能等同。举例来说，有人告诉你一条消息，这条消息告诉了许多原来不知道的新内容，这条消息就很有意义，信息量就大；反之，如果这条消息告诉的是原来就已经知道的内

6、容，那么这条消息意义就不大，信息量就小。,14,1.1 信息的概念,情报往往是军事、文献方面的习惯用词，含义要“信息”窄得多，它只是一种特定的信息；知识是一种具有普遍性和概括性质的高层次的信息。,15,1.1 信息的概念,消息是信息的载荷者，消息具有不同的形式，例如语言、文字、符号、数据、图片等，所有这些形式都是能够被人们感觉到的。这些形式构成消息的条件有两个：1.能够被通信双方理解；2.可以在通信中传递和交换。在日常生活中，我们得到是一些描述各种主客观事物运动状态或存在形式的具体消息。需要指出的是，同一个消息可以含有不同的消息量，而同一信息可以用不同形式的消息来载荷。,16,1.1 信息的概

7、念,信号是消息的表现形式，消息则是信号的具体内容。信号是消息的载体，是表示消息的物理量。随时间而变化的电压或电流称为电信号。电信号和非电信号可以比较方便地相互转换。在实际应用中常常将各种物理量，如声波、光强度、机械运动的位移或速度等，转变为电信号，以利于传输。信号携带信息，但不是信息本身。同样，同一信息可用不同的信号来表示；同一信号也可以表示不同的信息。如：红、绿灯信号。在十字路口 在电子仪器面板上,17,1.1 信息的概念,信息不是消息，也不同于信号。三者是即有区别又有联系的三个不同的概念。信息是一个十分抽象而又复杂的概念。它包含在消息之中，是通信系统中传送的对象。,18,1.1 信息的概念

8、,信息是构成客观世界的三大要素之一 物质、能量和信息是构成客观世界的三大要素。没有物质的世界是虚无的世界；没有能量的世界是死寂的世界；没有信息的世界是混乱的世界。信息是物质的属性，信息虽不等同于物质本身，但它不可能脱离物质而独立存在，必须以物质为载体，以能量为动力。三者相辅相成，缺一不可。信息是物质和能量在时间和空间中分布不均匀程度。,19,1.1 信息的概念,辞海对信息作了如下解释：通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。通常须通过处理和分析来提取。信息、物质和能量被称为系统的三大要素。信息和物质的量值与信息的随机性有关，如在接收端无法预估消息或信号中所蕴含的内容或意义，即

9、预估的可能性越小，信息量就越大。科学技术大系信息是认识主体（人、生物、机器）所感受的或所表达的事物运动的状态和运动状态变化的方式。信息是人们在适应外部世界和控制外部世界的过程中，同外部世界进行交换的内容。,20,1.1 信息的概念,2.信息的分类 研究信息的目的，就是要准确地把握信息的本质和特点，以便有效地利用信息。在众多的分类原则和方法中，最重要的就是按照信息性质的分类。按照性质的不同可以把信息划分成三个基本类型：语法信息、语义信息和语用信息 其中最基本也是最抽象的类型是语法信息。它是迄今为止在理论上研究最多的类型。,21,1.1 信息的概念,信息分类有许多不同的准则和方法：按照信息的性质，

10、可以分成语法信息、语义信息和语用信息。按照观察的过程，可以分成实在信息、先验信息和实得信息。按照信息的地位，可以分成客观信息和主观语用信息。按照信息的作用，可以分成有用信息、无用信息和干扰信息。按照信息的逻辑意义，可以分成真实信息、虚假信息和不定信息。按照信息的传递方向，可以分成前馈信息和反馈信息。按照信息的生成领域，可以分成宇宙信息、自然信息、社会信息和思维信息。按照信息的应用部门，可以分成工业信息、农业信息、军事信息、政治信息、科技信息、文化信息、经济信息、市场信息和管理信息,22,1.1 信息的概念,语法信息是事物运动的状态和状态改变方式本身。它不涉及这些状态的含义和效用，是最抽象最基本

11、的层次。它只研究事物运动各种可能出现的状态，以及状态之间的关系。香农的信息定义正是属于这个层次，是从概率统计角度来研究事物运动各种可能出现的状态及状态之间的关系，因此是概率性的语法信息。语义信息是事物运动的状态和方式的具体含义。研究信息的具体含义。语用信息是事物运动的状态和方式对观测者的效用，或者是相对于某种目的的效用。它研究事物运动的状态和方式与使用者的关系，即研究信息的主观价值。,23,1.1 信息的概念,1.1.3 信息的特征与性质 1.信息的特征 信息是无形的 信息是“活”的 信息来源于客观事物，人们能够直接或间接感知它，它是人脑思维活动的反映，可以说，人脑是信息的主要载体。它是动态的

12、，有很强的时间性，如：股票市场信息，瞬息万变，只有及时把握有效的信息才能获得信息的最佳价值。信息是可共享的 信息是可扩充的,24,1.1 信息的概念,信息是能产生实效的 信息是可以处理的 信息是可度量的 信息是可以快速传播并扩散 信息作为一种资源，它的无限性、共享性和开放性，使它对于人类具有特别重要的意义。,25,1.1 信息的概念,1)信息是无形的 信息不同于物质和能量，它是看不见、摸不着的，它不具有实体性。信息是一个十分抽象的概念。信息本身是看不见、摸不着的，它必须依附于一定的物质形式，如文字、声波、电磁波等。这种运载信息的物质，称为信息的载体。一切物质都有可能成为信息的载体。物质、能量是

13、有形的资源，而信息却是一种抽象的、无形的资源。然而，有效开发利用信息资源，能够促使我们更加有效、更大规模的开发利用物质资源。,26,1.1 信息的概念,2)信息是可共享的 信息是可共享的 信息的交流不会使交流者失去原有的信息，且还可以获得新的信息。信息共享是无限的 信息可以由甲传递给乙，又可以由乙传递给丙，信息的共享性，对人类社会的发展起到了积极推动作用。信息扩散越快、越广，就会加速人类社会的文明进程。但是，现实的人类社会在各方面都存在着激烈的竞争，例如军事中的电子综合战、商业活动中的市场竞争等。这些现象阻碍了信息性质的发挥。信息虽具有共享性，原占有者不会因信息传递而丢失这个信息，但占有者和获

14、得者可以利用同一个信息进行竞争和对抗。因此，在信息占有和传播方面，存在着斗争。为了限制信息的共享，加设密码、数据库保密等措施就是这种斗争的产物。,27,1.1 信息的概念,3)信息是可扩充的 信息像物质、能量一样，对于人类也是一种资源。信息作为事物运动状态和状态的一般描述，和事物及它们运动一样是永恒的、无限的。信息如海阔天空，永远在产生、更新、演变，是一种取之不尽、用之不竭的源泉。信息存在于任何事物之中，有物质的地方就有信息，信息充满整个物质世界。信息的无限性还表现在时空上的可扩展性。例如今天气象台报告的气象数据所包含的信息，明天就不在有效，明天又会产生新的信息。,28,1.1 信息的概念,4

15、)信息是可度量的 信息论中最重要的问题，就是要解决信息数量与质量的度量。信息度量应满足信息的三个基本方向：结构的、统计的和语义的。结构理论是研究大量信息的离散结构的。它通过简单计算信息元方法，或用大量的信息简易编码所提供的组合方法对信息进行测量。统计理论是利用熵的概念，作为统计发生概率的不确定性度量，从而得出这些或那些消息的信息量。语义信息，即研究信息的具体含义。,29,1.1 信息的概念,2.信息的性质 普遍性：信息是普遍存在的。无限性：在整个宇宙时空中，信息是无限的。相对性：对于同一个事物，不同的观察者所获得的信息可能不同。转移性：信息可以在时间或空间上从一点转移到另一点。变换性：信息可以

16、是变换的，它可以同不同的载体和不同的方法来载荷。有序性：信息可以用来消除系统的不定性，增加系统的有序性。动态性：一切活的信息都随时间而变化。转化性：从潜在的意义上讲，信息是可以转化的。它在一定条件下，可以转化为物质、能量、时间或其它。,30,1.2 信息论的研究对象、目的和内容,通信系统模型 信息论内容,31,1.2 信息论的研究对象、目的和内容,1.2.1 通信系统模型 信息论或称为通信的数学理论，是应用近代数理统计方法研究信息的度量、传输、存储、交换与处理的一门学科。它是通信理论中的基础理论。信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。实际的通信系统

17、形式和用途各不相同，但从信息传输的角度看，在本质上有许多共同之处，它们可以概括为下面的信息传输系统的模型。,32,1.2 信息论的研究对象、目的和内容,建立信息传输系统的模型，目的是要找信息传输过程的共同规律，以提高信息传输的可靠性、有效性、保密性和认证性，使达到信息系统最优化。,信源编码,噪 声 源,信 源,信道编码,信 道,受 信 者,信源译码,解密译码,信道译码,加密编码,33,1.2 信息论的研究对象、目的和内容,可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。有效性高，就是用尽可能短的时间和尽可能少的设备来传送一定数量的信息。保密性，就是隐蔽和保

18、护通信系统中传送的消息，使它只能被授权接收者获得，而不能被未授权者接收和理解。认证性，是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。,34,1.2 信息论的研究对象、目的和内容,信源,信道,信宿,最简单的通信系统模型三个基本单元：信源（Source）、信道（Channel）和信宿（Destination）。,35,1.2 信息论的研究对象、目的和内容,信源：消息的源，通常指向通信系统提供消息的人、设备或事物。信源输出的消息有多种形式：例如，从消息在时间上和幅度上的分布情况这一角度，可分为离散信源和连续信源。前者指信源发出的消息在时间和幅度上都是离散分布的，

19、如字母、文字、数字等符号组成的符号序列或单个符号 后者指在时间和幅度上都是连续分布的，如话音、图像等。,36,1.2 信息论的研究对象、目的和内容,信宿：消息传递的对象，即接收消息的人、设备或事物。根据实际需要，信宿接收的消息，其形式可以与信源发出相同，也可以不同。当两者形式不同时，存在一个映射关系。,37,1.2 信息论的研究对象、目的和内容,信道：传递消息的通道，广义上是指从信源到信宿间传递物理信号的媒质和设施。信道的种类很多，如电信中常用的架空明线、同轴电缆、波导、光纤、传输电磁波的空间等都是信道。也可以从信道的性质或其传送的信号情况来分类，例如：无干扰信道和有干扰信道、恒参信道和变参信

20、道、离散信道和连续信道、单用户信道和多用户信道等。信道的问题主要是它能够传送多少信息的问题，即信道容量的大小,38,1.2 信息论的研究对象、目的和内容,干扰源 是整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况。对于任何通信系统而言，干扰的性质、大小是影响系统性能的重要因素。,39,1.2 信息论的研究对象、目的和内容,信源编码器 是把信源发出的消息变换成由二进制码元（或多进制码元）组成的代码组，这种代码组就是基带信号；同时通过信源编码可以压缩信源的冗余度（即多余度），以提高通信系统传输消息的效率。信源译码器 是把信道译码器输出的代码组变换成信宿所需要的消息形式，它

21、的作用相当于信源编码器的逆过程。,40,1.2 信息论的研究对象、目的和内容,信道编码器 在信源编码器输出的代码组上有目的地增加一些监督码元，使之具有检错或纠错的能力；信道译码器 具有检错或纠错的功能，它能将落在其检错或纠错范围内的错传码元检出或纠正，以提高传输消息的可靠性。,41,1.2 信息论的研究对象、目的和内容,多用户通信系统模型 通信系统的模型不是不变的，这要视实际情况而定。前面图中给出的模型只适用于收发两端单向通信的情况，它只有一个信源和一个信宿，信息传输也是单向的。在网络通信情况下，可能有很多分开的信源、信道和信宿进行信息交换。例如，广播通信是一个输入、多个输出的单向传输通信，而

22、卫星通信网则是多个输入、多个输出和多向传输通信。要研究这些通信系统中的信息传输和处理问题，需要对两端单向通信系统模型作适当修正，引用多用户通信系统模型，并将单向通信的信息理论发展成为多用户信息理论。这是近20多年来信息理论研究中的一个十分活跃的课题。,42,1.2 信息论的研究对象、目的和内容,2.信息论的研究内容 对信息论的研究内容一般有以下三种理解 1)狭义信息论(香农的基本理论)也称经典信息论 主要研究信息的测度、信道容量及信源和信道编码理论等问题。2)一般信息论(通信理论)主要研究信息传输和处理问题。除香农理论外，一般信息论的研究还包括：噪声理论、信号滤波与预测、统计检测与估计理论、调

23、制理论、信号处理与信号设计理论等。,43,1.2 信息论的研究对象、目的和内容,3)广义信息论(信息科学)不仅包括上述内容，而且包括所有与信息有关的自然和社会领域，具有更广泛的研究内容。,44,1.3 信息论的形成和发展,香农信息论的基本任务是为设计有效而可靠的通信系统提供理论依据。信息论是信息科学的主要理论基础之一。它是在长期通信工程实践和理论基础上发展起来的。信息论自诞生到现在不过40多年，这在人类的历史长河中是十分短暂的，但它的诞生和发展对科学技术的影响是相当深刻的。现在它成为一门独立的理论学科。,45,1.3 信息论的形成和发展,20世纪20年代奈奎斯特（Nyquist，H）和哈特莱（

24、Hartley，LVR）提出了信息的定义。1924年奈奎斯特解释了信号带宽和信息速率之间的关系。1928哈特莱最早研究了通信系统传输信息的能力，给出了信息度量方法。1936年阿姆斯特朗（Armstrong）提出了增大带宽可以使抗干扰能力加强。,46,1.3 信息论的形成和发展,19411944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。与此同时维纳在研究火控系统和人体神经系统时，

25、提出了在干扰作用下的信息最佳滤波理论，成为信息论一个重要分支。,47,1.3 信息论的形成和发展,1948年发表“通信的数学理论”，标志着信息论的诞生；1948年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作乐全面的论述；1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础；1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究；,48,1.3 信息论的形成和发展,50年代信息论在学术界引起了巨大的反响。60年代信道编码技术有较大进展，使它成为信息论的又一重要分支；信源编码的研究落后于信道编码。香农 1959年的

26、文章(Coding theorems for a discrete source with a fidelity criterion)系统地提出了信息率失真理论，它是数据压缩的数学基础，为各种信源编码的研究奠定了基础,49,1.3 信息论的形成和发展,到70年代，有关信息论的研究，从点与点间的单用户通信推广到多用户系统的研究。1972年盖弗（Caer）发表了有关广播信道的研究，以后陆续有关于多接入信道和广播信道模型的研究，但由于这些问题比较难，到目前为止，多用户信息论研究得不多，还有许多尚待解决的课题。,50,总结,信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究信息的传输、提取和处理系统中一般规律的学科。主要内容包括香农理论、编码理论、维纳理论、随机噪声理论、信号滤波和预测、统计检测和估计理论、调制理论、抗干扰理论、信号处理理论以及保密理论。信息论内容广泛，各分支相对独立，本课程主要讲信息论的基本理论，即香农理论。研究信息论的主要目的就是为了高效、可靠、安全，并且随心所欲地交换和利用各种各样的信息。,