信息论与编码第1章ppt.ppt
2023/11/11,信息论导论,通信与信息工程学院,2023/11/11,第1章 概论,什么是信息(information)？,什么是信息论(information theory,informatics)？,什么是信息科学(information science)？,2023/11/11,一、信息的一般概念,1、古老而现代的话题,信息是一个古老而现代的话题。,说它现代，直到现在对信息也没有一个公认的定义。,说它古老，人类很早就有意识地传递信息；中国古代的烽火狼烟就是一个例子。,2023/11/11,2、信息定义上的困惑,信息是事物之间的差异；,信息是能够用来消除随机不确定性的的东西；,信息是物质和能量在时间和空间中分布的不均匀性；,信息的各种定义：,信息是事物联系的普遍形式；,2023/11/11,各种信息定义都从不同层次、不同侧面描述了信息的某些特征，但至今尚无一种定义能够为社会各界所一致接受。,3、本体论与认识论层次的信息概念,对信息可以从本体论和认识论两个层次上去理解。,本体论层次上的信息概念是广义的概念，可以将任何事物的运动状态及其变化方式都理解为信息。,2023/11/11,例如花开果熟、鸟啼兽鸣等等都是信息。,从这个意义上讲，信息是一种客观存在，与我们主观是否感知到它没有关系。,认识论层次上的信息概念却引入了一个约束条件认识主体，它只把那些认识主体所能感知的事物的状态及其变化方式才视为信息。,而那些认识主体感觉不出来的，或者感觉到了但不能理解的东西都不叫信息。,2023/11/11,虽然认识论层次的信息概念层次要低一些，范围要窄一些，但其内涵更丰富。,由于认识主体具有感觉能力、理解能力和目的性，能够感知事物状态及其变化方式的外在形式、内在含义并能够判断其效用价值，因此在认识论层次研究信息时，一般要同时考虑到形式、含义和效用三个因素。,2023/11/11,在认识论层次研究信息时，把只考虑到形式因素的部分称为语法信息；,4、语法信息、语义信息和语用信息,把只考虑到含义因素的部分称为语义信息；把只考虑到效用因素的部分称为语用信息。,显然，语义信息和语用信息涉及认识主体的主观因素。,目前，信息论中主要研究语法信息。,2023/11/11,5、信息、消息(message)和信号(signal),信息或者准确地说语法信息的数量描述始于美国科学家香农()。,1948年，香农发表了“通信的数学理论”(A Mathematicsl Theory of Communication)，创立了信息论，开始对信息的数量化研究。,2023/11/11,为理解香农用数量描述的信息，从最简单的通信系统谈起：,信源(source)是提供消息的人、机器或事物；,信宿(destination)是接收消息的人、机器或事物；,信道(channel)是传递消息的通道。,2023/11/11,消息是由图像、声音、文字、数字等符号组成的序列。,消息的传递则有时需要借助于载体；如用纸写字并传递纸，纸就是载体。,承载消息的载体称为信号；现代最便于传输的信号是电信号和光信号，相应的信道如电缆、传输电磁波的空间和光缆等。,2023/11/11,从通信的实质意义来讲，如果信宿收到的消息是已知的，则等于没有收到任何消息。,因此，人们更感兴趣的是消息中所包含的未知成分，用概率论的术语来讲，就是具有不确定性的成分，香农将该成分称为信息，并进行了数量描述。,三者的关系：通信系统传输的是信号，信号承载着消息，消息中的不确定成分是信息。,2023/11/11,6、辞海对信息的解释：,信息是通信系统传输和处理的对象，泛指消息和信号的具体内容和意义。,信息的量值与信息的随机性有关，如在接收端预估消息或信号中所蕴含的内容或意义的可能性越小，信息量就越大。,2023/11/11,二、信息论的研究内容,1、香农信息论的研究内容,香农在1948年的经典论文“通信的数学理论”中针对通信系统，阐明了几个重要而带有普遍意义的问题：,通信系统传递的对象是信息，信息的度量问题，信息熵(entropy)的概念；,香农信息论也称为狭义信息论，研究从通信系统引出的基础理论问题。,2023/11/11,信息压缩和无失真恢复的极限条件；,信道容量(channel capacity)的概念，在给定信道中信息传输的极限问题。,在噪声下如何有效而可靠地传递信息，信源编码(source coding)和信道编码(channel coding)的概念；,在1959年所发表的“保真度准则下的离散信源编码定理”(Coding Theorems for a Discrete Source at the Fidelity Criterion)中，,2023/11/11,香农系统提出了信息率失真理论(rate-distortion theory)，给出了在一定允许失真条件下信息压缩和恢复的极限条件。,1961年，香农的“双路通信信道”(Two-Wag Communication Channels)一文又将信息论拓展到了多用户领域。,从1951年美国无线电工程师协会(IRE)成立信息论组开始，包括香农本人在内的一些科学家也提出了许多编码理论和编码方法。,2023/11/11,因此，归纳起来，香农信息论的研究内容包括：,信息熵、信道容量和信息率失真函数；,无失真信源编码定理、信道编码定理和保真度准则下的信源编码定理；,信源编码、信道编码理论与方法。,2023/11/11,2、一般信息论的研究内容,一般信息论研究从广义通信引出的基础理论问题。,几乎在香农创立信息论的同时，另一位美国科学家、控制论(Control Theory,Cybernetics)的奠基人维纳(N.Wiener)将人或机器与外部环境所进行的交换看成广义的通信，将信息理解为广义通信的对象。,2023/11/11,在此基础上，维纳将研究重点放在广义通信的接收端，提出了从噪声中提取信息的微弱信号检测理论，也称为最佳接收理论，形成信息论的一个重要分支。,因此，一般认为，一般信息论的研究内容除香农信息论的研究内容外，还包括维纳的微弱信号检测理论：包括噪声理论、信号滤波与预测、统计检测与估计理论、调制理论等。,2023/11/11,3、广义信息论,无论是香农信息论还是一般信息论，都未讨论涉及认识主体主观因素的语义信息和语用信息，要研究信息的内在含义和效用价值，就必然会渗透到如心理学、生物学、神经生理学、语言学、经济学、社会学等有关领域。,1977年，美国经济学家波拉特就曾发表“信息经济”一文，用信息论的概念研究经济现象和社会现象。,2023/11/11,何为广义信息论，至今并无定论。,目前比较公认的说法为，广义信息论是从客观和主观两个方面全面研究信息的度量、获取、传递、存储、处理和施用的技术科学。,在这个意义上，人们更愿意将广义信息论称为信息科学。,2023/11/11,三、信息科学及其研究内容,1、信息科学的概念,一般认为，信息科学是研究信息的度量、获取、传递、存储、处理和施用的技术科学。,进一步，可以从信息科学的研究对象和研究内容两个方面来理解信息科学的概念。,2023/11/11,信息科学以信息为研究对象,维纳揭示了信息具有与物质、能量不同的属性。,维纳曾指出：信息既不是物质，也不是能量，信息就是信息。,辞海对信息的解释中也明确提出：信息、物质和能量被称为系统的三大要素。,2023/11/11,以信息为研究对象的信息科学的出现和发展，使原来以物质、能量两者为中心的技术科学体系转变为以物质、能量和信息三者为中心的技术科学体系。,信息科学以信息运动规律为研究内容,作为广义通信系统，人或机器与外部环境所进行的信息交换过程可用信息运动模型表示为：,因此，与物质和能量的度量一样，信息的度量也成为现代技术科学体系的基础。,2023/11/11,信息运动包括获取、传递、存储、处理和施用等环节。,因此，对信息运动规律的研究归结为对信息获取、信息传递、信息存储、信息处理和信息施用的研究。,2023/11/11,2、信息科学的研究内容,信息科学是由一般信息论发展起来的，目前它已渗透到通信与电子、计算机、自动化、微电子与材料、光学与光电子等工程学科以及经济、管理、心理、生物、社会、哲学等非工程学科。,可见，信息科学的研究内容极为广泛，是目前最活跃的技术科学之一。,
