信息论与编码第一章信息论基础新.ppt

《信息论与编码第一章信息论基础新.ppt》由会员分享，可在线阅读，更多相关《信息论与编码第一章信息论基础新.ppt（27页珍藏版）》请在三一办公上搜索。

1、2023/9/5,1,第一章 绪论,2023/9/5,2,提纲,信息的概念信息论的研究思路、目的和内容概率回顾,2023/9/5,3,1.1 信息的概念,世人谈及信息，远非今日起。据新辞海考证，一千多年前唐代诗人李中暮春怀故人中有“梦断美人沉信息，日空长路倚楼台”的诗句，这恐怕是最早关于信息的文字记载。人们与信息打交道的历史与自身一样悠久，人类从诞生起，一直与信息打交道。利用指南针获取方向信息；利用烽火告警加快信息传输的速度；利用文字、纸张和印刷术实现信息的存贮；利用望远镜、显微镜扩展信息感受器官；利用算盘、计算机增强信息处理能力当今人们生活在信息的海洋中，“信息”一词人人皆知。但它的含义到底

2、是指什么？,2023/9/5,4,如果将信息作为一个相对广义的概念，大致可从三个方面来理解。“信息”作为通信的消息来理解“信息”是作为运算的内容而明确起来的“信息”是作为人类感知的来源而存在的,2023/9/5,5,（1）“信息”作为通信的消息来理解,在此意义下，信息可理解为人们在交流与通信时所要告诉对方的某种内容，如消息、情报、知识等。朋友的信件与电话、电台的天气预报、球赛的电视转播等等，都是交流和通信的一方要告诉另一方的消息。日常生活中人们常称之为“信息”。如何理解信息和消息呢？,2023/9/5,6,信息与消息的区别与联系,以文字、语声、图象等载体把客观物质运动和主观思维活动的状态表达出

3、来就成为消息，消息是表达信息的工具从通信的观点出发，构成消息的各种物理现象具有两个条件：一是能为通信双方所理解二是可以传递。,2023/9/5,7,这种任意两点间的通信，或消息在其间的流通情况，归纳为以下最简模型。,信息的流通与交换离不开通信，没有信息和信息的交流，整个世界就会变为一个沉寂、僵死的世界。对人类社会来说，没有信息的交流是不可思议的。,通信系统中形式上传输的是消息，实质上传输的是信息，消息中包含信息，消息是信息的载体。,2023/9/5,8,（2）“信息”是作为运算的内容而明确起来,在此意义下，“信息”是进行运算和处理所需要的条件、内容和结果，并常常表现为数字、数据、图表和曲线等形

4、式。例如：价目表反映商品价值信息；车速表反映行驶速度信息，万用表，示波器等。,2023/9/5,9,信息的处理离不开计算机，与计算机科学与技术密切相关。,2023/9/5,10,（3）“信息”是作为人类感知的来源而存在,人类不断地从外部世界取得有用的信息，加以分析、归纳和处理，得到对其规律性的认识，从而改造世界。信息是人类自身进化的一个基本条件，通过信息器官从自然界取得信息并利用它来强化自己，战胜自然。生物如不能从外部感知信息，就不可能适当地调整自己的状态，改善与外部世界的关系来适应这种变化，不能避免被淘汰的厄运。从外界摄取信息和利用信息的能力是一切生物得以生存的必要条件，生物越高级，摄取和利

5、用信息的本领越高超。,2023/9/5,11,小结,信息与人类的关系密切作为通信的消息，我们通过书信、电话、电报、电视、音乐等与之接触，与人交往。作为运算和处理对象的信息，我们也也极其频繁地同它打交道，观察大量的事物，接收和处理大量的数据。作为感知来源的信息，更是人人与之形影不离，感觉器官无时无刻不在感受信息，大脑不停地思维着。人类在信息的海洋中生存和发展，信息渗透在人类活动的一切环节之中。如何定义信息呢？,2023/9/5,12,信息的定义,这里列举几个具有代表性文献对信息的注释。辞海：“信息是指对消息接受者来说预先不知道的报道”；美国韦伯词典：“用来通信的事实，在观察中得到的数据、新闻和知

6、识”；英国牛津字典：“谈论的事情、新闻和知识”；日本广辞苑：“所观察事物的知识”。应该说这些注释还没有完全揭示信息的本质。,2023/9/5,13,信息论与控制论的创始人之一，美国已故著名数学家诺伯特维纳说：“信息就是我们在适应外部世界和控制外部世界的过程中，同外部世界进行交换的内容的名称”“信息就是信息，既不是物质，也不是能量”，即所述的内容指的是人类从外部世界所摄取的另一类内容，这就是关于事物运动变化着的状态及其规律，“信息是关于事物运动千差万别的状态和规律的知识”。,2023/9/5,14,1948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出：信息是事物运动状态

7、或存在方式的不确定性的描述。信息如何测度呢？如何知道获得的信息量的多少呢？由香农的定义可知：信息量与不确定消除的程度有关，消除了多少不确定性，就获得了多少信息。不确定性的大小如何度量呢？不确定性随机性概率论,2023/9/5,15,例1：天气预报10月份，北京天气，经常出现的天气：晴间多云、晴、多云其次：多云转阴、阴、阴有小雨最后：小雪、大雪的概率很低听天气预报前，我们可以大概猜出天气的情况：晴间多云、晴、多云如果预报讲是：晴间多云、晴、多云，与我们的猜测一致，所消除的不确定性小，获得的信息量也小如果预报讲是：小雪。与我们的猜测差距很大，所消除的不确定性大，我们获得的信息量大,2023/9/5

8、,16,例2：假设甲、乙两个布袋各装有完全相同的球100个，甲袋内红、白球各50个，乙袋内红、白、蓝、黑各25个。现随意从甲袋中摸出一球，是红球的概率为：1/2现随意从乙袋中摸出一球，是红球的概率为：1/4那么，“从甲袋从摸出红球”比“从乙袋从摸出红球”的确定性要大，不确定性要小，,2023/9/5,17,因此：不确定性大小与可能发生的消息数目及各消息发生的概率有关概率越小，不确定性越大，获得的信息量越多反之，如果某一事物或某一状态发生的概率为1，即预料中肯定的事件，不确定性接近0.既然不确定性可以度量，那么信息也是可以度量的，以概率论为基础，香农给出了关于信息的定义和度量(第二、三章)。,2

9、023/9/5,18,我国学者钟义信教授在本体论层次对信息的定义：信息是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识三个层次:信号,物理表达层;消息,数学表达层;信息,哲学表达层.,2023/9/5,19,1.2 信息论,信息论是应用近代数理统计方法来研究信息传输和处理的科学。它是在长期的通信工程和信息处理的实践中，和概率论、随机过程及数理统计这些数学学科相结合而发展起来的一门科学。代表人物：美国数学家、信息论的创始人香农：香农信息论开辟了通信科学的新纪元，为整个信息科学的形成和发展奠定了极其重要的理论基础。,2023/9/5,20,香农研究思路（信息论的三大理论支柱）,

10、非决定论观点决定论观点：拉普控斯的决定论，只承认必然性，排斥、否认偶然性。必然性寓于偶然性之中，采用概率统计的方法作为分析通信问题的数学工具形式化假说在输出端将发送端发送的信号（符号）形式上复制出来也就同时复现了输入端的语义内容抓住主要矛盾，跨出用数学方法描述和度量信息的关键一步 不确定性：通信的本质：“不知”到“知”，消除“不确定性”，接收者所得到的信息量，在数量上等于通信前后“不确定性”的消除量 不确定性与“多种结果的可能性”相关联，在数学上“可能性”以概率来度量。,2023/9/5,21,研究的对象,信息论研究的对象是消息传输系统。由于消息含有信息，亦称为信息传输系统，简称通信系统。人们

11、通过消息的传输和处理过程来研究信息传输和处理过程中的共同规律。广义的通信系统指所有的信息流通系统，不单指电话、FAX，E-mail之类，还包括生物有机体的遗传系统，神经系统，甚至人类社会的管理系统等。通信的基本问题是在彼时彼地精确地或近似地再现此时此地发出的消息。,2023/9/5,22,通信系统的统计模型：,这个模型包括以下五个部分：信源：产生消息和消息序列的源。信源的输出是消息，消息指某一具体事例，它不是信息本身，但携带信息，消息是信息的表达者编码器：编码是从消息到信号的过程，译码则为逆过程。信号携带消息，是消息的负荷者。在实际通信系统中，通常包括调制、发射等各种变换。编码的目的是提高信息

12、传输的有效性和可靠性，分为信源编码和信道编码两种，分别对原始消息进行适当的处理。,2023/9/5,23,信道：信道是信息传输和存储的媒介，如双饺线、光纤、空间等。注意：噪声源，这里是考虑噪声对通信系统影响的一种简化模型。它将各种干扰和噪声都等效地折合成信道干扰。译码器：译码是编码的逆变换，分为信道译码和信源译码。信宿：信宿是消息的接收者，接收消息的人和机器。,2023/9/5,24,研究的目的,寻找信息传输过程中应遵循的规律，用于指导通信系统的设计，使其具有更高的可靠性和有效性。所谓可靠性高，即通信接收端重现的消息失真尽量小。所谓有效性高，即信息传输的时间短，经济效果好，设备简单。,2023

13、/9/5,25,研究的内容,基础 信息论：信息的测度、信道容量，信源和信道编码理论等，香农基本理论工程信息论:香农+维纳 信息论香农：信源到信宿之间的全过程优化，重点是编码理论维纳：接收端，注意研究如何把受干扰的信号恢复、提取，主要是线性滤波理论、统计检测与估计理论，噪声理论等,2023/9/5,26,广义信息论：核心问题是拓广，有三重含义：首先是在信息含义的拓广，以语言信息为例：其次是在描述方法上的拓广：从定量到定性；从客观到主观；从概率到模糊；从统计到单个实发。最后是用途上的拓广：从通信领域拓广至相邻自然科学领域；从自然科学领域拓广至社会科学领域。,2023/9/5,27,1.3 概率回顾,