高二(16) 张丹君 36号 申农与信息论.ppt

《高二(16) 张丹君 36号 申农与信息论.ppt》由会员分享，可在线阅读，更多相关《高二(16) 张丹君 36号 申农与信息论.ppt（4页珍藏版）》请在三一办公上搜索。

1、申农与信息论,申农平生克劳德艾尔伍德申农（Claude Elwood Shannon，1916年4月30日2001年2月26日）是美国数学家、信息论的创始人。1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有：1938年的硕士论文继电器与开关电路的符号分析，1948年的通讯的数学原理和1949年的噪声下的通信。2001年2月26日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。,信息论是信息科学的一个分支，它是信息科学的理论基础之一。信

2、息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源信道隔离定理相互联系。申农被称为是“信息论之父”。人们通常将香农于1948年10月发表于贝尔系统技术学报上的论文A Mathematical Theory of Communication（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里奈奎斯特和拉尔夫哈特利先前的成果。在该文中，申农给出了信息熵（以下简称为“熵”）的定义：H=-pilogpi这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵度量的是消息中所含的信息量，其

3、中去除了由消息的固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。,信息论,一个概念 三个定理,信息论中熵的概念与物理学中的热力学熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。互信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：I(X,Y)=H(X)+H(Y)-H(X,Y)其中H(X,Y)是联合熵(Joint Entropy)，其定义为：H(X,Y)=-p(x,y)logp(x,y)x,y互信息与多元对数似然比检验以及皮尔森2校验有着

4、密切的联系。,应用范围编码学密码学与密码分析学数据传输数据压缩检测理论估计理论政治学（政治沟通）信息论概述信息论是一门用数理统计方法来研究信息的度量、传递和变换规律的科学。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。研究范围信息论的研究范围极为广阔。一般把信息论分成三种不同类型：(1)狭义信息论是一门应用数理统计方法来研究信息处理和信息传递的科学。它研究存在于通讯和控制系统中普遍存在着的信息传递的共同规律，以及如何提高各信息传输系统的有效性和可靠性的一门通讯理论。(2)一般信息论主要是研究通讯问题，但还包括噪声理论、信号滤波与预测、调制与信息处理等问题。(3)广义信息论不仅包括狭义信息论和一般信息论的问题，而且还包括所有与信息有关的领域，如心理学、语言学、神经心理学、语义学等。,