信息论基础ppt课件第1章_绪论.ppt
信息论基础 B第1章 绪论,任课老师：博士信息与信息工程学院江苏省图像处理与图像通信重点实验室,1,任课老师相关情况,干(gan)单位：通信与信息工程学院 江苏省图像处理与图像通信实验室 联系方式：手机号码，请课后索取 email:办公室：三牌楼校区 科技楼1306,2,任课老师相关情况,研究方向：（1）在无线通信中的视频通信，图像前后处理；（2）图像超分辨率重建；（3）人脸追踪，鉴别，识别,3,4,My work,上课要求,保持课堂安静，如果有能力者，可以书面提出申请不听课，允许不上课，可以参加考试；期末成绩70+平时作业（15）、上课（15）；不交一次作业，扣3分，（从未交作业的同学，只有4分）每章结束交一次作业；随机点名3次，不到者一次平时成绩扣6分，（3次不到的同学，只有2分）,5,上课时间、地点：答疑 课间答疑、用email提问：本人尽自己所能，帮助大家学好信息论。每章上完之后，给大家提供电子版的PPT 当然，最好的复习资料是参考书。,6,注意!,课程资源,教材：曹雪虹，张宗橙，信息论与编码参考书：信息理论基础周荫清 北航出版社 Elements of Information Theory,by T.M.Cover（英，中均可）,7,校内课程网络资源,http:/,8,国外网络资源,9,1、http:/ocw.mit.edu/OcwWeb/Electrical-Engineering-and-Computer-Science/6-050JInformation-and-EntropySpring2003/CourseHome/index.htm2、www.cs.toronto.edu/roweis/csc310/3、http:/www.cs.utoronto.ca/radford/csc310.S04/index.html4、http:/www.stanford.edu/class/ee477/5、http:/www.cs.ucsb.edu/vandam/teaching/S06_CS225/http:/www.math.ucsd.edu/%7Ecrypto/java/ENTROPY/Shannons Experiment to Calculate the Entropy of English,信息论与编码与其它课程的关系,10,信息论是其它通信相关课程的数学理论基础；信息论是信息科学和技术的基本理论,信息科学 大厦的地基;没有信息论的基础，从事通信与信息领域的研究 和创新是不可能的事情；,本人还认为：信息论可以帮助大家梳理上学期通信原理的相关知识点，对考研的同学有用；信息论相当多的知识点用到概率论，可以帮助大家复习概率论，对考研的同学有用；信息论可以让大家对通信增加必要理解的同时，拿到必要的学分。,国内和国外的通信状况,11,两亿公里的火星,1.1 信息论的形成和发展,12,信息论的检索情况,1.1 信息论的形成和发展,13,信息论创立的标志:香农于1948年发表的论文：A Mathematical Theory of Communication（通信的数学理论）,香农的简历,14,Claude Elwood Shannon:April 30,1916-February 24,2001,1938年香农在MIT获得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路的符号分析)。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是An Algebra for Theoretical Genetics(理论遗传学的代数学)。1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司 1948年香农在Bell System Technical Journal上发表了A Mathematical Theory of Communication。1949年香农发表了另外一篇重要论文Communication Theory of Secrecy Systems(保密系统的通信理论)。,香农的简历,15,Claude Elwood Shannon:April 30,1916-February 24,2001,Dont throw away information that could be useful to you.Claude Shannon,什么是信息论？,16,组成客观世界的三大基本要素：物质能量信息没有物质什么都不存在，没有能量什么都不会发生，没有信息什么都没有意义。美国学者欧廷格Shannon用概率的方法对语言做近似的表述，研究的结果是有限的。,什么是信息论？,17,信息的通俗概念：消息就是信息。,用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来，就成为消息。消息中包含信息，消息是信息的载体。,什么是信息论？,18,广义的信息论,什么是信息论？,狭义信息论通信信息论,19,香农信息：信息是对事物运动状态或存在方式的不确定 性的描述。通信的基本问题是在一点精确或近似恢复另一点（信源）所选择的消息。香农通信的过程就是消除不确定性的过程。,信息论的发展过程1924年，H Nyquist，电报信号传输中脉冲速率与带宽的联系1928年，RV Hartley,引入非统计信息量(用随机事件样本空间中元素的个数的对数值衡量)1930年，维纳将傅立叶分析方法全面引入随机信号的研究中1936年，EH Armstrong，带宽与抗干扰能力(提出频率调制)40年代初，N Wiener,“控制论”,20,信息论的发展过程(cont.)1948年，Shannon,发表论文“A mathematical theory of communications”1952年，Huffman编码1954年，P.Elias提出了卷积码1959年，Shannon,限失真信源压缩编码理论，“Coding theorem for a discrete source with a fidelity criterion”1961年，Shannon,“双路通信信道”，多用户理论1963年，P.Elias提出了算术编码1972年，Cover,广播信道1982年，Ungerboeck提出网格编码调制1993年，Turbo码的性能非常接近理论极限,21,1.2通信系统的模型,22,“通信的基本问题就是在一点重新准确地或近似地再现另一点所选择的消息”。通信系统三项性能指标：传输的有效性(Efficiency)传输的可靠性(Reliability)传输的安全性,23,通信系统模型:,24,信源,信宿,编码器,译码器,信道,噪声,消息,信号,消息,信号加噪声,通信系统模型方框图:,25,信源产生消息的源，消息可以是文字，语言，图像。可以离散，可以连续。随机发生。研究的主要问题是消息的统计特性和产生信息的速率。信源编码器对信源输出进行变换，求得有效性；加密/解密安全性密钥,26,信道编码器提高抗干扰性，求得可靠性；信道中心问题是研究信道的统计特性和传信能力，即信道容量。译码器信宿信息的接收者,27,对上述问题的研究，香农得到了三个定理无失真信源编码定理（第一极限定理）信道编码定理（第二极限定理）限失真信源编定理（第三极限定理）,28,对一个信源输出的数据进行数据压缩时，压缩率的极限值是多少？通过一个有噪声的信道能够以多大的速率可靠地传输数据？当速率受限时，我们表示一个对象能够实现多大的精度？,信息论的研究内容,信息论要回答的一些最基本的理论问题：什么是信息？如何度量？在给定的信道中，信息传输有没有极限？信息能否被压缩和恢复？极限条件是什么？从实际环境中（如干扰、噪声）抽取信息，极限条件是什么？在允许一定失真（Distortion）的条件下，信息能否被更大程度地压缩？极限条件是什么？设计什么样的系统才能达到上述极限？现实中，接近极限的设备是否存在？信息论的成功就在于首先对这些问题给出了明确的回答，这就是信息量、信道容量、熵（Entropy）、信息率失真函数、Shannon的三个定理和Shannon公式等。,29,狭义信息论体系结构,30,efficient:文本,represent every symbol with 8 bit 1 book:8*(500 pages)*1000 symbols=4 Mbit 1 book compression possible to 1 Mbit(1:4),31,efficient:语音,sampling speed 8000 samples/sec;accuracy 8 bits/sample;speed 64 kBit/s;45 minutes lecture=45*60*64k=180Mbit 45 bookscompression possible to 4.8 kBit/s(1:10),32,efficient:CD music,sampling speed 44.1 k samples/sec;accuracy 16 bits/sample storage capacity for one hour stereo:5 Gbit 1250 books compression possible to 4 bits/sample(1:4),33,efficient:digital pictures,300 x 400 pixels x 3 colors x 8 bit/sample2.9 Mbit/picture;for 25 images/second we need 75 Mb/s2 hour pictures need 540 Gbit 130,000 bookscompression needed(1:100),34,efficient:summary,text:1 book storage:=4 Mbit 1 book speech:45 minutes lecture=45*60*64k=180Mbit 45 booksCD music:storage capacity for one hour stereo:5 Gbit 1250 booksdigital pictures:2 hour pictures need 540 Gbit 130,000 books,35,Morse,36,efficient:应用,37,文本:Zip;etc.音乐:MP3 图像:JPEG,MPEG,efficient:example JPEG,38,100,0,90(58k bytes),50(21k bytes),10(8k bytes),best quality,lowest compression,worst quality,highest compression,Reliable:,39,Transmit0 or 1,Receive 0 or 1,0 0 correct01 in-correct 11 correct 1 0 in-correct,What can we do about it?,Reliable:2 examples,40,TransmitA:=0 0B:=1 1,Receive 0 0 or 1 1 OK,0 1 or 1 0 NOK1 error detected!,A:=0 0 0B:=1 1 1,000,001,010,100 A111,110,101,011 B1 error corrected!,Reliable:2 examples,41,重复编码,42,43,通信中的几个常识,误码率10-3误码率10-6误码率10-9误码率10-15 对于误码率满足误码率10-15，重复编码需要多少次？69,44,信息论的应用,语音信号压缩(G.711,GSM,Vocoder)音频信号压缩(MP3)图像信号的压缩(JPEG,MPEG)计算机文件的压缩(gzip)纠错编码(汉明码、卷积码、网格编码等)通信(深空通信、Modem)其他(信息经济学),45,现在通信到了什么程度？,手机到了山寨时代 视频播放开始普及,46,通信发展的趋势是什么？,有线的通信是无限的；无线的通信是有限的。也是最困难的未来通信的趋势是无线通信。解决途径是信息论的手段。,47,3G是历史？,48,如何充分利用香农定理？,49,通信还可以认为是什么？,50,本课程的目的,掌握信息论的基本概念理解用随机统计方法研究信息及其传输的实质了解用信息理论的相关知识解决实际问题技术的途径和方法形成以信息的视角分析问题的能力了解信息论产生发展的过程，知其然与所以然,51,课程的主要内容,第一章 绪论第二章 信源与信息熵 第三章 信道与信道容量第四章 信息率失真函数第五章 无失真信源编码第六章 信道编码 第七章 加密编码,52,53,END,
