信息论基础复习.ppt

1,2,3,4,5,6,7,8,9,10,11,序论,一、信息论的形成及历史 Claude Shannon及其主要贡献,二、通信系统的模型 信源、信道、信宿及相互关系,三、信息论的基本研究内容,12,第一章 随机变量的信息度量,一、信源的分类及数学模型,13,二、自信息,定义,性质、单位、随机事件的不确定性,14,三、信源的信息熵,定义：,单位bit、nat、hart、N进信息单位,信息含义（物理意义）,联合熵：,15,条件熵：,熵的简单性质：,等号成立的充要条件是X有退化分布,2、极值性,等号成立的充分必要条件是X服从均匀分布,16,3、链法则：,二进熵函数：,17,四、相对熵和互信息,相对熵：,相对熵的非负性：,等号成立的充要条件是,18,互信息、条件互信息,互信息的简单性质：,1、非负性,2、链法则,3、数据处理不等式,19,各种熵及互信息的相互关系：,注：此图表示了一些等式和不等式的关系，能够写出并从信息的角度来解释它们。,20,五、信息量的一些性质,1、凸函数的定义,2、Jensen不等式，对数和不等式,3、D(p|q)是概率分布对(p,q)的凸函数(证明）,4、熵 H(p)是概率分布p的凹函数(证明),6、法诺不等式,21,第二章 随机过程的信息度量,一、信源和随机过程的基本概念,各种信源的数学模型：,无记忆信源,马尔科夫信源：平稳分布、转移概率矩阵、香农线图 相互关系,平稳信源,大数定理,22,二、随机过程的信息度量,平稳信源的极限熵(熵率):,特别,1、无记忆信源：,2、k阶平稳马氏信源：,k1时：,注：会计算平稳马氏信源的平稳分布及熵率,23,三、渐近等分性,1、对无记忆信源：,2、弱典型序列：,24,四、信源编码定理,了解信源编码定理的内容(定理2.4.1),25,第三章 数据压缩和信源编码,一、等长码,等长码的概念,码率:,26,二、变长码,变长码的定义、有限扩张码、唯一可译码、平均码长,即时码及存在的充要条件,Kraft不等式：,码树、用树图法进行编码,27,三、编码方法,1、Huffman码,熟练掌握编码方法、了解该方法的特点、优势和不足,(特别注意补虚元的问题),2、算术码,掌握香农法诺编码方法,3、通用信源编码,了解LZ算法、LZW算法的基本原理和具体方法,28,第四章 数据可靠传输和信道编码,一、离散无记忆信道和信道容量,离散信道的数学模型：,信道编码的定义、编码速率、错误概率,离散无记忆信道容量的定义：,几种特殊的信道容量的计算：,二进无噪信道、二进对称信道、一般对称信道、弱对称信道、准对称信道,29,二、信道容量的计算,会用拉格朗日乘数法求信道容量,了解信道容量的迭代算法的基本思想,30,三、线性分组码,信道的译码规则,极大似然译码规则：,平均错误概率：,31,生成矩阵、校验矩阵、相互关系,线性分组码的汉明距离、汉明重量,检纠能力与最小距离（最小重量）的关系，与校验矩阵的关系(两个定理）,系统码,最小距离译码规则,汉明码,注：给出生成矩阵(或校验矩阵)求校验矩阵(或生成矩阵)、求所有码字、最小距离(最小重量)、检纠能力、求给出输出序列的译码。,32,第五章 限失真信源编码和率失真函数,一、限失真信源编码模型和率失真函数,2、失真测度、平均失真、失真矩阵,1、限失真信源模型,3、限失真信源编码、码率,4、信息率失真函数,33,5、信息率失真函数的性质(定理5.1.1),6、平稳信源的率失真函数,特别对无记忆信源,34,二、率失真函数的计算,简单信源的信息率函数的计算,用拉格朗日乘子法计算,了解迭代算法的基本思想,三、限失真信源编码定理,了解限失真信源编码定理的基本内容,35,第六章 连续信源和信道编码理论,一、可微熵,1、连续信源可微熵的定义:,简单的信源的熵的计算(均匀分布、指数分布、正态分布),联合熵、条件熵的定义、熵函数的性质,随机变量经变换后可微熵的变化情况(定理6.1.2),36,二、相对熵、互信息,相对熵、互信息的性质及相互关系,最大熵原理,37,三、信息率失真函数,失真测度、率失真函数的定义,率失真函数的性质,高斯信源的率失真函数,无记忆信源的率失真函数,四、高斯信道,高斯信道的定义、容量,