第二部分3.ppt
二、信源及信源编码,2.4 限失真信源编码（熵压缩编码）主要内容7.1 失真测度7.2 信息率失真函数7.3 限失真信源编码定理和逆定理7.4 信息率失真函数的计算,引入：1、香农第一、二定理指出，R C，可以实现无失真信息传输(传输差错任意小)，反之不行；2、实际上不需要也不可能完全无失真，在保证一定质量(保真度准则：不需要译码的熵压缩编码，不可逆)下允许信源存在一定的失真；3、本章主要研究内容：给定信源的熵，在允许失真条件下，信源熵所能压缩的极限理论值？如何计算？4、采用了研究信道的方法，即将信源压缩过程看成通过一个信道，寻找保真度准则下的最小平均互信息即：信息率失真函数,二、信源及信源编码,释：1、无失真信源编码主要针对离散信源，限失真信源编码主要针对连续信源(连续信源绝对熵无限大：必须压缩后才能传输)；2、限失真信源编码也适用于离散信源；3、限失真信源编码可看成一种数学变换，编码过程看成从一个集合到另一个集合的变换，称为试验信道；4、连续信源限失真信源编码方法主要包括分组熵压缩(标量量化，矢量量化，变换编码等)和非分组熵压缩(预测编码等)。,二、信源及信源编码,一、离散信源信息率失真函数典型离散信源的信息率失真函数R(D)曲线如图,R(D),D,0,Dmax,H(X),D*,R(D*),、R(D)是非负函数，定义域为0，Dmax，值域为0，H(X)，当D Dmax时，R(D)=0、R(D)是关于D的下凸函数；、定义域内R(D)是D的严格递减函数。,二、信源及信源编码,二、时间离散的连续信源信息率失真函数,二、信源及信源编码,1、平均失真 设时间离散的连续信源X的概率密度为p(x)，失真函数为d(x,y)，试验信道为p(y|x)，则平均失真为,释：X，Y独立时的最小平均失真定义为平均失真最大值,2、信息率失真函数,二、信源及信源编码,设满足保真度准则的试验信道集合为,则信息率失真函数定义为,3、时间离散的连续信源信息率失真函数的性质,二、信源及信源编码,(1)非负性(2)在 区间是单调递减函数；(3)在 区间是下凸函数；(4)当 时(连续信源绝对熵)。,释：(1)离散信源熵是率失真函数的上界；(2)连续信源相对熵不是率失真函数的上界。,4、时间离散的连续信源信息率失真函数的参量表达式,二、信源及信源编码,离散信源信息率失真函数的参量表达式,二、信源及信源编码,5、平方误差测度下时间离散高斯信源率失真函数,二、信源及信源编码,时间离散高斯信源X的概率密度为,在失真函数 下的信息率失真函数为,Bits/每自由度,6、平方误差测度下独立并联高斯信源率失真函数,二、信源及信源编码,求在失真函数 下的信息率失真函数。,由N个均值为零，方差为 的相互独立高斯信源构成的矢量 称为独立并联高斯信源，其中Xi的概率密度为,二、信源及信源编码,N维独立并联高斯信源的失真函数为,并联信源的平均失真为,其中，是并联信源平均失真 下第i个独立高斯信源分配到的平均失真。,并联信源的信息率失真函数为,因为 是相互独立的，所以有,所以,当 时等号成立。,释：给定并联信源的平均失真 D，计算第i 个信源应分配的平均失真Di，进而计算第i 个信源的失真函数，最后求和平均得到并联信源的失真函数,二、信源及信源编码,第i 个高斯信源平均失真分配过程如下：,二、信源及信源编码,第i 个高斯信源的失真函数,令,由 得到分配的平均失真。,二、信源及信源编码,第i 个高斯信源分配的平均失真（倒注水原理）为,二、信源及信源编码,特例：方差相同 的独立并联高斯信源的信息率失真函数。,信源平均功率：信源平均失真：,7、平方误差测度下有记忆并联高斯信源率失真函数,二、信源及信源编码,由N个均值为零，方差为 的高斯信源构成有记忆的矢量 称为有记忆并联高斯信源，其中自协方差矩阵为,其中，,二、信源及信源编码,将自协方差特征分解得到,其中，是特征值，是归一化正交矩阵。,释：自协方差为的有记忆并联信源与方差分别为 的独立并联高斯信源具有相同的信息率失真函数。,二、信源及信源编码,8、时间连续限带白高斯信源率失真函数,设高斯随机过程 的功率谱密度为其中，P 是信源平均功率。,的信息率失真函数定义为,易知，等价于 个方差相同的独立高斯信源的并联信源。,二、信源及信源编码,可得时间连续限带白高斯信源率失真函数为,也可表示成,其中，W 是单边带宽。,二、信源及信源编码,9、时间连续高斯信源率失真函数,设高斯随机过程 的功率谱密度为，则信息率失真函数为,二、信源及信源编码,(2)当划分间隔足够小时，第i 个间隔可近似成限带白高斯信源，功率谱密度近似为：,释：(1)将频率按照 等间隔划分，划分后可认为是不相关的，而对于高斯信源则是相互独立的；,其中，,(3)第i 个限带白高斯信源在分配平均失真 下的信息率失真函数为,二、信源及信源编码,(4)求得时间连续高斯信源信息率失真函数为：,由 得,二、信源及信源编码,代入上式，得到：,令 得,二、信源及信源编码,也可以写成：,10、平方误差测度下时间离散连续信源率失真函数,二、信源及信源编码,时间离散连续信源X的均值为零，平均功率为P，熵为H(X)，在失真函数 下的信息率失真函数满足,其中，是信源X的熵功率,
