信息率失真函数的基本概念.ppt
2023/9/5,1,第4章 信息率失真函数,我们总喜欢去验证别人对我们许下的诺言，却很少去验证自己给自己许下的诺言。,2023/9/5,2,信息率失真函数,主要内容：限失真信源编码定理信息率失真函数保真度准则下的信源编码定理教学基本要求：掌握率失真函数的定义、性质、计算掌握保真度准则下的信源编码定理重点和难点：率失真函数(离散信源，连续信源)的计算保真度准则下的信源编码定理,2023/9/5,3,本章主要内容,4.1 基本概念 4.2 离散无记忆信源R(D)的计算 4.3 连续无记忆信源的R(D)的计算4.4 信道容量和信息率失真函数的比较4.5 保真度准则下的信源编码定理,2023/9/5,4,理论上“消息完全无失真传送”的可实现性信道编码定理：无论何种信道，只要 H(X)=C 则传输必失真。实际上“消息完全无失真传送”的不可实现性要做到无失真信源编码，要求H(X)RC；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要无失真传送，则信息率R也需无限大，信道容量C也必须为无穷大。而实际信道带宽是有限的，所以信道容量受限制。因此无法满足无失真传输的条件，因此传输质量必然受影响。,2023/9/5,5,有些失真没有必要完全消除（限失真信源编码）实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。打电话，即使语音信号有一些失真，接电话的人也能听懂。放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映24幅静态画面，视觉上就会感觉是连续的。信息率失真理论信息率失真函数香农定义了信息率失真函数R(D)定理指出：在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D).,2023/9/5,6,信息率失真函数极小值问题,I(X;Y)是P(X)和P(Y/X)二元函数。在讨论信道容量时：固定P(Y/X),I(X;Y)是P(X)的函数。离散情况下，I(X;Y)是 的上凸函数，因此必有I(X;Y)的极大值。在讨论信息速率时：固定,I(X;Y)是 的下凸函数，因此必有I(X;Y)的极小值。但是若X和Y统计独立，即这样极小值就变成0，此时极小值就没有意义了。引入一个失真函数R(D)，计算在失真度D一定的情况下，可求得信息率R的极小值。,2023/9/5,7,信息率与失真的关系,信源压缩后相比原始信源，误差或失真越大，说明压缩掉的信息量就越多。描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。信息率失真理论的应用：信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。,2023/9/5,8,4.1 主要内容,失真函数 平均失真 信息率失真函数 信息率失真函数的基本性质,2023/9/5,9,失真函数,由于信息率的大小与失真的程度有关，为了定量地描述信息率和失真的关系，必须先规定失真的测度标准，即失真函数：它用来表示信源压缩后的消息和原始发送的消息之间的误差。具体地：每一对，指定一个非负函数 称为单个符号的失真度（失真函数），它表示信源发出一个符号，压缩后在接收端收到，二者之间的误差或失真。,distortion,2023/9/5,10,失真函数,失真函数其它表示收发之间误差的失真函数：平方误差失真函数或均方失真函数绝对失真函数相对失真函数,2023/9/5,11,单符号离散信源的失真函数,设离散无记忆信源为信源通过矩阵P(Y/X)压缩压缩后，接收端Y,2023/9/5,12,失真矩阵,要描述离散信源的所有失真情况，必须用矩阵来表示：即失真矩阵，记作D若一个信源的所有符号压缩前后的失真大小都为，则可写作对角线上为0，其余为。则该单符号离散信源进行压缩传输的失真矩阵可以写作。,2023/9/5,13,失真矩阵,若=1，则失真函数称为汉明失真函数，失真矩阵称为汉明失真矩阵，变为,2023/9/5,14,例：已知单符号离散无记忆信源X=0,1，Y=0,1，2，将其进行压缩的失真函数为 d(0,0)=d(1,1)=0；d(0,1)=d(1,0)=1；d(0,2)=d(1,2)=0.5，求失真矩阵：解：,2023/9/5,15,以上离散无记忆信源的N次扩展信源的失真函数：若发送和压缩传输后接收的消息分别为：则N次扩展信源的失真函数可定义为,2023/9/5,16,连续信源的失真函数,记作：d(x,y)例：某一连续信源进行压缩传输时，采用的失真压缩的函数为均方式真，则其失真函数可写作：d(x,y)=(y-x)2,2023/9/5,17,平均失真,只能表示两个特定的具体符号 之间的失真，而对于信源整体压缩时，引起的失真测度需要求平均失真。平均失真：平均失真为失真函数的数学期望。可以表示信源压缩传输时平均每个符号所引起的失真的大小，是从总体上对整个信源压缩失真情况的描述。平均失真的特性：它是信源统计特性，信道统计特性和失真度的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了，而变成一个确定的量。人们所允许的压缩失真都是平均意义上的失真。,2023/9/5,18,平均失真,单符号离散无记忆信源进行压缩传输时的平均失真N次扩展信源（无记忆）的平均失真,2023/9/5,19,所以，N次扩展信源的平均失真为（注意前提为：无记忆信源）当 对于定义域内的i,j,k,则,2023/9/5,20,连续信源的平均失真,连续信源的平均失真,因为离散信源的平均失真为：,2023/9/5,21,信息率失真函数,定义：给定信源和失真函数，要使信源压缩后的平均失真(D为给定的失真上限)，则需找到某种压缩方法，使其经过压缩后可以达到一个允许的最小信息速率，即R(D)。不妨将该压缩过程假设成让信源通过一个有失真的传输信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作R(D)。信息率失真函数示意图,2023/9/5,22,信息率失真函数,单符号离散无记忆信源的信息率失真函数,其中,2023/9/5,23,信息率失真函数,单符号离散无记忆信源的N次扩展信源的信息率失真函数,2023/9/5,24,信息率失真函数的基本性质,率失真函数的定义域(0,Dmax)1、当平均失真D=0时，率失真函数R(D)=R(0)=H(X)证明：(1)对于离散信源 当D=0时，说明信源压缩后无失真，即没有进行任何压缩，因此压缩后的信息速率R(D)等于压缩前的（即信源熵）：R(D)=R(0)=I(X;Y)=H(X)-H(X/Y)=H(X),2023/9/5,25,信息率失真函数的基本性质,率失真函数的定义域(0,Dmax)(2)对于连续信源，所以当D=0时，R(0)=H(X)=因为绝对熵为无穷大 因此，连续信源要进行无失真地压缩传输，需要传递的信息量是无穷大，这就需要一个具有无穷大信道容量的信道才能完成，而实际信道传输容量有限，所以要实现连续信源的无失真传送是不可能的，必须允许一定的失真，使R(D)变为有限值，传送才有可能。,2023/9/5,26,2、当D=Dmax时，R(Dmax)=0。分析：失真值D越大，R(D)越小，D大到一定程度，R(D)=0，即压缩后的信源没有任何信息量。现在将所有满足R(D)=0的D的最小值，定义为R(D)定义域的上限Dmax。Dmax的计算式：,信息率失真函数的基本性质,2023/9/5,27,信息率失真函数的基本性质,二、R(D)是定义域(0,Dmax)上的严格单调递减连续下凸函数,允许的最大失真D,允许的最小信息率R(D),0,Dmax,2023/9/5,28,该式相当于求Dj的最小数学期望若Ds是所有Dj中最小的一个，则取p(ys)=1，其它p(yj)=0,此时Dj的数学期望必然最小,2023/9/5,29,例：P110已知二元信源解：（1）求Dmax,2023/9/5,30,D1,D2,2023/9/5,31,（1）,.,2023/9/5,32,例：P110已知二元信源解：（2）求Dmin,2023/9/5,33,(2),已知：,分析：Dmin，即最小平均失真。即求以上矩阵各元素的最小和。同样涉及选择加权系数。分解为：先求每行最小加权和。方法：令每行最小的失真对应的加权系数最大，其余加权系数为0.,所以Dmin=0：R(Dmin)=R(0)=H(X),2023/9/5,34,Dmin的简化计算式：,代入：,达到Dmin时的信道转移概率分布：,
