信息率失真函数 第4章.ppt
信息率失真函数,第4章 2,2,4.1 平均失真和信息率失真函数4.2 离散信源和连续信源的R(D)计算,内容,3,对 比信道容量和信息率失真函数,4,平均互信息,平均互信息I(X;Y)：固定p(yj|xi)，则信源的概率分布p(xi)的上凸函数。固定p(xi)，则信道传递概率p(yj|xi)的下凸函数。,信道容量,信息率失真函数,5,回顾平均失真和信息率失真函数,6,I 失真函数,对任一，指定一个非负数,失真函数,失真矩阵,7,II 平均失真,将失真函数的数学期望称为平均失真：,失真函数d(xi,yj)：描述了某个信源符号通过传输后失真的大小平均失真：描述某个信源在某一试验信道传输下的失真大小，它对信源和信道进行了统计平均，是从总体上描述整个系统的失真,8,R(D)：在限定失真为D的条件下信源输出的最小信息速率。,若从接收端来着，就是在满足保真度准则下，寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。,III 信息率失真函数R(D),9,4.1 平均失真和信息率失真函数4.2 离散信源和连续信源的R(D)计算,内容,10,信息率失真函数的性质,11,信息率失真函数的性质,1 R(D)的定义域率失真的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题。由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数，即 的下界是0。,允许平均失真度能否达到其下限值0，与单个符号的失真函数有关。,12,1-I 平均失真度的最小值Dmin,Dmin 和R(Dmin)信源的最小平均失真度：,只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。当Dmin=0，即信源不允许任何失真时，信息率至少应等于信源输出的平均信息量信息熵。即 R(0)=H(X),13,因为实际信道总是有干扰的，其容量有限，要无失真地传送连续信息是不可能的。当允许有一定失真时，R(D)将为有限值，传送才是可能的。,对于连续信源：,1-I 平均失真度的最小值Dmin,14,Dmax：定义域的上限。Dmax是满足R(D)=0时，所有的平均失真度中的最小值。,由于I(X,Y)是非负函数，而R(D)是在约束条件下的I(X,Y)的最小值，所以R(D)也是一个非负函数,它的下限值是零。R(D)0,1-II 平均失真度的最大值Dmax,15,由于I(X,Y)=0的充要条件是X与Y统计独立,即：,1-II 平均失真度的最大值Dmax,16,1-III R(D)的定义域,R(D)的定义域为Dmin，Dmax。通常Dmin=0，R(Dmin)=H(X)当 DDmax时,R(D)=0当 0 DDmax时,0R(D)H(X),17,设输入输出符号表为X=Y=0,1，输入概率分布p(x)=1/3,2/3，失真矩阵,求：Dmin 和Dmax,失真矩阵的每一行至少有一个0元素时,Dmin=0,例4-5:,18,设输入输出符号表为X=Y=0,1，输入概率分布p(x)=1/3,2/3，失真矩阵,求：Dmin 和Dmax,例4-6:,19,1 R(D)是非负的实数，R(D)0。其定义域为0Dmax，其值为0H(X)。当DDmax时，R(D)=02 R(D)是关于D的下凸函数R(D)在定义域内是失真度D的下凸函数。3 R(D)的单调递减性及连续性容许的失真度越大，所要求的信息率越小。反之亦然。,信息率失真函数的性质,20,4.2 离散信源和连续信源的R(D)计算,21,I 离散信源R(D)计算,给定信源概率pi和失真函数dij，就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较困难通常用参量表达式。即使如此，除简单的情况外实际计算还是困难的，只能用迭代逐级逼近的方法。,22,I-1 二元对称信源的R(D)函数,设二元对称信源X=0,1，其概率分布p(x)=p,1-p，接收变量Y=0,1，汉明失真矩阵,因而最小允许失真度Dmin=0。并能找到满足该最小失真的试验信道，且是一个无噪无损信道，其信道矩阵为,23,计算得：R(0)=I(X;Y)=H(p)最大允许失真度为,要达到最大允许失真度的试验信道，唯一确定为,I-1 二元对称信源的R(D)函数,24,这个试验信道能正确传送信源符号x=1，而传送信源符号x=0时，接收符号一定为y=1凡发送符号x=0时，一定都错了。而x=0出现的概率为p，所以信道的平均失真度为p。在这种试验信道条件下，可计算得 R(Dmax)=R(p)=0,I-1 二元对称信源的R(D)函数,25,I-2 n元等概率信源的R(D)函数,对于n元等概率信源，当失真函数为对称失真函数，即,R(D)函数的显式表达式：,26,II 连续信源R(D)计算,给定信源概率pi和失真函数dij，就可以求得该信源的R(D)函数。它是在保真度准则下求极小值的问题。但要得到它的显式表达式，一般比较困难通常用参量表达式。即使如此，除简单的情况外实际计算还是困难的，只能用迭代逐级逼近的方法。,27,定义PD为满足保真度准则的试验信道集合,II 连续信源R(D)计算,下确界,28,作 业,P129 4.1,小 结,第4章2,30,小 结,讨论了离散信源和连续信源R(D)的计算。结合所学内容，对习题进行讲解。,31,本次课结束！,
