[信息与通信]第10讲 信息率失真函数.ppt

4.1 信息率失真函数4.2 离散信源的信息率失真函数4.3 连续信息的率失真函数4.4 保真度准则下的信源编码定理,第4章：信息率失真函数,4.1 信息率失真函数,4.1.1 失真函数和平均失真度 4.1.2 率失真函数定义4.1.3 率失真函数性质,失真矩阵,失真函数,1,汉明失真,2,平方误差失真函数,失真函数d(ai，bj)是随机变量，失真函数的数学期望称为平均失真度，记为,平均失真度,允许失真,保真度准则,4.1 信息率失真函数,4.1.1 失真函数和平均失真度 4.1.2 率失真函数定义4.1.3 率失真函数性质,D失真许可的试验信道,平均失真由信源分布p(ai)、信道的转移概率p(bj/ai)和失真函数d(ai，bj)决定，若p(ai)和d(ai，bj)已定，则调整p(bj/ai)使,1、D允许试验信道,2、信息率失真函数R(D),在上述允许信道PD中，可以寻找一种信道pij，使给定的信源p(xi)经过此信道传输后，互信息I(X；Y)达到最小。该最小的互信息就称为信息率失真函数R(D)，即,4.1 信息率失真函数,4.1.1 失真函数和平均失真度 4.1.2 率失真函数定义 4.1.3 率失真函数性质,定义域,1,D是允许平均失真度,当失真矩阵的每一行至少有一个零元素时，信源的平均失真度为零。,最小值,时，R(0)=H(X),令,最大值,当R(D)=0时，对应的平均失真最大,假定所有Dj中，Ds最小，令,4.1 信息率失真函数4.2 离散信源的信息率失真函数4.3 连续信息的率失真函数4.4 保真度准则下的信源编码定理,4.2 离散信源的信息率失真函数,4.2.1 离散信源信息率失真函数的参量表达式4.2.2 二元信源的率失真函数,令,令,负值,两边乘以 对 求和,4.2 离散信源的信息率失真函数,4.2.1离散信源信息率失真函数的参量表达式 4.2.2 二元信源的率失真函数,4.1 信息率失真函数4.2 离散信源的信息率失真函数4.3 连续信源的信息率失真函数4.4 保真度准则下的信源编码定理,4.3 连续信息的率失真函数,4.3.1 连续信源失真函数的参量表达式4.3.2 高斯信源的率失真函数,定义,定义PD为满足保真度准则的试验信道集合,下确界,4.3 连续信息的率失真函数,4.3.1 连续率失真函数的参量表达式4.3.2 高斯信源的率失真函数,4.3.2 高斯信源的率失真函数,根据詹森不等式：,反向加性高斯实验信道,1,2,高斯信源的率失真函数,4.4 保真度准则下的信源编码定理,RR(D),RR(D),H(X)、C、R(D)：临界值，衡量通信能否满住要求的重要界限。,作业：4.1 4.3 4.10 4.11,