信息论第6章.docx

信息论第6章第六章 信息率失真理论 第一节 基本概念 前面我们通过信源编码和信道编码解决了信息传输的有效性和可靠性问题。但这些都是在保证信息传输不失真的前提下进行的。而在实际系统中，噪声是不可避免的，系统误差也是客观存在的，信宿在接收信号时也有一定的阈值，当信号的变化量小于阈值时，信宿就觉察不到了。鉴于这些情况，完全不失真地传输(包括存贮)信息，几乎是不可能的，而且也是没必要的。因此往往需要事先对信息进行处理，并允许有一定的失真。例如，A/D变换就有失真；图像压缩编码和语音压缩编码都将产生一定的失真。有所“失”才能有所“得”，但要失得其所，不能做无谓的牺牲。我们就是要在得与失之178 间寻求一种平衡，在保证失真不要过度的前提下，尽可能地提高信息系统的有效性，这就是信息率失真理论所要研究的基本问题，也是本章所要讨论的问题。 具体在压缩编码时，就是要在一定的失真度要求下，恰当地选择失真方案，对信源发出的消息进行失真处理，以便用最少的符号来表示尽可能多的消息。这与前面所说的信源编码一样，都是为了解决信息传输的有效性问题。所不同的是以前不允许有失真，而现在允许有一定的失真，以0 x y 便获得更大的数据压缩率。1 x 下面通过一个简单的例子来0 x y 1 说明。 x 失真方案A 例6-1 设信源等概发送40 x y 个消息，即X=x1，x2，x3，1 x x4，P(X) = p1，p2，p3，x 0 y 1 p4=1/4，1/4，1/4，1/4 . 在x 失真方案B 不允许失真的情况下,因为信112334112334图6-1 两种失真方案 179 源的熵为： H(X) = log4=2 bit/消息 根据信源编码定理，对该信源进行二进制编码时，平均码长不小于2码元/消息。 若允许有一半的消息产生失真，即错误概率为50%. 那么为了压缩代码长度，应该选择一种好的失真方案，使得失真后的消息集Y具有尽可能小的熵。确切地说，应该是Y中的每一个消息所提供的关于信源X的平均信息量最小。实际上是互信息量最小。这一点我们将在第三节予以说明。 注：在实际压缩过程中，有的是先压缩后编码，这时Y为X的复制品，是压缩后的消息集；有的是把压缩和编码一并完成，这时Y为压缩后的代码集；有的是直接把消息与符号对应，这时Y又可称为符号集。编码器的数学模型可参见第三章图3-1 . 下面给出两种失真方案来进行比较，如图6-1所示。图中用1和0表示失真和不是真。 180 失真方案A：设下标为奇数的消息不失真，即x1 = y1 ， x3 = y3 ；而下标为偶数的消息失真后变为下标比它小1的消息，即x=x1=y1，x4=x3=y3. 这样，失真后的消息集为Y= y1，y3，其概率分布为P(Y) = 1/2，1/2. 它的熵为： H(Y) = log 2=1 bit/消息 根据信源编码定理，对Y进行二进制编码时，平均码长可压缩到1码元/消息，数据量压缩了50% . 失真方案B：仍设x1，x3不失真，即x1=y1，x3=y3；而另外两个消息都失真为y3，即x2= y3，x4= y3. 设失真后的消息集为Y=y1，y3，其概率分布为P(Y) = 1/4，3/4 . 它的熵为 H(Y)=(1/4) log (1/4)(3/4) log( 3/4) = 0.811 bit/消息 根据信源编码定理，对Y进行二进制编码时，平均码长可压缩到0.811码元/消息。数据量可压缩将近60% , 比方案A要好一2 181 些。 可见在同样的失真度要求下，选择不同的失真方案可以得到不同的压缩率。那么还能不能找到更好的压缩方案？数据压缩的极限是多少？本章将逐一解答这些问题。 第二节 失真函数 为了定量地分析数据压缩的极限，首先必须定量地描述信息失真的大小。因为失真度直接影响到数据压缩率。可以想象，当失真度为0时，X = Y，压缩率为0；随着失真度的增大，数据压缩率也会增大。 在简单的情况下，失真大小可以用差值来计算。比如在例6-1中，设X = x1 , x2 , x3 , x4 = 0 , 1 , 2 , 3则失真大小可表示为下面的函数： dij = |xixi| 当i=j时，dij=0 ；当ij时，di0 .比如： 182 d34 = | x3x4| = |23| = 1 ； d14 = | x1x4| = |03| = 3 . 在限定失真功率时，可用差值的平方来计算失真的大小： 2dij = (xixj) 当I = j时，di j = 0；当ij时，di j0 . 比如： d34 = ( x3x4)2 = (23)2 = 1 ； 2 2 d14 = ( x1x4)= (03)= 9 . 在较复杂的情况下，还可以用较复杂的函数来计算。例如“8421码”，它的高位数码和低位数码所代表的权值不同。当高位发生误码时，产生的失真为23 = 8，当低位发生0 误码时，产生的失真为：2= 1 . 对于第i位i失真产生的误差大小为2 . 甚至有时失真不好用公式表示，只好人为地规定一个数值。例如“王”失真为“黄”字失真大小如何表示呢？ 为此，我们定义一个二元实函数d(x , y)0(简记为dxy或dij),来表示用符号y复制消息183 x所产生的失真。用d的大小表示失真的大小。称d为失真函数或失真测度。 特例1 设消息集X=x1,x2,符号集Y = y1, y2，当X = Y，即：x1 = y1，x2 = y2时，可取失真函数 ,x=y,ì0 d(x,y)=íx¹y. î1,特例2 当x和y均为实数时，可取失真函数 2d(x, y) = (xy) 用Y表示X所产生的平均失真为： d(Q)=åp(x)Q(y/x)d(x,y)=Ed(x,y)x,y(6-1) 式中Q(y/x)就是信道转移概率p(x/y) . 在特例1 中，平均失真为： d(Q)=åp(x)Q(y/x)d(x,y)=åp(x)Q(y/x)=pex,yx¹ype为平均错误概率。 在特例2中，平均失真为： 2d(Q)=åp(x)Q(y/x)(x-y)2=snx,y184 2n为平均失真功率或平均噪声功率。 110 由于平均失真与信道转x y 1 移概率Q(y/x)有关，因此可1 x y 0 采用研究信道的方法来研图6-2 失真函数线图 究失真问题。图6-2给出了特例1的失真函数线图。同样还可用失真矩阵给出失真函数。特例1的失真矩阵为： 22éd11d12ùé01ùD=ê=êúúdd1022ûëûë21矩阵中任一元素dij 表示当信源消息为xi 而复制它的符号为yj时的失真函数。 第三节 信息率失真函数 一. 信息率失真函数的定义 当给定信源X的概率分布P(x)之后，可以选择符号集Y中的符号来表示相应的消息，Y的概率分布为P(y) . 当允许有一定的失真185 时，由Y 所提供的关于X的信息量，可用互信息量来表示，即 Q(y/x)I(X;Y)=I(P;Q)=åp(x)Q(y/x)logp(y)x,y 其中P为信源概率分布，Q为信道转移概率。在第二章附录2-5中已经证明了，当给定了信源概率分布之后，I(x; y)是Q(y/x)的凹函数。 可见前面所说的“恰当地选择失真方案”实际上就是恰当地选择信道转移概率Q，使I(x;y)达到最小值，并确保平均失真d(Q)不要超过给定值 . 为此我们给出如下定义。 定义 信息率失真函数R()是在给定信源概率分布P(x)和平均失真d(Q)的前提下，用Y来表示X时，平均互信息量的最小值。即： R(d)=minI(X;Y)=minI(P;Q)bit/符号(6-2) 信息率失真函数又简称率失真函数。它的d(Q)£dd(Q)£d186 意义是，在用Y来复制X的时候，尽量节省信息量(符号量或数据量)，但不能失真太大，保证平均失真d(Q) . 就好比是一个画家给别人画像一样。一个好的漫画家只需寥寥数笔，就能抓住人物的特征，画得很像。画得像不像的标准就相当于我们所给定的允许失真度；画画的技巧就相当于失真方案的选择或转移概率Q的选择；所谓“寥寥数笔”的含意也和尽量节省信息量(符号量或数据量)的含意相似。 R() 二. 率失真函数1.0 H(X) 的性质 0.8 0.6 图6-3给出了R ()的典型0.4 0.2 曲线。 1. 单减性 0 min 1 2 max R()是的单图6-3 R()的典型曲线 187 减凹函数，min. 当min= 0时，有R(0) = H (X) . 2.连续性R()是的连续函数，min. 3. R() = 0，当且仅当max . 其中min与max的定义式如下： min=åp(x)mind(x,y)XY(6-3) (6-4) max=minåp(x)d(x,y)YX称min为最小失真度。即对每一个x，选择一个失真最小的代码y，然后取统计平均值，从而得到min . 称max为最大失真度。是使R() = 0时的失真度，并在满足I (x; y) = 0的条件下，取Y集合中所有值的最小值。 证： 1.单减性 对任意21min，有 Q:d(Q)£d1ÌQ:d(Q)£d221I(P;Q)£minI(P;Q)=R(d1)从而 R(d2)=dmin(Q)£dd(Q)£d188 即在较大范围内找到的I (P; Q)的最小值，总不会大于在较小范围找到的I (P; Q)的最小值。 凹性 对任意1,2min，存在Q1及Q2, 满足d(Q1)1，d(Q2)2，以及 I(P;Q1) = R(1), I(P;Q2) = R(2) . 令 Q = (Q1Q2)/2 . 由于 d(Q) = d(Q1)d(Q2)/2 (12)/2 所以Q是R(12)/2的试验转移概率。从而，有I(P;Q)R(12)/2 . 另外，由于I(P;Q)是Q的凹函数，所以 R (12) /2I(P;Q) = I P;(Q1Q2) /2 I (P;Q1) I(PQ2) /2 = R (1)R (2) /2 这就表明，R()是的凹函数(min) . 当= 0时，即不允许失真，因此X与Y是一一对应的关系。所以 I (X; Y) = H (X) = H (Y) .即 R (0) = H (X) . 189 2.连续性 当min时，由凹函数的一般性质可知，R()在点连续。下面只需证，R()在=min处右连续。即证 limdn=dmin n®¥为此，对任意一列1 ,2 ,nmin 存在一列Q1,Q2，使I(P;Qj) = R(j)，且 d(Qj)j , j=1,2,. 由连续函数的一般性质，有 I(P;Q)=limI(P;Qj)=limR(dj)£R(dmin)j®¥j®¥又由 知 于是 d(Q)=limd(Qj)£dminj®¥I(P;Q)³R(dmin)I(P;Q)=limR(dj)=R(dmin)j®¥limR(d)=R(d)min这表示，d®dmin，从而R()在=min点右连续。 3.下面证R()=0 的充要条件是max . 必要性 设R() = 0，必存在Q , 使 190 I (X; Y ) = I (P; Q ) = 0, 且d(Q) 又因为当且仅当X , Y相互独立时I (X ; Y ) = 0 .所以 d(Q)=åp(x)p(y)d(x,y)=åp(y)åp(x)d(x,y)³minåp(x)d(x,y)=d又由d(Q)知，max . 充分性 由R()的单减性知，只需证R(max) = 0即可。为此设y0Y,满足 dmax=åp(x)d(x,y0)Xy=y0,ì1,"xÎX令 Q0(y/x)=í0,否则.î这样，显然有I (P; Q0) = 0，且 d(Q0)=åp(x)d(x,y0)=dmax.X(证毕) 第四节 率失真函数R() 的计算 由率失真函数的定义知，R()是在满足平均失真函数d(Q)的条件下，所需平均互X,YYXYmaxX 191 信息量的最小值。因此，这是条件最小值问题。又知I (P ; Q)是关于Q的凹函数，所以此问题又变成为条件极小值问题。可以采用Lagrange乘子法来求。 已知互熵的计算公式为： Q(y/x) I ) = å p ( x) Q ( y/x ) (6-5) (P;Qlnp(y)XY约束条件为： , "(1) å Q ( y/x ) = 1 , Q ( y/x ) ³ 0 x Î X (6-6) Yp (x)Q(y/x)d( xy) £ d , dmin£d£ dmax. (6-7) (2) å XY作修正函数： = I(- såx) Q (y/x(x,y P;Q ) - å m (x ) å Q ( y/x ) p ( ) d )(6-8) XYXY其中：m(x)及s为待定乘子。 为方便，记m = | X |，n = | Y |，即m，n分别为X，Y中的元素个数。 令 192 ¶ = 0 , ¶Q(y/x) " (x,y ) Î (6-9) XY联立式 (6-6)，(6-7)，(6-9) ，共有 (mnm1)个方程，恰好可以确定Q (y / x) ,(x) 和s，共(mnm1)个未知数。 上述思想在理论上是可行的，但在实际中却难以解决，不过它给出了有益的思路。 为了详细表达式(6-9)，将式(6-8)改写为 éùQ(y/x)=åp(x)åQ(y/x)êln-sd(x,y)ú(6-10) XYël(x)p(y)û 其中： (x) = p(x) ln(x) ， 即： ln(x) =(x) / p(x) (6-11) 由式(6-9)，(6-10)可得： éù¶Q(y/x)=p(x)êln-sd(x,y)ú=0¶Q(y/x)ël(x)p(y)û(6-12) 为便于推导，先改写式(6-10)： éùQ(y/x) =p(x)Q(y/x)êlnl(x)p(y)-sd(x,y)úëû éùQ(y/x')+åp(x')Q(y/x)êln-sd(x',y)úë(x')p(y)û x'¹xéQ(y'/x')ù+ååp(x')Q(y'/x')êln-sd(x',y')úx'y'¹yë(x')p(y')û(6-13) 193 其中第三项不含Q(y|x), 第二项只在p (y)中含Q(y|x)，于是： éù¶Q(y/x)=p(x)êln-sd(x,y)ú+¶p(y/x)ël(x)p(y)ûé1ép(x)ùp(x)ù+p(x)Q(y/x)ê-+p(x')Q(y/x')úåê-úëQ(y/x)p(y)ûx'¹xëp(y)ûéùép(x)ùQ(y/x)=p(x)êln-sd(x,y)ú+p(x)+åp(x')Q(y/x')ê-úl(x)p(y)p(y)x'ëûëûéùQ(y/x)=p(x)êln-sd(x,y)úël(x)p(y)û(6-14) ¶p(x)=p(x),(xÎX)¶p(y/x)Q p(y)=åp(x)Q(y/x),注：x由式(6-9)和(6-14)便得到式(6-12)，再由式(6-12)解得： Q(y/x)=l(x)p(y)expSd(x,y)(xÎX,p(x)>0,yÎY) (6-15) 此式关于y求和得： -1éùl(x)=êåp(y)exp(sd(x,y)úëyû(6-16) 式(6-15)两边乘以p (x),再关于x求和得： 1=ål(x)p(x)exp(sd(x,y),(yÎY,p(y)>0)x(6-17) 194 由式(6-16)，(6-17)得： p(x)exp(sd(x,y)=1,(yÎY,p(y)>0)(6-18) åxåp(y)exp(sd(x,y) y这是一组关于p (y)的方程组，共有n个方程，且恰有n个未知数。解出p(y)后代入式(6-16)求出(x)，再带入式(6-15)便得Q(y/x),(xÎX , yÎY) . 但此时Q是s的函数，再利用式(6-7)，将s转换为，最终得到试验转移概率的“稳定点”Q，它是的函数，将Q代入I (P; Q)中得极小值R (), 便是所求的率失真函数。 但式(6-18)是关于P ( y )的超越方程，求解不易，可用下面的定理将R ( )的计算推导为能用手工计算的形式。 定理6-1 给定无记忆信源X, P (X )，失真函数d(x, y)和允许失真度 , 且失真后的集合为Y . 那么率失真函数可表示为： ìüR(d)=maxísd+åp(x)lnl(x)ý(6-19) s£0,lÎÙxîþS 195 ìü()Ùl( x),xÎX:ål (x )p( x) expsd( x, y ) £ 1ý其中： S = í xîþ(6-20) 证：首先，对s0,s,及试验转移概率Q:d(Q) , 有 I(P ;Q)-sd-åp(x)lnl(x)x ;Q)-sd(Q)-åp(x)Q(y/x)lnl(x)³I(Px,y=I(P;Q)-såp(x)Q(y/x)d(x,y)-åp(x)Q(y/x)lnl(x)x,yx,y Q(y/x)exp(-sd(x,y)=å p(x)Q(y/x)lnl(x)p(y)x,y由基本不等式ln x(11/x)及式(6-20)，上式化为 I (P;Q)-sd-åp(x)logl(x)x él(x)p(y)ù³åp(x)Q(y/x)ê1-×exp(sd(x,y)ú x,yQ(y/x)ëû=1p(x)p(y)l(x)×exp(sd(x,y)³1-åp(y)=0 -åx,yy(6-21) 由此便得：对s0 , S , d(Q) , 有 I(P;Q)³s+åp(x)logl(x)x196 (6-22) 从而对任意s0 , S , 有 R(d)=minI(P;Q)³s+åp(x)logl(x)d(Q)£d(6-23) (6-24) (6-25) xìüR(d)³maxís+åp(x)logl(x)ýS£0,lÎÙSxîþ下面再证相反的不等式： ìüR(d)³maxís+åp(x)logl(x)ýS£0,lÎÙSxîþ为此，设Q ( y / x)达到了R ()，即 d(Q) =, I(P; Q) = R() (6-26) 则此时的Q必是前面式(6-8)中的“稳定点”，它必满足式(6-12).在理论上存在一系列参数s，(x)，由它们能得到Q，并符合式(6-12)(6-18). 于是可由式(6-12)得： éùQ(y/x)p(x)Q(y/x)êlog-sd(x,y)ú=0å(6-27) x,yël(x)p(y)û进而得到： I(p(x)Q(y/x)logl(x)+sd(x,y) P;Q)=åx,y=åp(x)logl(x)+såp(x)Q(y/x)d(x,y)(6-28) xx,y由于已假定Q适合式(6-26)，所以 197 R(d)=I(P;Q)=sd(Q)+åp(x)logl(x)=s+åp(x)logl(x)xx(6-29) 即存在s及s，使 R(d)=sd+åp(x)logl(x)x(6-30) 欲证式(6-25)，只要证式(6-30)中的s0 . 由于R()为减函数，所以有 dR(d)=s£0dd 注意到s及都与有关，事实上由式(6-26)及式(6-15)有： d=d(Q)=åp(x)Q(y/x)d(x,y)=åp(x)l(x)p(y)exp(sd(x,y)d(x,y)(6-31) 其中(x)又适合式(6-16)及(6-17)，于是对式(6-30)微分，并考虑到上述关系，便有 dR(d) =s+d×ds+åp(x)1×dl(x)ddddl(x)ddx ds1dl(x)ds=s+d×+åp(x)×××ddl(x)d(s)ddx é1dl(x)ùds(6-32) =s+êd+åp(x)×úx,yx,yëxl(x)dsûdd198 对式(6-17)微分，其中作为s的隐含数，则有 dl(x) ådsp(x)exp(sd(x,y)+ål(x)p(x)exp(sd(x,y)d(x,y)=0(6-33) 上式两边乘以P(x)后，关于y求和，利用式(6-31)，有 xxdl(x)p(x)åp(y)exp(sd(x,y)+d=0ådsxy(6-34) 再由式(6-16)，将式(6-34)化为： dl(x)1×p(x)×+d=0ådsl(x)x(6-35) 将此式代入式(6-32)，便可得到式(6-30)，从而s0 . 由式(6-30)便得式(6-25). 由式(6-24)和式(6-25)即得式(6-19) . 注：由定理6-1的证明过程可得到下面两个结论： (1) 对任意s0，s，由式(6-23)有 R(d)³sd+åp(x)logl(x)x(6-36) (2) 存在s0及s 由式(6-30) , 199 (6-31)及(6-17) 满足 R(d)=sd+åp(x)logl(x)(6-37) (6-38) (6-39) xdR(d)s=ddål(x)p(x)exp(sd(x,y)=1,x"yÎY于是，为计算R()，据(6-37)式，只要求得适当的s和即可。可由式(6-39)求得。而式(6-38)只说明s是函数R()在点的斜率，在求R()时无用。另外，式(6-39)中也含有s，所以关键是求得s . 为此我们回顾它是Lagrange乘子中达到“稳定点”的一个参数，因而应满足式(6-16)，即 由式(6-39)求得(x)，代入式(6-40)可得p(y),将(x)与p(y)代入式(6-15)便求得Q(y|x)： 200 1p(y)exp(sd(x,y)=ål(x)y,"xÎX(6-40) Q(y/x)=l(x)p(y)exp(sd(x,y)(6-41) 它也是s的函数，最后利用式(6-7)，即 åp(x)Q(y/x)d(x,y)=dx,y(6-42) 可求得s作为的函数，再利用式(6-37)便得R ()。 上述计算过程，即按式(6-39)(6-42)及(6-37)进行手工运算，可解决一般不太复杂的问题。下面举两个计算R ()的例子。 例6-2 设 X = Y = 0, 1 ；P(X) = p, 1p, 0p1/2 ； éd00D=d(x,y)=êëd10d01ùé01ù=êúd11ûë10úû求：率失真函数R () . 解：(1) 按式(6-39)解方程组 简记：x=(x) , px = p(x) , =eS , x = 0,1 . 则由式(6-39)有： é1aùp0l0,p1l1×ê=1,1úëa1û(ex-1) 201 解之得： p=p10l01l1=1+al=1p(1+a),l101=(1-p)(1+a) (2) 按式(6-40)解方程 记y = p(y) , y = 0 , 1 éê1aùéw0ùé1/l0ùëa1úû×êëwú=êë1/lú1û1û解得 ìïw=1æ1-aö1 ï0çl÷p-a(1-p)í1-a2çèl01÷=ø1-aï1æïwç1î1=ç-aö÷=11-a2èl-a(1-p-ap)1l0÷ø1(3) 按式(6-41)求Q . qij=Q(j/i)=liwjexp(sdij),(i,j=0,1)ép-a1-p-apqp×aùúij=ê(1-p)11-a2êp(1-p)1-p-apúêp-aêúë1-p×a1-púû202 (ex-2) (ex-3) (ex-4) (ex-5) (ex-6) (4) 按式(6-42)求s: (s = log) d=i,j=0åpqi1ijdij =p0q00d00+p0q01d01+p1q10d10+p1q11d11 =p0q01+p1q10 =pq01+(1-p)q101a(1-p-ap)+a(p-a(1-p) =21-a =a1+a于是 (ex-7) (ex-8) s=loga=logd-log(1-d)ad, a= d = 1 +a1-d(5) 按式(6-37)计算R ( ) . 将(ex-2), (ex-7)及(ex-8)代入式(6-37)，则有 1 R(d)=sd+åpiloglii=0 d11=dlog+plog+(1-p)log(1-p)(1+a)1-dp(1+a) d=dlog+H(p)-ln(1+a) 1-dd1 =dlog-log+H(p) 1-d1-d(ex-9) =dlogd+(1-d)log(1-d)+H(p)203 得 ìïH(p)-H(d),R(d)=íï,î0R(bit) 1.0 1 0£d£p£,2 d³p.(ex-10) p = 0.5 0.8 0.6 0.4 0.2 0 0.1 0.2 0.3 0.4 0.5 p = 0.3 p = 0.2 p = 0.1 图6-4 R() = H(p)H() 例6-3 设 X = Y = 0, 1, 2, 3；p(x) = p0 , p1 , p2 , p3 = 0.5×p, 1p, 1p, p , 0p1/2； é01/21/21ù ê1/20ú11/2ú D=dij=êê1/2101/2úêú 11/21/20ëû204 按例6-2的方法计算R () . 解：记=eS/2，则： é1bbbù êúb1bbú=10.5´lp,l(1-p),l(1-p),lp×ê êbb1bú2201232,1,1,1 ê2êëbbbú1úû(ex-11) é12ùêú21úA(b)=êê21úê2ú1úêëû1 -1A(b)=×A(-)22(1-b) 0. 5´lp,l(1-p),l(1-p),lp=1,1,1,1×A(b)é1-ù êú-1-1ú×=1,1,1,1×êê-1-ú(1-) êú-1úêëûl p,lp,lp,lp=0.5´lp,l(1-p),l(1-p),lp11,1,1,1 =(ex-12) (1+) éwùé1/lùépùêwúê1/lúê1-pú A(b)×êú=êú=(1+b)êúêwúê1/lúê1-pú2êúêúêú(ex-13) ëpûëwûë1/lû-101232222220011223301232001122233 205 éw0ù é1/l0ùêwúê1/lú1ê1ú=A-1(b)×ê1ú=êw2úê1/l2ú2(1-b)2êúêúw1/l ë3ûë3ûép(1+b)2-2bùêú2ê(1-p)(1+b)-2bú×ê ú2ê(1-p)(1+b)-2bú2êúp(1+b)-2b ëû(ex-14) 为使j0 (j = 0 , 1 , 2 , 3)，应有 p(1+b2)-2b³0 2bp³1+b2(ex-15) =ååpqd=ååplwded éwùêwú =lp,lp,lp,lpdeêúêwú(ex-16) êúëwû由式(ex-12)和(ex-14)，注意到0=3 , 1=2，则有 é0b/2b/2bùéwùêúêú b/20bb/21ú×êwúd=×1,1,1,1×êêb/2b(1+b)0b/2úêwú êúêúb/2b/20úêëbûëwû éwùêwúb+bb+bb =×1,1,1,1×êú=êwú(1+b)1+b(1+b)êú ëwû3333Sdijiijijiijiji=0j=0i=0j=00Sdij100112233ij2320212222302122223206 , b =即 d = e = (ex-17) S/2bd 故 1+b1-d 2log又 s = 2 log b = 1 - d (ex-18) dR(d)=sd+åpiloglii=03=sd+H(p0,p1,p2,p3)+åpilogpilii=031=2d×logb+log2+H(p)+log(1+b)2(ex-19) 2再由式(ex-17)和(ex-18)得： dR(d)=2dlog+log2+H(p)+log(1-d) 1-d=log2+H(p)-2H(d)(ex-20) 由式(ex-15)和(ex-17)知，式(ex-19)中的应满足 1(ex-21) 0£d£d1=(1-1-2p)2但由式(6-4)有 dmax而式(ex-20)在式(ex-21)限制下，只给出了01时R()的表达式，那么， 207 11=minåpidij=>1-1-2p=d1 0£j£322i=03()(ex-22) 当 max 时，R () 如何呢？ 首先注意到，限制条件式(ex-21)是由(ex-15)和(ex-14)产生的,即源于概率分布的要求： j0 (j = 0 , 1 , 2 , 3) . 但可取=1，此时，时(ex-15)中取等号，即0 =3 = 0, 1 =2 = 1/2，这表明，I (P; Q)在超平面 3ìü íwj³0;åwj=1ýj=0îþ 的“边界”上达到极值R(). 因而当1时，Y上的分布应取为： 0 =3 = 0, 1 2 = 1 (ex-23) 式(6-41)化为： sdijqij =ij e, (i, j=0, 1, 2, 3) (ex-24) 从而由式(ex-23)有 qij = 0 , 当j=0, 3 (ex-25) 于是式(6-39)此时是只有两个方程的方程组： 208 åpleiii=03sdij=1,(j=1,2)(ex-26) 具体写为 2ìp()b1-p1-pbl1+l2+ï l0+这个方程有四个未知数j (j=0 , 1 , 2 , 3) . 另外,由式(ex-24), 或利用式(6-40), 有 1=liåwjeJ=13sdijpbl3=1ï2222í2()pb1-pb1-ppbïl0+l1+l2+l3=1ï222î2(ex-27) (i=0,1,2,3)(ex-28) 此式具体写为 éwùél ùêêlêlêêël-10-11-12-13úú=esdijú úúûé10êwúêb1úêê×=êw2úêbêúê2êëbëw3úûêb1bb21bb2b2ùé0ùúêúbúêw1ú×búêw2úúêú1úûë0û(ex-29) b从中解得： 1l0=l3=, l1=, l2=2bw1+w2bw1b2+w211(ex-30) (ex-31) 209 由式(ex-30)和(ex-27)又可解得： 21l0=l3=, l1=l2=, w1=w2= 2b1+b21再由式(6-42)，(ex-24)和(ex-31)有 d=ååpqd=ååplwde éwùêwú =pl,pl,pl,pl×de×êúêwúêú ëwû ép1-p1-ppù=ê,×úë2b1+b1+b2bû é0b/2b/2bùé0ù êúêú1/2úb/20bb/2êúê×× êb/2bú0b/2ê1/2úêúêú b/2b/20úêëbûë0ûéb/2ù êúép1-p1-ppùêb/2ú=ê,ú×ê ë2b1+b1+b2bûb/2úêúb/2ëû 3333sdijiijijiijiji=0j=0i=0j=00sdij100112233ij232