第5章信道容量.ppt

第5章 信道容量,信道可靠传输信息的能力如何度量？,5.1 信道容量,1、信道容量,信道给定时，平均互信息I(X;Y)对于信源概率P(X)严格上凸总能找到P(X)，使I(X;Y)达到最大,定义,信道给定时平均互信息I(X;Y)的最大值，用C表示,表示,2、信道容量的意义,平均互信息I(X;Y)信道中每传输一条消息所携带的平均信息量,信道容量C给定信道中每传输一条消息所携带的最大平均信息量给定信道可靠传输信息的能力,3、信道容量的主要性质,非负性,极值性,例1,信道的信道容量及达到信道容量的信源概率,例2,信道的信道容量及达到信道容量的信源概率,例3,信道的信道容量及达到信道容量的信源概率,如果信宿等概,信宿等概是否可达？,例4,信道的信道容量及达到信道容量的信源概率,如果信宿等概,信宿等概是否可达？,5.2 对称信道的信道容量,1、对称信道,矩阵中每一行都是集合中各元素的不同排列矩阵行可置换；每一列都是集合 中各元素的不同排列矩阵列可置换,信道的信道矩阵既行可置换又列可置换,定义,例1,例2,二进制对称信道,2、对称信道的信道容量,达到信道容量的信源概率,对称信道行可置换,如果信宿等概,信宿等概是否可达？,对称信道列可置换，不失一般性，设对称信道的信道矩阵,二进制对称信道的信道容量,达到信道容量的信源概率,例3,信道容量及达到信道容量的信源概率,信道矩阵既行可置换又列可置换对称信道,信道容量,达到信道容量的信源概率,例4,信道容量及达到信道容量的信源概率,信道矩阵既行可置换又列可置换对称信道,信道容量,达到信道容量的信源概率,3、弱对称信道,信道的信道矩阵行可置换,定义,例5,例6,二进制擦除信道弱对称信道,4、弱对称信道的信道容量,达到信道容量的信源概率,弱对称信道行可置换,如果信宿等概,信宿等概是否可达？,矛盾！不可达,按列分为s个不相交的子集，各子集构成的子信道对称信道,对应于子信道的各子信宿等概是否可达？,子信道矩阵列可置换，不失一般性，设第k个子信道矩阵,如果各子信宿等概,二进制擦除信道的信道容量,达到信道容量的信源概率,例7,信道容量及达到信道容量的信源概率,信道矩阵行可置换弱对称信道二进制擦除信道,按列分成两个不相交的子集，两个子集构成的子信道矩阵,信道容量,达到信道容量的信源概率,例8,信道容量及达到信道容量的信源概率,信道矩阵行可置换弱对称信道,按列分成两个不相交的子集，两个子集构成的子信道矩阵,信道容量,达到信道容量的信源概率,5.3 NN信道的信道容量,信道容量,达到信道容量的信源概率,当M=N，方程有唯一解,例1,信道容量及达到信道容量的信源概率,5.4 联合信道容量与条件信道容量,1、联合信道容量与条件信道容量,定义,联合信道容量信道给定时联合平均互信息I(X1X2Xn;Y1Y2Yn)的最大值，用C(X1X2Xn;Y1Y2Yn)表示,表示,条件信道容量信道给定时条件平均互信息I(Xk;YL/X1Xk-1Y1YL-1)的最大值，用C(Xk;YL/X1Xk-1Y1YL-1)表示,定义,表示,2、信道容量的链式法则,