《信息论与编码》第3章信道容量.ppt

《《信息论与编码》第3章信道容量.ppt》由会员分享，可在线阅读，更多相关《《信息论与编码》第3章信道容量.ppt（78页珍藏版）》请在三一办公上搜索。

1、第三章信道容量,赵永斌石家庄铁道大学信息科学与技术学院 2023年9月20日,信道及其容量,3.1 信道容量的数学模型和分类3.2 单符号离散信源3.3 多符号离散信源3.4 连续信道3.5 信道编码定理,回顾,信道是传输信息的媒质或通道。（输入信道输出）说明（1）信道输入是随机过程。（2）信道响应特性是条件概率P(输出值为y|输入值为x)，又称为转移概率。（3）信道输出是随机过程，输出的概率分布可以由输入的概率分布和信道的响应特性得到。（全概率公式）（4）根据信道输入、信道响应特性、信道输出的情况，可将信道分类：离散信道（又称为数字信道）；连续信道（又称为模拟信道）；特殊的连续信道波形信道；

2、恒参信道和随参信道；无记忆信道和有记忆信道等,回顾,“离散”的含义是时间离散，事件离散。即：信道的输入、输出时刻是离散的，且输入随机变量和输出随机变量都是离散型的随机变量。“无记忆”的含义是信道响应没有时间延迟，当时的输出只依赖于当时的输入。“平稳”的含义是信道在不同时刻的响应特性是相同的。,无干扰信道,有干扰信道,3.1 信道容量的数学模型和分类,有记忆信道,无记忆信道,单符号 信道,多符号信道,单用户信道,多用户信道,连续信道,半离散信道,6,2023/9/20,信道分类,定义:如果（1）信道的输入为随机变量序列X1,X2,X3,，其中每个随机变量Xu的事件集合都是0,1,K-1，（2）信

3、道的输出为随机变量序列Y1,Y2,Y3,，其中每个随机变量Yu的事件集合都是0,1,J-1，则称该信道为离散信道。,7,2023/9/20,信道分类,如果更有（3）P(Y1Y2YN)=(y1y2yN)|(X1X2XN)=(x1x2xN)=P(Y1=y1|X1=x1)P(Y2=y2|X2=x2)P(YN=yN|XN=xN)，则称该信道为离散无记忆信道（DMC）。如果更有（4）对任意x0,1,K-1，y0,1,J-1，任意两个时刻u和v，还有P(Yu=y|Xu=x)=P(Yv=y|Xv=x)，则称该信道为离散无记忆平稳信道或恒参信道。,信道容量的数学模型,信道容量的数学模型,信道的数学模型：,X

4、P(Y/X)Y,信道在某一时刻u的响应特性P(Yu=y|Xu=x)；x0,1,K-1，y0,1,J-1，,信道容量的数学模型,二元对称信道BSC当N1时p(0/0)=p(1/1)=0.9,p(1/0)=p(0/1)=0.1 当N=2时，p(00/00)=p(11/11)=p(0/0)p(0/0)=0.9*0.9=0.81P(10/00)=p(01/00)=p(01/11)=p(10/11)=0.1*0.9=0.09P(11/00)=p(00/11)=0.1*0.1=0.01,11,2023/9/20,信道容量的数学模型,（1）转移概率矩阵的每一行都是一个概率向量。,12,信道容量的数学模型,（

5、2）对任意y0,1,J-1，由全概率公式有,3.2 单符号离散信道的信道容量,1 信道容量的定义2 几种特殊离散信道的容量3 离散信道容量的一般计算方法,信道容量的定义,I(X;Y)是概率向量q(x),x0,1,K-1和转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1的函数。,信道容量的定义,设转移概率矩阵p(y|x)，x0,1,K-1，y0,1,J-1（是信道的响应特性）确定，希望选择概率向量q(x),x0,1,K-1使I(X;Y)达到最大。,信道容量,信道单位时间传输的最大信息量,定义离散无记忆信道的信道容量定义为如下的C。达到信道容量的输入概率分布x,p(x),x0,1,K-

6、1称为最佳输入分布。其中,信道容量表示了信道传送信息的最大能力，这个量在信息论研究中有重要意义。传送的信息量必须小于信道容量C,信道容量的定义,几种特殊离散信道的容量,定义：DMC的转移概率矩阵为 若P的任一行是第一行的置换，则称信道是关于输入为对称的。若P的任一列是第一列的置换，则称信道是关于输出为对称的。若信道是关于输入为对称的，又是关于输出为对称的，则称信道为对称信道。,几种特殊离散信道的容量,一、离散无噪信道1、一一对应的无噪信道,X、Y一一对应Cmax I(X;Y)log n,p(ai),2、具有扩展功能的无噪信道,一个输入对应多个输出,3、具有归并性的无噪信道,H(X/Y)0，H(

7、Y/X)=0,多个输入变成一个输出,二、强对称(均匀)离散信道的信道容量,p：总体错误概率,n n,相应的,二进制均匀信道容量 C1H(p),其中 H(p)=-(1-p)log(1-p)+plogp),二进制均匀信道容量曲线,三、对称离散信道的信道容量,矩阵中的每行都 是集合P=p1,p2,pn中的诸元素的不同排列，称矩阵的行是可排列的。,矩阵中的每列都是集合Q=q1,q2,qm中的诸元素的不同排列，称矩阵的列是可排列的。,如果矩阵的行和列都是可排列的，称矩阵是可排列的。如果一个信道矩阵具有可排列性，则它所表示的信道称为,对称信道中，当nm，Q是P的子集；当n=m时，P=Q。,对称信道,练习：

8、判断下列矩阵表示的信道是否是对称信道,相应的,对称离散信道的信道容量,信道的转移概率矩阵为:,例,强对称信道与对称信道比较：,四、准对称信道离散信道的信道容量,若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由n行和各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。例如下面的矩阵：,假设此时将矩阵的列分为S个子集，每个子集的元素个数分别是m1，m2，ms。,准对称信道离散信道的信道容量,准对称信道离散信道的信道容量,离散信道容量的一般计算方法,对一般离散信道而言，求信道容量，就是在固定信道的条件下，对所有可能的输入概率分布p(xi)，求平均互信息的

9、极大值。采用拉各朗日乘子法来计算。,原因？,(1),两边乘p(ai)，并求和，则有：,(2),将（2）代入（1），则有：,（3）,（4）,则（3）变为：,（5）,（6）,（7）,离散信道容量的一般计算方法,总结C的求法，过程如下：1.求j2.求C3.求p(bj)4.求p(ai),例：信道矩阵如下，求C。,1,2,3,4,结果,3.3 多符号离散信道,3.3.1 多符号离散信道的数学模型3.3.2 离散无记忆信道的N次扩展信道和独立并联信道的信道容量,多符号离散信道,多符号信源通过离散信道传输形成多符号离散信道。,3.3.1 多符号离散信道的数学模型,多符号离散信道的数学模型,输入,输出,3.3

10、.2 离散无记忆信道的N次扩展信道 独立并联信道的信道容量,无记忆：YK仅与XK有关,(a),r,r,65,2023/9/20,(积信道),定义信道的输入事件为全体(x,u)，共有KN个输入事件；信道的输出事件为全体(y,v)，共有JM个输出事件；转移概率矩阵为p(y,v)|(x,u)(KN)(JM)，其中p(y,v)|(x,u)=p1(y|x)p2(v|u)。则称该信道为信道1与信道2的积信道。（又称该信道为信道1与信道2的独立并行信道）（在物理上，积信道是两个信道的并行使用）,66,2023/9/20,积信道,积信道的信道容量为C=C1+C2，最佳输入分布为(x,u),q(x,u)，其中q

11、(x,u)=q1(x)q2(u)。,和信道,定义信道的输入事件为全体xu，其中x与u不相交；共有K+N个输入事件；信道的输出事件为全体yv，其中y与v不相交；共有J+M个输出事件；信道的转移概率矩阵为,和信道,则称该信道为信道1与信道2的和信道（或称并信道）。任一单位时间可随机地选用一个信道，而不能同时选用两个信道。若选用信道1的概率为P1，选用信道2的概率为P2，则P1+P2=1。,和信道容量,3.4 连续信道,连续信道的数学模型,加性连续信道,可加噪声信道：设平稳的（恒参的）时间离散的无记忆连续信道为：输入随机变量为X；噪声随机变量为N；X与N相互独立；输出随机变量为Y=X+N。则称该信道为可加噪声信道。,利用坐标变换原理,可证p(y/x)=p(n)X,N相互独立。,噪声功率,输入平均功率,输出平均功率,对于高斯加性信道,信噪功率比,香农公式,(bit/s),3.5 信道编码定理,若一离散平稳无记忆信道，其容量为C，输入序列长度为L，只要待传送的信息率RC,总能找到一种编码。当L足够长时，译码差错概率,为任意正数，反之，当RC,任何编码的,总结,1 信道的数学模型2 信道的分类3 离散信道中强对称、对称、准对称和一般信道的信道容量计算4 连续信道的信道容量计算 5 信道编码定理,