电工胶布使用方法.ppt
信息论与编码基础,离散信道,东莞电工培训,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,离散信道,a、根据输入、输出信号的时间特性和取值特性,离散信道,连续信道,半离散或半连续信道,波形信道,信息论与编码基础,1、信道的分类,数字信道,b、根据输入集合与输出集合的个数,单用户信道,多用户信道,一对多、多对一,多对多,信息论与编码基础,离散信道,c、根据信道转移概率的性质,无噪信道,有噪信道,1、信道的分类,实际的通信信道几乎都是有扰信道,无记忆信道,有记忆信道,实际信道一般都是有记忆的，信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感或电容、无线信道中电波传播的衰落现象等。,d、按信道统计特性,恒参信道,变参信道,卫星信道,短波信道,e、根据信道噪声的性质,高斯噪声信道,非高斯噪声信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,2、离散信道的数学模型,信道,无扰（无噪）信道,有扰信道,无记忆信道,有记忆信道,信息论与编码基础,离散信道,1、信道的分类,2、离散信道的数学模型,3、单符号离散信道,信息论与编码基础,离散信道,信道,3、单符号离散信道,例1 BSC信道,BSC(p)信道是实际中几乎所有重要的二进制脉冲传输系统的模型,p为交叉(crossover)概率等于解调器/检测器出现硬判决译码错误的概率,信息论与编码基础,离散信道,1）条件转移概率,2）转移矩阵,3）转移概率图,3、单符号离散信道,信息论与编码基础,离散信道,一定比例的bit被删除，并且接收者知道是那些bit已经被删除。,例2 二进制删除信道,3、单符号离散信道,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,互信息,自信息,条件自信息,由于条件引入获得的信息量,1）对称性,I(ai;bj)=I(bj;ai),2）事件统计独立时I(ai;bj)=0,3）可正、可负,4）I(ai;bj)I(ai),信息论与编码基础,绪论,练习：令随机变量x表示随机抽取人群中的性别，x0为男性，x1为女性。随机变量y表示随机抽取人是否抽烟，y0表示抽烟，y1表示不抽烟。（1）若（x，y）的联合概率分布如表11所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,（2）若（x，y）的联合概率分布如表12所示，求“已知抽取人为男性”，对“该人抽烟”提供的信息量。,信息论与编码基础,离散信道,1、信道疑义度,先验熵,后验熵,若信道中存在干扰时,信道疑义度,0H(X|Y)H(X),损失熵,信息论与编码基础,离散信道,2、平均互信息,定义3.2 令,为信道输入X与输出Y之间的平均互信息,接收到每个输出符号后获得的关于X的平均信息量,bit/sign,互信息,思考题,试问,1）接收到第一个数字0与M1之间的互信息。,2）接收到第二个数字也是0时，得到多少关于关于M1的附加互信息。,3）接收到第三个数字仍是0时，又增加多少关于M1的互信息。,4）接收到第四个数字仍是0时，再增加多少关于M1的互信息。,信息论与编码基础,离散信道,思考题,令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0 且 I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。3）如果 I(X;Y1)=0 且I(X;Y2)=0，是否可推出 I(Y1;Y2)=0?请说明。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息,接收到每个输出符号后获得的关于X的平均信息量,信息传输率 R,bit/sign,信息论与编码基础,离散信道,利用詹森不等式,信息论与编码基础,离散信道,接收者通过信道获得的信息量不可能超过信源本身固有的信息量。,0I(X;Y)H(X),信息论与编码基础,离散信道,发出X后获得的关于Y的平均信息量,4、与各类熵的关系,信息论与编码基础,离散信道,损失熵,噪声熵,散布度：表示信道输入信号由于干扰作用在输出端表现的散布范围。,信息论与编码基础,离散信道,5、,的凸函数性,于是,信息论与编码基础,离散信道,信息论与编码基础,离散信道,例1（续）,当p=0时,当p=1时,当p=1/2时,信息论与编码基础,离散信道,思考题,假定马尔科夫链(非平稳)起始于n个状态中的一个，然后第二步受到限制，只能转移到k个状态之一(kk)。于是有,其中,且,1）试说明X1和X3之间的依赖性受到X2的瓶颈效应影响，即I(X1;X3)logk。,2）试估计当k=1时I(X1;X3)的值，并进行瓶颈效应分析。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,1、信道模型,离散无记忆N次扩展信道模型,信道转移矩阵,其中,信息论与编码基础,离散信道,1、信道模型,BSC的二次扩展信道,信息论与编码基础,离散信道,2、平均互信息,a)定义,bit/N-sign,b)性质,，则：,仅当信道无记忆时等式成立。,信息论与编码基础,离散信道,2、平均互信息,信息论与编码基础,离散信道,2、平均互信息,b)性质,信息论与编码基础,离散信道,定理3.1,对于离散无记忆信道，有,2、平均互信息,证明：,b)性质,信息论与编码基础,离散信道,信息论与编码基础,离散信道,定理3.2,对于无记忆信源，则,2、平均互信息,b)性质,证明：,信息论与编码基础,离散信道,计算,信息论与编码基础,离散信道,总结：,1）当信源无记忆时,2）当信道无记忆时,3）当信源、信道均无记忆时,信息论与编码基础,离散信道,思考题,假定某信源的符号集为A=0,1，其中p0=p1=0.5，则H(A)=1。令编码器C的符号集为B=0,1,7，并且假定B中的元素采用二进制形式表示(b2b1b0)。如果输入序列为 a(t并且寄存器的初始值为b=5(=101)，求输出序列。,如果将该编码器看成一个信道，请讨论该信道的转移特性及平均互信息。,信息论与编码基础,离散信道,一、信道模型及分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展信道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,平均互信息I(X;Y)代表了接收到每个输出符号后获得的关于X的平均信息量，又叫做信道的信息传输率。,I(X;Y)能说明一个信道的好、坏吗？,信息论与编码基础,离散信道,1、定义,说明：,bit/sign,1）信道给定后，p(y|x)就固定，C仅与p(y|x)有关，而与P(x)无关,2）C是信道传输的最大信息率。,Ct=C/t,bit/s,信息论与编码基础,离散信道,2、简单离散信道的信道容量,a、无噪无损信道,信息论与编码基础,离散信道,b、有噪无损信道,2、简单离散信道的信道容量,信息论与编码基础,离散信道,c、有损无噪信道,2、简单离散信道的信道容量,信息论与编码基础,离散信道,总结：,1）若严格区分，凡损失熵等于0的信道称为无损信道；凡噪声熵等于0的信道称为无噪信道。,2）无损信道,3）无噪信道,2、简单离散信道的信道容量,信息论与编码基础,离散信道,例,求BEC的信道容量,信息论与编码基础,离散信道,3、对称信道的信道容量,？,信息论与编码基础,离散信道,3、对称信道的信道容量,？,信息论与编码基础,离散信道,例1,强对称信道,信息论与编码基础,离散信道,4、离散无记忆N次扩展信道的信道容量,达到的条件：只有当信源无记忆时，每一输入变量Xi的分布P(x)各自达到最佳分布时。,信息论与编码基础,离散信道,有噪声的打字机信道,考虑26个键的打字机,1）如果每敲击一个键，它就准确地输出相应的字符，那么该容量C是多少？,2）如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现，即敲A可能输出A或B，敲Z可能输出Z或A。那么此时的容量如何？,信息论与编码基础,离散信道,附：香农信道容量公式,1、连续消息的信息度量,连续信源的可能取值数是无限多个，若设取值是等概率分布，那么，信源的不确定为无限大。,连续信源的熵,1）与离散信源的熵在形式上统一；2）实际问题中常常讨论熵之间差值问题。,差熵,高斯分布情况,信息论与编码基础,离散信道,2、高斯信道的信道容量,附：香农信道容量公式,I(X;Y)=h(Y)h(Y|X)=h(Y)-h(n),2、高斯信道的信道容量,附：香农信道容量公式,信息论与编码基础,离散信道,信道的输出功率为,Ey2=E(x+z)2=Ex2+0+Ez2=S+N,根据最大熵定理,平均功率受限条件下信源的最大熵定理若某信源输出信号的平均功率和均值被限定，则当其输出信号幅度的概率密度函数p(x)是高斯分布时，信源达到最大熵值。,有,信息论与编码基础,离散信道,附：香农信道容量公式,3、带限信道的信道容量,对于带限信号，采样定理指出，若信号的有效带宽为B，采样频率为fs，则当fs2B时，样值序列能够保留原连续信号全部的频谱特征，或者说全部的信息量。,香农公式,信息论与编码基础,离散信道,附：香农信道容量公式,4、香农公式的意义,信噪比,1）信道容量与所传输信号的有效带宽成正比，信号的有效带宽越宽，信道容量越大,2）信道容量与信道信噪比有关，信噪比越大，信道容量越大，其制约规律呈对数关系,3）当信道上的信噪比小于1时，信道容量并不等于0，这说明此时信道仍具有传输信息的能力,4）信道容量C、有效带宽B和信噪比S/N可以相互起补偿作用，即可以互换。,C不变，B增加，S减小，扩频通信,C不变，B减小，S增加，多相位调制,信息论与编码基础,离散信道,附：香农信道容量公式,4、香农公式的意义,是否可以用无限制地加大信号有效带宽的方法来减小发射功率，或在任意低的信噪比情况下仍能实现可靠通信呢？,信号有效带宽与发射功率互换的有效性问题。信道容量往往是给定的，这时可以根据信道特性来权衡发射功率和信号有效带宽的互换，使系统的设计趋于最佳。,信息论与编码基础,离散信道,附：香农信道容量公式,5、香农限,在信道带宽不受限的情况下,若B趋近于，且Rt趋近于C，则,在带宽不受限的高斯白噪声信道中，只要每赫兹频带传输一比特信息的信噪比不低于-1.6dB，通过最佳信道编码，就有可能实现无差错的传输！这是高斯信道中传输信息的极限能力，称为香农限！,信息论与编码基础,离散信道,1）在图片传输中，每帧约为2.25106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。,练习,2）设在平均功率受限高斯可加波形信道中，信道带宽为3kHz，又设（信号功率+噪声功率）/噪声功率=10dB。试计算该信道传送的最大信息率（单位时间）。若功率信噪比降为5dB，要达到相同的最大信息传 输率，信道带宽应是多少。,信息论与编码基础,离散信道,一、信道的数学模型与分类,二、信道疑义度与平均互信息,三、平均互信息的性质,四、离散无记忆的扩展性道,五、信道容量,六、信源与信道的匹配,信息论与编码基础,离散信道,当信源与信道连接时，若信息传输率达到信道容量，则称此信源与信道达到匹配，否则，认为信道有剩余。,信道 剩余,信源剩余度,信道剩余度,信息论与编码基础,离散信道,例，某离散无记忆信源,H(S)=1.937(bit/信源符号),C1:000 001 010 011 100 101,C2:0000 0001 0010 0011 0100 0101,R1=H(S)/3=0.646(bit/信道符号),R2=H(S)/4=0.484(bit/信道符号),C=1(bit/信道符号),信息论与编码基础,离散信道,作业,P56：1、5、9、10,思考题,令X,Y1,Y2为二进制随机变量，1）如果I(X;Y1)=0 且 I(X;Y2)=0,可否推出I(X;Y1,Y2)=0?试举例说明。,信息论与编码基础,离散信道,X=Y1 XOR Y2,2）如果 I(X;Y1)=0 且I(X;Y2)=0，是否可推出 I(Y1;Y2)=0?请说明。,信息论与编码基础,离散信道,思考题,
