信息论与编码课件第三章.ppt
第三章信道与信道容量,信道的数学模型和分类离散无记忆信道的信道容量信源与信道的匹配信道的组合连续信道的信道容量,第三章 作业教材第91页93页3.1，3.2(b)，3.3(1)(3)，3.10，3.11,空间传输:各种物理通道-电缆、光缆、空间等。时间传输:指将信息保存，然后在以后读取。,信道的数学模型和分类,信道概念通信系统的组成部分，传递和存储信息的通道或媒质,包括空间传输和时间传输。,狭义信道：电传播介质（电缆，自由空间）通信设备（信息经过的通道）广义信道：测量、观察设备（示波器）存储、记忆设备（磁带，光盘，书 信等）,信道的数学模型和分类,输入输出关系：转移概率 p(y|x)信道描述：1.输入集合 2.输出集合 3.输入输出的转移概率分布研究目标：从信道的输出了解信道的输入,信道的数学模型和分类,按信道输入输出符号分类 输入、输出空间状态集合时间集合 离散信道（数字信道）：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。模拟信道（波形信道）：输入输出空间为连续。,信道的数学模型和分类,有记忆信道：输出 Y不仅与当前的输入 X 有关，而且与前面的输入有关。无记忆信道：输出 Y 仅与当前的输入 X 有关，与前面的输入无关。,信道的数学模型和分类,按信道转移概率分布函数的特点分类,信道的数学模型和分类,单用户信道：输入和输出都只有一个的单向通信信道。多用户信道：输入和输出中至少有一端有两个以上的用户，且可以进行双向通信。,按输入和输出的数目分类,固定参数（恒参）信道：信道的统计特性不随时间变化。时变参数（随参）信道：信道的统计特性随时间变化。,信道的数学模型和分类,按信道的统计特性与时间的关系分类,单符号无记忆离散信道的信道容量 数学模型：或,离散无记忆信道的信道容量,研究目标：了解输出端能从输入端得到多少信息？即如 何将信道所能传递的信息定量化？数学表示：互信息 I(X;Y)I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)分析：p(y|x)给定，I(X;Y)随输入分布p(x)变化而变化。调整该分布可使互信息达到最大值，即给出了信道所能传递的最大信息量。定义该最大值为给定信道的信道容量，用C 表示：求信道容量：找到最佳分布，使互信息达到最大值。（最佳分布：达到信道容量时的信源分布。）,离散无记忆信道的信道容量,离散无记忆信道的信道容量,说明：C 客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可能传输的最大信息量。可以通过编码改变信源的分布使互信息达到最大值。,离散无记忆信道的信道容量,定理3.1：对于信道矩阵为 P 的离散无记忆信道，其输入分布 p(x)能使互信息 I(X;Y)达到最大值（信道容量）的充要条件是,离散无记忆信道的信道容量,例3.3（P:70）取输入分布,离散无记忆信道的信道容量,所以由定理3.1得，最佳分布,离散无记忆信道的信道容量,无噪无损信道,特殊DMC的信道容量,有噪无损信道,特殊DMC的信道容量,无噪有损信道,特殊DMC的信道容量,对称信道对称信道定义：信道转移矩阵P中所有的行都是同一组元素的不同排列，所有的列也是同一组元素的不同排列。,特殊DMC的信道容量,准对称信道定义：设 B 为信道转移矩阵P的列集合，如果将B划分成m个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。,特殊DMC的信道容量,特殊DMC的信道容量,定理3.2：对于准对称信道，达到信道容量的输入分布为等概分布。证明：(略),准对称信道的信道容量计算,特殊DMC的信道容量,例：准对称信道,对称信道的信道容量计算,特殊DMC的信道容量,对称信道的信道容量计算,特殊DMC的信道容量,特殊DMC的信道容量,例：对称信道,强对称信道（均匀信道）定义：信道输入、输出符号个数相同，且信道矩阵为,特殊DMC的信道容量,当信道转移概率矩阵P是非奇异时（此时n=m），即逆矩阵P-1存在时，该信道被称为可逆矩阵信道。,一般DMC的信道容量,例：取另解：,达到信道容量时输入、输出概率分布的唯一性,结论：（1）输入概率分布的解不唯一，输出概率分布 的解唯一。（2）当信道转移矩阵可逆时，则输入概率分布 有唯一解。,达到信道容量时输入、输出概率分布的唯一性,数学模型：,多符号信道的信道容量,（1）信道无记忆：证明：,多符号信道的信道容量,（2）信源、信道均无记忆：,多符号信道的信道容量,信源与信道的匹配,信道的组合,独立并联信道（积信道）特点：多输入，多输出。各分信道彼此独立。容量：,独立并联信道,独立并联信道,和信道特点：随机应用N 个信道中的一个，构成一输入/输出信道。容量：分信道的使用概率：,和信道,和信道,和信道,输入并接信道特点：输入相同X，输出不同Y=Y1Y2YN，单输入，多输出。容量：对X 进行多次测量，每一次测量都构成一输入/输出信道，则 N 次测量后,输入并接信道,级联信道特点：单输入，单输出。容量：,级联信道,级联信道,连续无记忆信道的信道容量,无记忆加性噪声信道的容量,无记忆加性高斯噪声信道的容量,无记忆加性高斯噪声信道（平均功率S受限）说明：对于无记忆加性高斯噪声信道，利用高斯信号作为输入时，信道总可以得到充分利用。即在无记忆加性高斯噪声信道中高斯信号是最有效的，在同样的信号功率下可以传输最多的信息。,无记忆加性噪声信道的容量界,无记忆加性噪声信道的容量界,无记忆加性噪声信道的容量界,说明：S为输入平均功率的上限，为噪声的 方差，为噪声的熵功率 在高斯噪声情况下，信道容量最小。在未知信道噪声特性时，将噪声视为高斯 噪声来考虑为好。,模拟信道及其离散化模拟信道：输入和输出信号在幅度和时间上都连续取值的信道。实例：光纤，电缆，电磁波传播的大气层或宇宙空间。离散化：设模拟信道的输入为x(t)，相应的输出信号为y(t)，则可以通过正交展开将其化为时间离散的序列：统计特性描述：,模拟信道的信道容量,模拟信道容量计算（限带，加性白色高斯噪声信道）限带：限制在频带-W,W 内。输入信号：x(t)，输出信号：y(t)。噪声信号：z(t)（1）加性（与输入统计独立）（2）高斯（瞬时值的密度函数服从高斯分布）（3）白色（平稳遍历的随机过程，功率谱密度 N0）,模拟信道的信道容量,结论：限带 W 的加性白色高斯噪声模拟信道相当于 N 个连续加性高斯信道的并联。,模拟信道的信道容量,结论：（1）带宽一定时，信道的最大传输率是信噪比的函数。（2）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带宽。例1.用香农公式研究Modem的速度 Modem 速度可达 56Kbps，实际很低。,香农公式,在 Modem 通信环境中，音频电话支持的频率范围是300Hz-3300Hz，则 W 3300Hz300Hz3000Hz.此环境中一般的信噪比为30dB，即3010log10(S/N)，S/N1000则 C3000log2(1000+1)30Kbps.（3）对于有确定信道容量 C 的信道，可以用带宽 W 与信噪比 S/N 的不同组合来传输信息。如减少带宽，则必须发送较大功率的信号。如增大带宽，则同样的信道容量能够用较小功率的 信号传输，即宽带系统具有良好的抗干扰性。,香农公式,（4）扩频技术,香农公式,例：CDMA（码分多址）技术 基于扩频通信的基本原理，将要传输的具有一定带宽的信号，用一个带宽远远大于信号带宽的高速伪随机编码信号（白噪声）去调制它，使原信号的带宽被远远扩大，达到在S/N较低的情况下得到较高通信质量的目的。,香农公式,平行可加高斯信道的容量,由无记忆性及加性类似于离散情形有,平行可加高斯信道的容量,达到上述容量的输入分布：输入中个分量统计独立，均值为零，平均功率为Si的高斯随机变量。约束条件：输入信号的总平均功率受限，问题：如何将总信号平均功率分配到各信道中，达到上述容量？结论：在总功率一定的前提下，噪声大的信道将分配到功率小的输入信号或不分配给信号尽量使其少传或不传信息；噪声小的信道分配到功率大的信号尽量使其多传信息。,平行可加高斯信道的容量,平行可加高斯信道的容量,图示：无记忆加性高斯噪声信道的并联，输入总功率 受限时各信道中信号平均功率的分配,平行可加高斯信道的容量,1,2,3,4,5,6,7,8,9,10,N,=10,功率,例：10各独立信道的并联，高斯加性噪声均值 为零，平均功率分别为：输入信号总平均功率为解：,平行可加高斯信道的容量,这样信号将分配给剩下的 6个 信道，N6 此时有：这样信号将分配给剩下的 5 个信道，N5 此时有：最后信号将分配给 4 个信道，N4,平行可加高斯信道的容量,平行可加高斯信道的容量,求得信道容量为,第三章 小结,信道容量概念特殊信道容量计算信道的组合香农公式,
