信息传输与信道容量.ppt
第三部分 信息论,2023/9/5,2,第三部分 信息论,信息论的三个基本内容：信息的度量；信息的信道容量；为利用信道容量传输信息所需要的编码。相应的基本结论为：如果一个信息源所发出的信息速率不超过信道容量，则尽管有噪声存在，我们总可以找到一种编码方法，使全部信息以任意小的差错频度传过信道。编码过程有两类：信源编码和信道编码。信源编码降低信息速率；信道编码等效无噪信道。,2023/9/5,3,第十章 信息传输与信道容量,10.1 离散信道的信息传输1.互信息与条件熵设有两个符号组：已知联合概率和条件概率：定义互信息：则平均互信息为：,2023/9/5,4,第十四章 信息传输与信道容量,即定义条件熵则有,2023/9/5,5,第十四章 信息传输与信道容量,容易证明：1）2）证明：2）因为，所以因此即,2023/9/5,6,第十四章 信息传输与信道容量,在信号传输中，需要传输的信号为 接收到的信号为通信中的最主要的问题就是利用接收到的信号来判断传输的信号是什么。信息熵 表明传输信号所具有的平均信息量；条件熵 表明X相对于Y的平均信息量(或丢失的信息)；因此互信息量 表明每个接受到的符号所获得的平均信息量.,2023/9/5,7,第十四章 信息传输与信道容量,信息熵 表明接收信号所具有的平均信息量；条件熵 表明Y相对于X的平均信息量(或噪声带来的噪声熵)；互信息量 表明每个接受到的符号所获得的平均信息量例 二元对称信道(BSC),2023/9/5,8,第十四章 信息传输与信道容量,已知传输信号有传输过程中的错误概率为,下面来计算互信息量.首先定义函数由题意知则有,2023/9/5,9,第十四章 信息传输与信道容量,所以互信息量为,2023/9/5,10,第十四章 信息传输与信道容量,2.离散信道容量 表明每个接受到的符号所获得的平均信息量若信源给定，源点、宿点字符组以及前向转移概率 都固定，则 只与 有关。为实现最大信息传输，信源 必须满足一定条件，可以通过信源编码实现，令即每个符号所传输的最大信息量，称之为信道容量。,2023/9/5,11,第十四章 信息传输与信道容量,若 为信道允许的最大符号速率，则代表信道传输的最大速率，它也可以用来描绘信道容量。山侬有噪声信道基本定理如一信道有容量，信源信息速率，则总可以找到一种编码系统（信道编码与信源编码），使信源输出以任意小的差错频度传过信道；反之，如果，则无差错地传输信息是不可能的。,2023/9/5,12,第十四章 信息传输与信道容量,14.2 连续信道1.连续信息连续信号（随机信号），各态历经，带宽有限。可以得到连续随机变量其概率密度函数为。定义离散随机变量则当 时，。,2023/9/5,13,第十四章 信息传输与信道容量,利用离散情况信息熵的定义，可以得到 的绝对信息熵：其中。称为相对信息熵（信息熵），与离散情况不同的是，可以取正、负或零。,2023/9/5,14,第十四章 信息传输与信道容量,问题：对于给定信源，如何选择，可以使得 达到最大？更一般地，此问题可以描绘成一个泛函问题：寻找，使得积分达到最大，其中 受 个约束条件限制：,2023/9/5,15,第十四章 信息传输与信道容量,根据变分学中的定理，当 满足时，为最大（或最小）。至少有一个约束条件：例1（具有固定平均功率的信源熵）已知某信源有概率密度函数，且满足其中 为固定值。试给出到达最大熵的。,2023/9/5,16,第十四章 信息传输与信道容量,解：此时有按照前面的结论，有所以带入约束条件有,2023/9/5,17,第十四章 信息传输与信道容量,解得所以达到最大熵时，有此时最大熵为,2023/9/5,18,第十四章 信息传输与信道容量,2.连续信道容量传输信号，接收信号为则可以定义平均互信息量容易证明类似地，有通常，已知前向转移概率密度函数，则 所传递的最大信息为,2023/9/5,19,第十四章 信息传输与信道容量,若信道具有固定带宽，则 是带宽为 的带限信号；因此 可以由满足奈奎斯特抽样率 的抽样值完全确定，所以最大信息传输速率为如果给定一个连续传输信道为加性高斯白噪声信道(AWGN)，满足如下条件：1）信道可在带宽范围内实现无畸变传输，任何传输损耗都将得到补偿；2）信道把来自信源的输入限制为具有固定平均功率 的带限信号；,2023/9/5,20,第十四章 信息传输与信道容量,3）宿点所收到的信号被均值为零，平均功率为 的带限加性高斯白噪声 所污染；4）信号与噪声相互独立，因而，以及对于此特殊信道，可以计算信道容量。1）计算噪声熵：,2023/9/5,21,第十四章 信息传输与信道容量,所以有2）计算信道容量：又所以,2023/9/5,22,第十四章 信息传输与信道容量,所以因此最大传输速率为这就是在哈特莱山侬定理中给出的可靠信息传输的上限，即在满足信息速率 的条件下，无错误的传输在理论上讲是可能的。,
