信息论与编码-第24讲-总复习.ppt
《信息论与编码-第24讲-总复习.ppt》由会员分享,可在线阅读,更多相关《信息论与编码-第24讲-总复习.ppt(74页珍藏版)》请在三一办公上搜索。
1、2023/11/11,1,信息与消息和信号的区别消息:是指包含有信息的语言、文字和图像等,可表达客观物质运动和主观思维活动的状态。信号:把消息变换成适合信道传输的物理量,这种物理量称为信号(如电信号、光信号、声音信号等)。,第一章 概 论,2023/11/11,2,信息“本体论”层次定义:信息是该事物运动的状态和状态改变的方式。认识论层次的信息是同时考虑语法信息、语义信息和语用信息的全信息。全信息:同时考虑外在形式/语法信息、内在含义/语义信息、效用价值/语用信息,称为全信息。语法信息:事物运动状态和状态改变的方式;语义信息:事物运动状态和方式的具体含义;语用信息:事物运动状态和方式及其含义对
2、观察者的效用。研究信息论的目的:它的主要目的是提高信息系统的可靠性、有效性和安全性以便达到系统最优化。,第一章 概 论,2023/11/11,3,单符号离散信源自信息量用概率测度定义信息量设离散信源 X,其概率空间为如果知道事件 xi 已发生,则该事件所含有的自信息定义为当事件 xi 发生以前:表示事件 xi 发生的不确定性。当事件 xi 发生以后:表示事件 xi 所含有(或所提供)的信息量,第二章 信源熵,2023/11/11,4,联合自信息量当 X 和 Y 相互独立时,p(xiyj)=p(xi)p(yj),第二章 信源熵,2023/11/11,5,条件自信息量:已知 yj 的条件下 xi
3、仍然存在的不确定度。自信息量、条件自信息量和联合自信息量之间的关系,第二章 信源熵,2023/11/11,6,互信息量:yj 对 xi 的互信息量定义为的后验概率与先验概率比值的对数。,第二章 信源熵,2023/11/11,7,观察者站在输出端:两个不确定度之差是不确定度被消除的部分,即等于自信息量减去条件自信息量。观察者站在输入端:观察者得知输入端发出 xi 前、后对输出端出现 yj 的不确定度的差。观察者站在通信系统总体立场上:通信后的互信息量,等于前后不确定度的差。,第二章 信源熵,2023/11/11,8,平均信息量信源熵:自信息的数学期望。也称为信源的信息熵/信源熵/香农熵/无条件熵
4、/熵函数/熵。信息熵的意义:信源的信息熵 H 是从整个信源的统计特性来考虑的。它是从平均意义上来表征信源的总体特性的。对于某特定的信源,其信息熵只有一个。不同的信源因统计特性不同,其熵也不同。信源熵的三种物理含义信源熵 H(X)是表示信源输出后每个消息/符号所提供的平均信息量;信源熵 H(X)是表示信源输出前,信源的平均不确定性;用信源熵 H(X)来表征变量 X 的随机性。,第二章 信源熵,2023/11/11,9,条件熵:是在联合符号集合 XY 上的条件自信息的数学期望。,第二章 信源熵,2023/11/11,10,信道疑义度H(X/Y):表示信宿在收到 Y 后,信源 X 仍然存在的不确定度
5、。是通过有噪信道传输后引起的信息量的损失,故也可称为损失熵。噪声熵H(Y/X):表示在已知 X 的条件下,对于符号集 Y 尚存在的不确定性(疑义),这完全是由于信道中噪声引起的。,第二章 信源熵,2023/11/11,11,联合熵 H(XY):表示输入随机变量 X,经信道传输到达信宿,输出随机变量 Y。即收、发双方通信后,整个系统仍然存在的不确定度。,第二章 信源熵,2023/11/11,12,最大离散熵定理(极值性):离散无记忆信源输出 n 个不同的信息符号,当且仅当各个符号出现概率相等时(即p(xi)=1/n),熵最大。Hp(x1),p(x2),p(xn)H(1/n,1/n,1/n)=lo
6、g2n 出现任何符号的可能性相等时,不确定性最大。,第二章 信源熵,2023/11/11,13,平均互信息量定义:互信息量 I(xi;yj)在联合概率空间 P(XY)中的统计平均值。从一个事件获得另一个事件的平均互信息需要消除不确定度,一旦消除了不确定度,就获得了信息。,第二章 信源熵,2023/11/11,14,站在输出端:I(X;Y)收到 Y 前、后关于 X 的不确定度减少的量。从 Y 获得的关于 X 的平均信息量。站在输入端:I(Y;X)发出 X 前、后关于 Y 的先验不确定度减少的量。站在总体:I(X;Y)通信前、后整个系统不确定度减少量。,第二章 信源熵,2023/11/11,15,
7、BSC信道的平均互信息量 设二进制对称信道的输入概率空间为 转移概率如图所示。,第二章 信源熵,2023/11/11,16,平均互信息量当 q 不变(固定信道特性)时,可得 I(X;Y)随输入概率分布 p 变化的曲线,如图所示;二进制对称信道特性固定后,输入呈等概率分布时,平均而言在接收端可获得最大信息量。,第二章 信源熵,2023/11/11,17,当固定信源特性 p 时,I(X;Y)就是信道特性 q 的函数,如图所示;当二进制对称信道特性 q=/q=1/2时,信道输出端获得信息量最小,即等于0。说明信源的全部信息信息都损失在信道中了。这是一种最差的信道。,第二章 信源熵,2023/11/1
8、1,18,离散无记忆信源 X 的 N 次扩展信源的熵等于离散信源X 的熵的 N 倍,即H(X)=H(XN)=NH(X)离散平稳信源:各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源。二维离散平稳信源的熵为,第二章 信源熵,2023/11/11,19,平均符号熵:信源平均每发一个符号提供的信息量为离散平稳有记忆信源的极限熵:当 N 时,平均符号熵取极限值称之为极限熵或极限信息量。用 H表示,即极限熵的存在性:当离散有记忆信源是平稳信源时,极限熵等于关联长度 N时,条件熵H(XN/X1X2XN-1)的极限值,即极限熵的含义:代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量。,第二
9、章 信源熵,2023/11/11,20,m阶马尔可夫信源m阶马尔可夫信源的极限熵有限齐次马尔可夫链各态历经定理有关问题的说明H并非在任何情况下都存在。对n元m阶马尔可夫信源来说,只有状态极限概率p(ej),j=1,2,nm都存在时,方能计算出H。从理论上可以证明,如果m阶马尔可夫信源稳定后具有各态历经性,则状态极限概率p(ej)可根据下式求出。,第二章 信源熵,2023/11/11,21,信源熵的相对率:=H/H0信源冗余度:=1=(H0H)/H0信源的冗余度表示信源可压缩的程度。,第二章 信源熵,2023/11/11,22,随机过程 x(t)中某一样本函数 x(t)的时间平均值定义:随机过程
10、 x(t)在某时刻 ti 所取的随机变量 的统计平均值/集平均定义:遍历的随机过程:时间平均与统计平均相等,即,第二章 信源熵,2023/11/11,23,连续信源的熵为上式定义的熵在形式上和离散信源相似,也满足离散熵的主要特性,如可加性,但在概念上与离散熵有差异因为它失去了离散熵的部分含义和性质。,第二章 信源熵,2023/11/11,24,连续信源熵有关问题说明连续信源熵并不是实际信源输出的绝对熵;连续信源的绝对熵还有一项正的无限大量,虽然 log2(ba)小于0,但两项相加还是正值,且一般还是一个无限大量。因为连续信源的可能取值数有无限多,若假定等概率,确知其输出值后所得信息量也将为无限
11、大;Hc(X)已不能代表信源的平均不确定度,也不能代表连续信源输出的信息量。连续信源熵的意义这种定义可以与离散信源在形式上统一起来;在实际问题中常常讨论的是熵之间的差值问题,如信息变差、平均互信息等。在讨论熵差时,两个无限大量互相抵消。所以熵差具有信息的特征;连续信源的熵 Hc(X)具有相对性,因此 Hc(X)也称为相对熵。,第二章 信源熵,25,例2.4 已知信源空间 信道特性如图2.4所示,求在该信道上传输的疑义度H(X|Y),噪声熵H(Y|X)和共熵H(XY)。,图2.4 例2.4的信道特性,解(1)根据P(xiyj)=P(xi)P(yj|xi),求各联合概率,得P(x1y1)=P(x1
12、)P(y1|x1)=0.50.98=0.49P(x1y2)=P(x1)P(y2|x1)=0.50.02=0.01P(x2y1)=P(x2)P(y1|x2)=0.50.20=0.10P(x2y2)=P(x2)P(y2|x2)=0.50.80=0.40(2)求Y集合中各符号的概率,得P(y1)=P(x1)P(y1|x1)+P(x2)P(y1|x2)=0.50.980.50.2=0.59P(y2)=1 0.59=0.41,(3)求各种熵,有,H(X|Y)=H(XY)H(Y)=1.43 0.98=0.45 比特 H(Y|X)=H(XY)H(X)=1.43 1=0.43 比特,2023/11/11,29
13、,信道容量 C:在信道中最大的信息传输速率,单位是比特/信道符号。单位时间的信道容量 Ct:若信道平均传输一个符号需要 t 秒钟,则单位时间的信道容量为 Ct 实际是信道的最大信息传输速率。,第三章 信道容量,2023/11/11,30,求信道容量的方法当信道特性 p(yj/xi)固定后,I(X;Y)随信源概率分布 p(xi)的变化而变化。调整 p(xi),在接收端就能获得不同的信息量。由平均互信息的性质已知,I(X;Y)是 p(xi)的上凸函数,因此总能找到一种概率分布 p(xi)(即某一种信源),使信道所能传送的信息率为最大。C 和 Ct 都是求平均互信息 I(X;Y)的条件极大值问题,当
14、输入信源概率分布 p(xi)调整好以后,C 和 Ct 已与 p(xi)无关,而仅仅是信道转移概率的函数,只与信道统计特性有关;信道容量是完全描述信道特性的参量;信道容量是信道能够传送的最大信息量。,第三章 信道容量,2023/11/11,31,当 n=2 时的强对称离散信道就是二进制均匀信道。二进制均匀信道 的信道容量为:二进制均匀信道容量 曲线如图所示。,第三章 信道容量,2023/11/11,32,香农公式说明当信道容量一定时,增大信道带宽,可以降低对信噪功率比的要求;反之,当信道频带较窄时,可以通过提高信噪功率比来补偿。当信道频带无限时,其信道容量与信号功率成正比。,第三章 信道容量,2
15、023/11/11,33,信道编码定理:若有一离散无记忆平稳信道,其容量为 C,输入序列长度为 L,只要待传送的信息率 RC时,任何编码的 Pe 必大于零,当 L,Pe1。信道编码定理说明:同无失真信源编码定理类似,信道编码定理也是一个理想编码的存在性定理。它指出信道容量是一个临界值,只要信息传输率不超过这个临界值,信道就可几乎无失真地把信息传送过去,否则就会产生失真。,第三章 信道容量,2023/11/11,34,失真度设离散无记忆信源为,第四章 信息率失真函数,2023/11/11,35,对每一对(xi,yj),指定一个非负函数d(xi,yj)0 i=1,2,n j=1,2,m 称 d(x
16、i,yj)为单个符号的失真度/失真函数。表示信源发出一个符号 xi,在接收端再现 yj 所引起的误差或失真。,第四章 信息率失真函数,2023/11/11,36,平均失真度定义d(xi,yj)只能表示两个特定的具体符号 xi 和 yj 之间的失真。平均失真度:平均失真度为失真度的数学期望,,第四章 信息率失真函数,2023/11/11,37,平均失真度意义 是在平均意义上,从总体上对整个系统失真情况的描述。它是信源统计特性 p(xi)、信道统计特性 p(yj/xi)和失真度 d(xi,yj)的函数。当 p(xi),p(yj/xi)和 d(xi,yj)给定后,平均失真度就不是一个随机变量了,而是
17、一个确定的量。如果信源和失真度一定,就只是信道统计特性的函数。信道传递概率不同,平均失真度随之改变。,第四章 信息率失真函数,2023/11/11,38,允许平均失真度:率失真函数中的自变量 D,也就是人们规定的平均失真度 的上限值。率失真函数的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度 D 的最小和最大值问题。D 的选取必须根据固定信源 X 的统计特性 P(X)和选定的失真函数 d(xi,yj),在平均失真度 的可能取值范围内。,第四章 信息率失真函数,2023/11/11,39,常用的失真函数第一种当a=1时称为汉明失真矩阵。第二种/平方误差失真矩阵:d(xi,yj)=
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 信息论 编码 24 复习

链接地址:https://www.31ppt.com/p-6549777.html