连续信源和信道.ppt

《连续信源和信道.ppt》由会员分享，可在线阅读，更多相关《连续信源和信道.ppt（34页珍藏版）》请在三一办公上搜索。

1、51 连续信源和波形信源的微分熵 52 具有最大熵的连续信源 53 连续信道和波形信道 54 连续信道和波形信道的信道容量,第五讲,连续信源和信道,51 连续信源和波形信源的微分熵,连续随机变量是取值范围连续，而时间是离散的，所以也叫做时间离散的连续随机变量。这种随机变量的序列表示的信源为连续信源。,时间 t,随机变量的取值范围（符号集）x,随机过程是取值范围和时间都是连续的。随机过程表示的信源为波形信源。,不同的观测,一次观测-样本函数,随机变量,随机过程在限频带 F、限时间 T的情况下，可以利用正交函数系（如KL变换）展开为独立的有限个时间离散的随机变量。（王育民书后有附录）2FT个自由度

2、取样值。抽样间距 1/2F.,随机波形信源的特点：1、消息数是无限的；2、利用概率密度函数表示。,平稳遍历随机过程：统计特性不随时间变化、样本函数 遍历各个样本值。,确定观测条件：确定的随 t 变化的样本函数；确定时间：随机变量。,连续随机变量的微分熵（差熵）,原式的一项的极限定义为连续随机变量的微分熵：,一般将上式中的第二项称为绝对熵。以下式表示。,微分熵与离散熵的不同：可以为负值；经过变换可能增加。（例如KX。）微分熵与离散熵的相同：虽然不再表示集合事件出现的不确定性度量了，但还是有许多和离散熵一样的性质，特别是可以表示两个集合之间的互信息。,对于联合集，定义其微分熵,对于随机过程的微分熵

3、，可以近似为随机变量系列。,条件熵：,随机序列的微分熵和条件熵关系：,（Jensen不等式对于连续变量也成立。）,例：令X是在区间（a，b）上均匀分布的随机变量，求X的微分熵。,解：,例：令X是期望为m，方差为 的正态随机变量，求X的微分熵。,解：,熵率：单位时间内信源的微分熵。例如均匀分布连续信源（序列）的熵率：对于限频 F，T时间内有2FT个自由度（样点），,注：对于随机过程的处理：首先搞清连续随机变量的特点，再作 N 维序列的。对于限频 F 限时 T的随机过程，可用 2FT 个自由度表示。,（或者最低取样间隔为1/2F秒，故每秒2F个样点，单位时间的熵即为乘以2F）,连续集的熵要在一定约

4、束条件下求解极大值，否则仍可能为无穷大。例如对于正态分布的熵为，若不对功率加限制，将为无限大。,常见的限制为峰值功率受限和平均功率受限。,（1）峰值功率受限：假定随机变量x的取值为a,b，,52 具有最大熵的连续信源,若连续变量x的幅度为a,b，则x的微分熵,（限幅情况下，均匀分布时微分熵最大）,定理：,证明：设一般分布为去q(x),最大分布为p(x),（2）平均功率受限时，限制随机变量x 的平均功 率或方差，即,定理：若连续随机变量的方差一定，则x服从正态 分布时的微分熵最大，,证明：设一般分布的概率密度为q(x),正态分布的概率密度为p(x),熵功率：设任意分布的连续集X的熵为h(X)，集

5、X的熵 功率定义为高斯分布下的功率：,：为达到给定的熵值 h(X)，正态分布所需要的 功率为最小。如果熵功率和信号的平均功率相差越大，信号的剩余度越大。,知道集合X的熵功率，可以立刻得到熵值。,连续信源的剩余度为：,53 连续信道和波形信道,高斯信道：信道噪声为高斯噪声，概率密度服从 N 维 高斯分布。,白噪声信道：信道噪声为白噪声。,（为双边功率谱密度）,高斯白噪声信道：信道噪声为高斯白噪声。,（概率密度为高斯分布，功率谱密度为均匀分布）,平均功率,总功率,每个样点的功率,限频限时的高斯白噪声，分解为 2FT 个独立的分量：均值为0，方差为 的高斯变量。,加性信道和乘性信道：,我们主要研究可

6、加噪声信道：,y=x+n，n为加性噪声。,满足概率密度 p(y|x)=p(y x)=p(n)的信道称为加性噪声信道。,采用坐标变换的方法：,因为X与n是统计独立的：,连续随机变量的互信息,连续随机变量需要用概率密度来描述。,互信息：连续联合集,中事件,之间的互信息定义为：,在每一点 x 的概率为：,平均互信息：,连续变量互信息的性质在许多方面和离散情况类似。,（1）非负性：,（2）对称性：,（3）数据处理定理：,（4）互信息与条件互信息的关系：,多维连续信道的信息传输率：,（比特/N自由度）,平均每个自由度的信息传输率：,波形信道的单位时间内的信息传输率：,（比特/秒）,54 连续信道和波形信

7、道的信道容量,由于加性信道的干扰和输入是统计独立的，所以,设信道干扰分布为独立于输入的均值为0、方差 为 的正态分布噪声 若输入连续集X的概率密度也为均值为0、方差 为 的高斯分布，,输出为两个正态分布的叠加，因而也是正态分布，其均值为0、方差为,例：,求变量和方差的一般情况：,独立的,如果对输入功率不加限制，互信息可能任意大。所以我们研究平均功率受限的可加噪声信道。也就是,定理：平均功率受限的时间离散、恒参、可加高斯 噪声信道的容量为：（还是单个随机变量的）,Ps 是输入平均功率的上限，是均值为0的高斯噪声的方差。最佳输入分布是均值为0、方差为 Ps 的高斯分布。,证明：,独立的：ExnEx

8、En,波形信道,波形信道为连续时间的连续取值的信道。x(t)表示输入，y(t)表示输出，n(t)表示信道噪声。如果y(t)=x(t)+n(t)就称为可加性波形信道。,波形信道在有限通信时间段0,T上，x(t)，y(t)是平方可积的函数，则它们可以经过正交展开，用 N=2FT 个时间离散的连续随机变量来表示。即转化为时间离散的连续变量序列。,波形信道单位时间的容量定义为,若信道干扰是可加性高斯白噪声，简记为AWGN,若信道输入功率不超过 Ps，,白噪声的功率谱密度为,N个的,每个样点的最大平均功率,与谱密度的值相同,香农公式：,是非高斯信道的信道容量的下限,物理意义：为了提高信道容量：1、增大系

9、统的带宽 W；2、加大信号的功率；3、采用低噪声器件；4、提高信噪比；,上式：,波形信道的容量的物理意义是什么？微分熵失去了信息熵的部分意义，并不表示不确定性了。连续变量的可能取值的数目是无限大的，若假定等概，则不定度将为无限大。为什么用微分熵来表示连续变量？因为在实际问题中，常遇到的是熵之间的差，例如互信息，它们的无限大的量是抵消的，所以微分熵在许多实际问题中还是很有用的。由此可见微分熵具有相对性，在取两熵之间的差时，才具有信息的所有特征。那么连续变量的互信息可以表示信息的传递能力，连续信道的容量表示最大的信息传递的能力。,连续信道编码定理：,对于限带高斯白噪声加性信道，噪声功率为Pn，带宽为W，信号平均功率受限为Ps。则（1）当 总能有信道编码方法，使Pe任意小；（2）反之，当RC时，不存在这种编码。,第五讲 连续信源和信道 结 束,