波形信源和波形信道.ppt
第4章 波形信源和波形信道,4.1 连续信源及波形信源的信息测度4.2 连续信源熵的性质及最大熵定理4.3 连续信道和波形信道的信道容量,4.1 连续信源及波形信源的信息测度,实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源称为随机波形信源。1、基本概念 模拟信源：信源的输出是时间和取值都连续的消息。即输出的消息不仅在时间上，而且在幅度取值上都是连续变化的波形信号。也称为随机波形信源。连续平稳信源：若信源输出用平稳的连续型随机序列来描述，则称信源为连续平稳信源。连续信源：用连续型随机变量描述输出消息的信源称为连续信源。,2、连续信源熵 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度函数 来描述。此时，连续信源的数学模型为：其中，R是全实数集，是变量X的取值范围。,4.1 连续信源及波形信源的信息测度,一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为：,连续信源熵：,4.1 连续信源及波形信源的信息测度,称为差熵,由上式可知，所定义的连续信源的熵并不是实际信源输出的绝对熵，连续信源的绝对熵应该还要加上一项无限大的常数项。这一点可以这样理解：因为连续信源的可能取值数是无限多个，若设取值是等概分布，那么信源的不确定性为无限大。当确知信源输出为某值后，所获得的信息量也将为无限大。,4.1 连续信源及波形信源的信息测度,同理，可以定义两个连续变量X、Y的联合差熵和条件差熵，即,4.1 连续信源及波形信源的信息测度,它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息：这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。,4.1 连续信源及波形信源的信息测度,3、各种差熵之间的关系(1)h(X2)h(x2|x1)(2)h(X1X2)=h(X2X1)=h(X1)+h(X2|x1)=h(X2)+h(X1|x2)(3)h(X)=h(X1X2XN)=h(X1)+h(X2|x1)+h(XN|X1X2XN)(4)h(X),4.1 连续信源及波形信源的信息测度,1、差熵的性质,（1）可加性 任意两个相互关联的连续信源X和Y，有h(XY)=h(X)+h(Y|X)=h(Y)+h(X|Y)（2）上凸性 差熵h(X)是概率密度函数的上凸函数。即对任意概率密度函数p1(x)和p2(x)，及任意01有：hp1(x)+(1-)p2(x)h(p1(x)+(1-)h(p2(x)（3）差熵可为负值，不存在非负性。,4.2 连续信源熵的性质及最大熵定理,（4）极值性 连续信源的差熵存在极大值，但与离散信源不同的是，其在不同的限制条件下，信源的最大熵是不同的。（5）变换性 连续信源输出的随机变量（或随机矢量）通过确定的一一对应变换，其差熵发生变化。但对于离散信源来说，其信息熵是不变的。,4.2 连续信源熵的性质及最大熵定理,2、最大熵定理（具有最大差熵的连续信源）求连续信源的差熵的最大值，一般是在特定约束条件下的值，常用的有两种情况：（1）峰值功率受限条件下信源的最大熵 定理：若信源输出的幅度被限定在a,b区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。其值等于log(b-a)。,4.2 连续信源熵的性质及最大熵定理,（2）平均功率受限条件下信源的最大熵 定理：若一个连续信源输出符号的平均功率被限定为P（这里是指的交流功率，即方差），则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为。,4.2 连续信源熵的性质及最大熵定理,4.3连续信道和波形信道的信道容量,1、基本概念连续信道：信道输入/输出都是取值连续的随机变量。波形信道：信道的输入和输出都是随机模拟信号时，称此信道为波形信道，又称模拟信道。高斯白噪声：瞬时值的概率密度函数服从高斯分布而功率谱密度又是均匀分布的噪声。高斯白噪声信道：若信道中的噪声n(t)是高斯分布的白噪声。加性信道：信道中噪声对信号的干扰作用表现为与信号相加的形式，则此信道为加性信道。,2.高斯加性波形信道的信道容量,1、限带高斯白噪声加性波形信道 信道的输入和输出信号是随机过程x(t)和y(t)，而加入信道的噪声是加性高斯白噪声n(t)（其均值为零，功率谱密度为，输出信号满足y(t)=x(t)+n(t),4.3连续信道和波形信道的信道容量,2.高斯加性波形信道的信道容量,波形信道可以分解成N维统计独立得随机序列，每个分量均值为0，方差为,每个信号样本值的平均功率为,在0,T时刻内，信道的信道容量为,要达到这个信道容量要求输入N维随机序列X中每一分量Xi都是均值为零，方差为Ps，彼此统计独立的高斯变量。高斯白噪声加性信道的单位时间的信道容量其中Ps是信号的平均功率，为高斯白噪声在带宽W内的平均功率。可见，信道容量与信噪功率比和带宽有关。,2.高斯加性波形信道的信道容量,4.3 连续信道和波形信道的信道容量,【例1】已知彩色电视图像由5105个像素组成。设每个像素有64种彩色度，每种彩色度有16个亮度等级。设所有彩色度和亮度等级的组合机会均等，并统计独立。(1)试计算每秒传送100个画面所需的信道容量；(2)如果接收机信噪比为30dB，为了传送彩色图像所需信道带宽为多少?解：(1)信息像素=log2(6416)=10b 信息每幅图=105105=5106b 信息速率R=1005106=5108bs因为R必须小于或等于C，所以信道容量 CR=5108 bs,例题,4.5 信道容量,2）,【例2】某一待传输的图片约含2.25X106个像元，为了很好的重现图片，需要12个亮度电平，假若所有这些亮度电平等概率出现，试计算用3min传送一张图片时所需的信道带宽。（设信道中信噪功率比为30dB）【例3】已知某标准音频线路带宽为3.4KHz。（1）设要求信道的S/N=30dB，试求这时的信道容量是多少？（2）设线路上的最大信息传输速率为4800b/s，试求所需最小信噪比为多少？【例4】有一信息量为1Mb的消息，需在某信道上传输，设信道带宽为4KHz，接收端要求信噪比为30dB，问传送这一消息需用多少时间？,4.5 信道容量,图像处理相关概念,采样：就是将一副连续图像在空间上分割成MXN个网格，每个网格中的模拟图像均值作为该网格的亮度值。每个网格称为像素或像元。量化：将采样后亮度值在某个幅度区间连续分布，转换成单个数码的过程。量化后的像素点整数值叫图像灰度值。,
