信息熵的基本性质ppt课件.ppt

《信息熵的基本性质ppt课件.ppt》由会员分享，可在线阅读，更多相关《信息熵的基本性质ppt课件.ppt（14页珍藏版）》请在三一办公上搜索。

1、设离散信源X的概率空间为：信息熵是信源概率空间的一种特殊矩函数，这个函数的大小与信源的消息数及其概率分布有关。当信源消息集的个数q 给定时，信源的信息熵是概率分布P(x)的函数,概率分布用概率矢量P来表示：,2.3 信息熵的基本性质,这样，信息熵 是概率矢量P或它的分量 的 元函数(各分量 满足 ,所以独立变量只有 元)。一般式可写为：,是概率矢量P的函数，称为熵函数,2.3 信息熵的基本性质,熵函数也是一种特殊的函数，它的函数形式为：,它具有下列一些性质。,(1)对称性：当变量 任意变换时，熵函数的值不变，即：,2.3 信息熵的基本性质,该性质表明：熵只与随机变量的总体结构有关，即与信源的总

2、体的统计特性有关。,差别：信源X与Y同一消息的概率不同，X与Z的具体信息不同，但它们的信息熵相同，表示三个信源总的统计特性相同，它们的信息数和总体结构是相同的。即：,2.3 信息熵的基本性质,如：,(2)确定性：,因为在概率矢量 中，当分量 时有 。而其余分量,该性质说明：信源虽然有不同的输出符号，但只有一个消息几乎必然出现，而其它符号则是几乎不可能出现，那么这个信源是确知信源，其熵等于零。,2.3 信息熵的基本性质,(3)非负性：,该性质是非常明显的，因为随机变量X的所有取值的概率分布满足 时，熵是正值的，只有当随机变量是确知量时，其熵等于零。,这种非负性对于离散信源而言是正确的，但对于连续

3、信源来说这一性质就不一定存在。以后可以看到，在差熵的概念下，可能出现负值。,2.3 信息熵的基本性质,(4)扩展性因为：说明：信源的消息数增多时，若这些消息对应的概率很小(接近于零)，则信源的熵不变。,2.3 信息熵的基本性质,(5)可加性：,统计独立信源X和Y的联合信源的熵等于分别的熵之和。,两个随机变量X和Y，相互独立，X概率分布为： , Y的概率分布为 。,则：,根据熵函数表达式有：,2.3 信息熵的基本性质,故：,2.3 信息熵的基本性质,可加性是熵函数的一个重要特性，正因为具有可加性，所 以可以证明熵函数的形式是唯一的，不可能有其他的形式存在。,(6)强可加性：,两个互相关联的信源X

4、和Y的联合信源的熵等于信源X的熵加上信源X已知条件下信源Y的条件熵。设两个随机变量X和Y，互相关联，X概率分布为： Y的概率分布为 ：其中 ： 叫条件概率，来描述彼此的关联。 叫联合概率,2.3 信息熵的基本性质,2.3 信息熵的基本性质,证明：,式中右边第一项是信源 的熵 。 第二项中,所以，熵函数 就是 和 的联合信源的联合熵 。,2.3 信息熵的基本性质,它表示已知信源 取值 下，信源 选取一个值所提供的平均信息量。此量对 取统计平均值，表示在信源 输出一个符号的条件下，信源 再输出一个符号所提供的信息量，记作 , 称为条件熵 。,因此，强可加性式可写成：,显然，可加性是强可加性的特殊情况，当信源 和 统计独立时，其满足：,2.3 信息熵的基本性质,可得：,(7)极值性,此性质表明：在离散信源情况下，对于具有 个符号的离散信源，只有当它们等可能出现时，信源熵才能达到最大值。即表明等概率分布信源的平均不确定性最大，我们称该结论为最大离散熵定理。,2.3 信息熵的基本性质,