第二部分1.ppt

二、信源及信源编码,主要内容2.1 离散信源（核心教材为主）2.2 连续信源及离散化（随机变量、随机矢量、随机过程描述信源及其熵，连续信源正交展开）2.3 无失真信源编码（马尔科夫信源编码方法及有效性）2.4 限失真信源编码（核心教材为主）,二、信源及信源编码,2.1 离散信源1、设计信源寻找熵最小的信源3.1 信源的数学模型及其分类3.2 离散无记忆信源3.3 离散无记忆信源的扩展信源3.4 离散平稳信源3.5 马尔可夫信源3.6 信源的相关性和剩余度,一、简单离散无记忆信源1、定义：设信源输出符号集合，每次信源输出一个消息符号，且消息符号之间彼此统计独立，称为简单离散无记忆信源，可用一维随机变量X描述，其数学模型为,例如二元离散信源,二、信源及信源编码,2、简单离散无记忆信源的信息熵、自信息量精描述简单离散无记忆信源中，消息符号ai的自信息量为、信息熵粗描述 简单离散无记忆信源的信息熵为,H(X)是 p(x)的函数；H(X)是信源输出每个符号平均携带的信息量。,二、信源及信源编码,二、离散无记忆N次扩展信源 设X是一个离散无记忆信源，其概率空间为 其中，q 为信源符号个数，p(ai)0,i=1,2,q X的N次扩展信源XN是具有个qN消息符号的离散无记忆信源，其数学模型为,二、信源及信源编码,其中,说明：信源X的符号集合为N次扩展信源XN符号集合为,二、信源及信源编码,4、离散无记忆N次扩展信源的熵 离散无记忆信源X的N次扩展信源XN的熵等于信源X的熵的N倍，即其中，H(X)是原始信源X的熵；H(XN)是原始信源X进行N次无记忆扩展后得到的信源XN的熵，扩展信源的每个符号使用了原始信源的N个符号。结论：信源无记忆扩展后，熵不变。,二、信源及信源编码,三、N维平稳信源的熵特性：信源输出的随机序列是平稳的；输出序列每N个符号一组；组与组之间统计无关，组内符号相关；符号X1XN取值同一符号集A=a1,a2,aq概率空间,二、信源及信源编码,N维平稳信源的熵联合熵 平均符号熵：信源输出为N长符号序列，平均每个符号的熵定义为,二、信源及信源编码,极限熵（极限信息熵）当信源符号序列长度趋于无穷时的平均符号熵 条件熵,二、信源及信源编码,N维平稳信源熵的性质(1)条件熵 随N的增加非递增；(2)(3)平均符号熵 随N的增加非递增；(4)极限熵 存在，且,对于平稳信源，极限熵是考虑了符号相关性的最小值,二、信源及信源编码,四、马尔科夫信源1、状态空间：如果信源输出符号集合为A=a1,a2,aq，输出当前符号的概率仅于已经输出的前m个符号有关，而与再前面的符号无关，则称这m个符号构成信源的状态Si，所有可能的状态集合S称为状态空间 m称为马尔科夫信源阶数。,二、信源及信源编码,2、马尔可夫信源满足下列条件的信源称为马尔可夫信源信源输出仅与当时状态有关信源状态由当时输出符号与前一时刻信源状态决定其中，xl 表示输出符号变量，ul 表示状态变量。,二、信源及信源编码,m阶马尔可夫信源的状态空间为 其中，p(Si|Sj)由信源符号的条件概率确定，,二、信源及信源编码,3、m阶马尔科夫信源熵H(X1X2XN)通过影射X1X2Xm Sm+1 X2X3Xm+1 Sm+2 XN-m+1XN-m+2XN SN+1 将序列X1X2XN变成Sm+1Sm+2SN+1*序列X1X2XN中Xi与前m个符号有关：m阶；*序列Sm+1Sm+2SN+1中Si与前面“符号”有关：一阶；*序列X1X2XN与Sm+1Sm+2SN+1 熵一样。所以有：H(X1X2XN)=H(Sm+1Sm+2SN+1)=H(Sm+1)+H(Sm+2|Sm+1)+H(SN+1|SN),二、信源及信源编码,对于齐次马氏链与时刻i无关，记作列向量H(常数)，而且所以,二、信源及信源编码,其中，H(i)是i时刻由一步转移矩阵每行元素的熵构成的列矢量。,若Sm+1处于稳态，即,符号熵为,二、信源及信源编码,极限熵为,二、信源及信源编码,4、马尔科夫信源的极限熵 当时间足够长时，遍历的m阶马尔可夫信源可视为平稳信源其中，p(Sj)是平稳分布 H(X|Sj)是信源出于状态Sj 时的条件熵,二、信源及信源编码,例、二元二阶平稳马尔科夫信源的条件概率为计算极限熵,二、信源及信源编码,解：状态空间为,一步状态转移概率矩阵为,二、信源及信源编码,平稳分布,二、信源及信源编码,平稳状态下符号熵,二、信源及信源编码,极限熵,