信息论与编码 简答.docx

《信息论与编码 简答.docx》由会员分享，可在线阅读，更多相关《信息论与编码 简答.docx（7页珍藏版）》请在三一办公上搜索。

1、信息论与编码 简答四、简答 1、信息的主要特征有哪些？ 答：信息具有以下特征：信息是可以识别的信息的载体是可以转换的信息是可以存贮的信息是可以传递的信息是可以加工的信息是可以共享的 2、信息的重要性质有哪些？ 答：可靠性、保密性、有效性、认证性 3、简述几种信息分类的准则和方法。 狭义信息论、一般信息论、广义信息论 4、信息论研究的内容主要有哪些？ 答：对信息论的研究内容一般有以下三种理解。 狭义信息论：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为香农信息论。 一般信息论：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和

2、预测、统计检测和估计理论、调制理论以及信息处理理论等。 广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。 五、简述自信息的性质。 答：概率为0时，相应的自信量无意义、非负性、可加性 六、简述信源熵的基本性质。 答：1、对称性：H(P) 的取值与分量 p1, p2 , , pq的顺序无关。2、确定性：H(1,0)=H(1,0,0)=H(1,0,0,0)=0 3、非负性： H(P) 04、扩展性5、可加性：统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。H(XY) = H(X)+ H(Y) 6、强可加性：

3、两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。 H=H+ H7、递增性8、极值性 在离散信源情况下，信源各符号等概率分布时，熵值达到最大。9、上凸性 七、简述信源熵、条件熵、联合熵和交互熵之间的关系。 H(XY) = H(X) + H(Y|X) H(XY) = H(Y) + H(X|Y) H(X) = H(X|Y) H(Y) = H(Y|X) H(XY) C，总可以找到一种编码，当L足够长时，译码错误概率pee，为任意大于零的正数。反之，当RC时，任何编码的必大于零，当L时，pe1。香农第二定理只pe是一个存在性定理，它指出信道容量是一个临界值，只要信息

4、传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。 12、简述率失真函数的性质。 答： 1、 R(D)的定义域为Dm=di(x,ny)inp(x)mxyx0DminDDmax且：Dm=ipn(x)mdi(x,ny)amx允许失真度D的下限可以是零，即不允许任何失真的情况。 2、 R(D)是关于平均失真度D的下凸函数 设D1，D2为任意两个平均失真，01则有： R(aD1+(1-a)D2)aR(D1)+(1-a)R(D2)3 、 R(D) 是信源符号以概率递减的次序排列起来； 2

5、）将排列好的信源符号按概率值划分成两大组，使每组的概率之和接近于相等，并对每组各赋予一个二元码符号“0”和“1”； 3）将每一大组的信源符号再分成两组，使划分后的两个组的概率之和接近于相等，再分别赋予一个二元码符号； 4）依次下去，直至每个小组只剩一个信源符号为止； 5）信源符号所对应的码字即为费诺码。 17、简述二元哈夫曼编码的编码步骤。 1）将q个信源符号按概率递减的方式排列起来； 2）用“0”、“1”码符号分别表示概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个新的符号，从而得到只包含q-1个符号的新信源，称之为S信源的S1缩减信源； 3）将缩减信源中的符号仍按概率大小以递

6、减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用“0”、“1”码符号表示，这样又形成了由q-2个符号构成的缩减信源S2； 4）依次继续下去，直到缩减信源只剩下两个符号为止，将这最后两个符号分别用“0”、“1”码符号表示； 5）从最后一级缩减信源开始，向前返回，沿信源缩减方向的反方向取出所编的码元，得出各信源符号所对应的码符号序列，即为对应信源符号的码字。 18、简述广义的信道编码的分类及各类编码的作用。 答：1、按照信道特性进行划分，信道编码可以分为：以纠独立随机差错为主的信道编码、以纠突发差错为主的信道编码、和纠混合差错的信道编码。 2、从功能上看，信道编码可以分为纠错码与检

7、错码两类，纠错码一定能检错，检错吗不一定能纠错，平常所说的纠错码是两者的统称。 19、简述线性分组码的性质。 性质： A、线性分组码的最小距离等于非零码字的最小重量B、零向量=一定是一个码字 C、任意码字C是G的行向量g0,g1,.gk-1 D、任意两码子的和任然是一个码字 13、简述求解一般离散信源率失真函数的步骤。 由p(j/i)=p(j)liesdijd=minw(C)iCin,k,(i=1n;j=1m)求p(j/i); 由lip(i)ei=1mnsdij=1,(j=1m)求p(j);由lip(j)ej=1sdij=1,(i=1n)求li;由p(i)p(j/i)dij=D得D=D(s);i=1j=1nm由R=I(X,Y)=I(p(j/i)得R=R(s).