离散无记忆信源及其扩展源.ppt
信息论与编码技术,电子信息工程专业主讲：孙静机械电子工程系,3.2.1 离散无记忆信源【思考】实际通信过程中，信源发送消息往往不是单个符号，而是符号序列。当字符组成序列(如句子或文章)时，会出现问题。,3.2 离散无记忆信源及其扩展源,3.2.1 离散无记忆信源,【两个新问题】随着序列的伸延，信源选取字符的概率是否随着时间改变？序列前后字符之间是否统计相关？,假设所讨论的信源是平稳信源，即信源选取字符的概率不随时间改变。,分两种情况来讨论：字符之间不存在统计关联的信源叫做无记忆信源；字符之间存在统计关联的信源叫做有记忆信源。,例如，一个袋子里有10个黑球和10个白球。从袋子拿球，有放回的，就相当于无记忆的；无放回的，就是有记忆的。,3.2.1 离散无记忆信源,【特点】信源发出的各符号之间相互独立；发出的符号序列中各个符号之间没有统计关联性；各个符号的出现概率是它自身的先验概率。,3.2.1 离散无记忆信源,【定义】设信源X输出符号集A=a1,a2,aq，q是信源发出的消息符号个数，每个符号发生的概率为p(ai)(i=1,2,q)，这些消息符号彼此互不相关，且满足：则称该信源X为离散无记忆信源。,3.2.1 离散无记忆信源,【数学模型】离散无记忆信源可用信源空间X,P(X)来描述：,3.2.2 单符号离散信源,【引例例3.1】掷一颗质地均匀的骰子，研究其下落后朝上一面的点数，将点数作为这个随机试验的结果，并将这个随机试验看作是一个信源。该信源输出了有限个离散数字，组成了符号集A:1,2,3,4,5,6，而且每一个数字代表一条完整的消息。,【引例例3.1】,【分析】该信源输出的消息数是有限的。该信源每次只输出一个消息，出现哪一种消息是随机的。6个不同的消息构成了互不相容的基本事件集合，不可能出现这个集合以外的消息。,【引例例3.1】,【说明】利用离散型随机变量X来描述这个信源输出的消息X=(x1,x2,x6)，其样本空间即为符号集A。根据大量试验结果可得：各个消息是等概率出现的，均为1/6。因此，X的概率分布就是信源发出各种不同符号的先验概率，即p(x1)=1/6，p(x2)=1/6，p(x6)=1/6。,【引例例3.1】,【结论】抽象后得到该信源的数学模型：,【引例例3.1】,【结论】该信源输出的消息只可能是符号集中任何一个，而且每次必定选取其中一个。,单符号离散无记忆信源(P50最简单的离散信源),3.2.2 单符号离散信源,一、单符号离散无记忆信源的定义【定义】单符号离散无记忆信源发出的消息是离散、有限的符号，且一个符号代表一条完整的消息。,3.2.2 单符号离散信源,二、单符号离散无记忆信源的表示方法用一个离散随机变量的可能取值，来表示信源可能发出的不同符号例如：投硬币、书信、电报符号等用离散随机变量的概率分布，表示信源发出不同符号可能性的大小,三、数学模型,若单符号离散无记忆信源可能发出q种不同的符号a1,a2,aq，相应的先验概率分别为p(a1)，p(a2)，p(aq)，用随机变量X表示这个信源，其信源的数学模型就是离散型的概率空间:且满足,【例3.2】,对于二进制数字信源X=0,1，有,【定义】信源输出的各消息的自信息量的数学期望为信源的平均自信息量，称为单符号离散信源的信息熵，简称信源熵。,四、单符号离散信源的熵,3.2.3 离散无记忆信源的N次扩展源,一、二进制离散无记忆信源的二次扩展信源,典型实例,正交相移键控(QPSK)：根据两个二进制符号00、01、10和11进行相位调制。,一、二进制离散无记忆信源的二次扩展信源,二次扩展信源的数学模型且序列长度 N=2,二、二进制离散无记忆信源的三次扩展信源,【典型实例】三位PCM（脉码调制）信源由8个符号组成：,二、二进制离散无记忆信源的三次扩展信源,【三次扩展信源的数学模型】X=X1X2X3共输出8个消息符号（即23），其信源空间为：,N次扩展,三、离散无记忆信源的N次扩展信源,【定义】若信源每次发出N个符号作为一条消息，且各消息符号相互独立，则称为离散无记忆信源的N次扩展信源。共有qN个符号。,三、离散无记忆信源的N次扩展信源,【数学模型】离散无记忆信源X的N重概率空间：,离散无记忆信源，各符号之间彼此统计独立。,三、离散无记忆信源的N次扩展信源,【合理性】由概率归一化条件得：,三、离散无记忆信源的N次扩展信源,【N次扩展源的熵】离散无记忆信源X的N次扩展信源的熵等于信源X的熵的N倍。H(XN)=NH(X)【证明】见板书。提示：,【N次扩展源的熵】【熵的物理意义】离散无记忆信源X的N次扩展信源XN=X1X2XN每发一条消息提供的平均信息量等于离散无记忆信源X每发一个符号提供的平均信息量的N倍。,三、离散无记忆信源的N次扩展信源,【例3.3】,设离散无记忆信源X的概率空间为：求：X的二次扩展信源的熵。【课本P53 例3.3.1】,【例3.3】,解：二次扩展信源的概率空间为,【例3.3】,信源X的熵为：,【例3.3】,X的二次扩展信源的熵为：,3.2 作业,P68 3.1 P69 3.3,
