第9章-隐马尔可夫模型课件.ppt

《第9章-隐马尔可夫模型课件.ppt》由会员分享，可在线阅读，更多相关《第9章-隐马尔可夫模型课件.ppt（52页珍藏版）》请在三一办公上搜索。

1、第9章 隐马尔可夫模型(HMM),一、马尔可夫模型的定义二、隐马尔可夫模型的定义三、隐马尔可夫模型的参数四、隐马尔可夫模型在语音识别中的应用五、隐马尔可夫模型的基本算法,1870年，俄国有机化学家Vladimir V.Markovnikov第一次提出马尔可夫模型,HMM的由来,马尔可夫性,如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有马尔可夫性,或称此过程为马尔可夫过程X(t+1)=f(X(t)X(n+1)=f(X(n),马尔科夫链,时间和状态都离散的马尔科夫过程称为马尔科夫链记作Sn=S(n),n=0,1,2,在时间集T1=0,1,2,上对离散状态的过程相继观察的结果链的

2、状态空间记做I=S1,S2,SiR.条件概率PSj|Si 为马氏链在时刻m处于状态Si条件下，在时刻m+1转移到状态Sj的转移概率。,一个关于天气的3状态马尔可夫模型,雨S1,多云S2,晴S3,0.4,0.3,0.3,0.6,0.8,0.2,0.2,0.1,0.1,一、马尔可夫模型(MM)的定义,MM是一个输出符号序列的统计模型，具有N个状态S1,S2,SN,它按一定的周期从一个状态转移到另外一个状态，每次转移时，输出一个符号。,S1,S2,S3,起始状态,终止状态,a/b 输出符号,转移到哪一个状态，转移时输出什么符号，分别由状态转移概率和转移时的输出概率来决定。即每一条弧上有一个状态转移概

3、率以及输出概率。aij表示从状态Si转移到状态Sj的概率。,S1,S2,S3,S1,S2,S3,从一个状态转移出去的概率之和为1。,每次转移时输出符号a和b的概率之和为1。,一个关于天气的3状态马尔可夫模型,雨S1,多云S2,晴S3,0.4,0.3,0.3,0.6,0.8,0.2,0.2,0.1,0.1,已知一天(t=1)的天气是晴（S3），问：其后7天的天气为“晴，晴，雨，雨，晴，多云，晴”的概率是多少？观察序列O=S3，S3，S3，S1，S1，S3，S2，S3 对应时间t=1,2,3,4,5,6,7,8,一般情况下，只能观察到输出符号序列(ab)，而不能观测到状态之间如何转移（状态转移概率

4、）和状态的分布（状态的概率），所以称为隐藏的马尔可夫模型。,二、隐马尔可夫模型的定义,球和缸,S1,SN,S2,观察序列O=绿，绿，蓝，红，红，黄，.蓝,设有N个缸，每个缸中装有很多彩色的球，不同颜色的球(M)的多少由一组概率分布来描述，根据某个初始概率分布，随机选择一个缸，例如第i个缸，再根据这个缸中彩色球颜色的概率分布，随机选择一个球，记O1,再把球放回缸中。根据缸的转移概率，选择下一个缸，例如第j个缸。再根据这个缸中彩色球颜色的概率分布，随机选择一个球，记O2,再把球放回缸中。最后得到描述球颜色的序列O1 O2，成为观察值序列，但每次选取的缸和缸之间的转移并不能直接观察，被隐藏。,一个硬

5、币,正面,反面,二个硬币,S1,S2,状态 1 2,从S1到S3,并且输出aab，可能的路径有三种：,S1,S1,S2,S3,S1,S2,S2,S3,S1,S1,S1,S3,0.30.80.510.60.5=0.036,0.510.40.30.60.5=0.018,0.30.80.30.80.20=0,S1,S2,S3,设观察到的输出符号序列是aab。试求aab的输出概率？,由于是隐HMM模型，不知输出aab时，到底是经过了哪一条不同状态组成的路径，因此，求aab的输出概率时，将每一种可能路径的的输出概率相加得到的总的概率值作为aab的输出概率值:0.036+0.018+0=0.054,1.H

6、MM包含两个随机过程：（1）马尔可夫链：一个随机过程描述的状态（S1,S2,S3）和状态转移序列（状态转移序列S1 S1 S2 S3、S1 S2 S2 S3和S1 S1 S1 S3 等）；（2）一个随机过程描述状态和观察值之间的统计对应关系（每次转移时输出的符号组成的符号序列，如，aab）。,总结,转移中输出符号的概率P3,2.HMM包含三个概率矩阵:,每个状态存在的概率矩阵P1,状态之间转移的概率矩阵P2,3.一个输出概率:,将每一种可能路径的的输出概率相加得到的总的概率值作为输出概率。,三、隐马尔可夫模型的参数,模型中状态的数目。状态的集合,每个状态对应的观测符号数。观测符号集合,观测符号

7、序列的长度，观测符号序列,状态转移概率分布,状态的观测符号概率分布,初始状态的概率分布,HMM的基本要素,HMM的应用领域,语音识别机器视觉人脸检测机器人足球图像处理图像去噪图像识别生物医学分析DNA/蛋白质序列分析,四、隐马尔可夫模型在语音识别中的应用,1.利用HMM进行孤立字语音识别，每一字必须有一个HMM模型 来描述，通过学习和训练来完成。,字库,语,文,学,音,语,2.现对一个要识别的未知字语音，首先通过分帧、参数分析和特征参数提取，取得一组向量序列X1,X2,.XN,N为帧长。,wen,X1,X2,.XN,发音,3.通过矢量量化把X1,X2,.XN转化成一组符号序列（码字）O=o1,

8、o2,.oN,oi为码本中的码字,这个码本是所有字的一个共同的码本。,X1,X2,.XN,y1,y2,yJ,o1,o2,.oN,码本,4.用这组符号o1,o2,.oN计算在每个HMM上的输出概率，输出概率最大的HMM对应的孤立字，就是识别结果。,o1,o2,.oN,字库,语,文,学,音,无声段,鼻音段,声母辅音段,元音段,送气段,前过渡段,后过渡段,(1)发音的各个段（稳定段，用一个全极点的滤波器来描述）构成相应的状态。(2)声学变化（LPC倒谱）对应输出序列，概率分布成混合高斯密度函数。(3)基本单元发音速率（停留时间和转移时间）对应状态转移概率(0.5)。,五、隐马尔可夫模型的基本算法,识

9、别问题：给定观测符号序列 和模型，如何快速有效地计算输出概率 估计模型产生观测符号序列的最有可能经过的路径。所有可能的路径中，概率最大的路径。模型训练问题：调整模型参数，使得输出概率最大。,1、前向后向算法Forward-Backward,给定一个观测序列 以及一个模型，由模型产生出的概率直接方法，列举所有可能的路径，计算输出概率，然后求和。计算量为2TNT。如状态数N=5,观测值序列长度T=100，计算量为1072。前向后向算法,前向算法,一个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内），且t时刻又处于状态 的概率。迭代算法 初始化：迭代计算：最后计算：,初始状态 和初

10、始观测 的联合概率。,无论t时刻处于哪个状态，它都会以一定概率在t+1时刻转移到,t+1,t,表示t时刻的观测的符号序列，并由t时刻 转移到t+1时刻的状态 发生的概率。,观测到的符号序列 且在t+1时刻的处于状态 发生的概率。,给定模型下，产生t1以前的部分观测符号序列（包含t1 在内），且时刻又处于状态 的概率。,将所有 的对i求和,所需总乘数为：N(N+1)(T-1)总加数为：N(N-1)(T-1),S1,S2,S3,后向算法,一个后向变量 给定模型下，t时刻处于状态,产生观测符号序列 的概率。迭代算法 初始化：迭代计算：最后计算：,S1,S2,S3,2.维特比（viterbi）算法,一

11、个前向变量 给定模型下，产生t以前的部分观测符号序列（包含t 在内），且时刻又处于状态 的最大概率。,迭代算法（1）初始化：（2）迭代计算：（3）最后计算：,S1,S1,S2,S3,0.30.80.510.60.5=0.036,S1,S2,S3,3.Baum-Welch算法(模型训练算法),目的：给定观察值序列O，通过计算确定一个模型，使得 最大。算法步骤：1.初始模型（待训练模型）,2.基于 以及观察值序列O，训练新模型；3.如果，说明训练已经达到预期效果，算法结束。4.否则，令，继续第2步工作,给定模型和观测序列条件下，在时间t处于状态i，而在t+1处于状态j的概率。,t+1,t,给定模型

12、和观测序列条件下，在时间t处于状态i的概率。,在时间T内，从状态i进行转移的次数。,在时间T内，从状态i转移到j的次数。,Baum-Welch算法,重估：,表示在时刻T内，状态i转移到状态j的总次数，除以在时间T内，状态i被经过的总次数；,表示在时刻T内，经过状态j，并且状态j对应的观测事件为vk的总数除以时间T内，经过状态j的总数。,表示在t=1处于状态i的次数,几种典型形状的马尔可夫链,a.A矩阵没有零值的Markov链b.A矩阵有零值的Markov链c./d.左右形式的Markov链,1.前向后向算法计算P(O|)；2.Baum-Welch 算法求出最优解*=argmaxP(O|)；3.

13、Viterbi算法解出最佳状态转移序列；4.根据最佳状态序列对应的给出候选音节或声韵母;5.通过语言模型形成词和句子。,经典HMM语音识别一般过程,经典HMM语音识别训练过程,Selectmaximum,Recognizedword,Speech,Featureextraction,Likelihoodcomputation,1,Likelihoodcomputation,V,.,P(O|1),P(O|V),HMM1,HMMV,经典HMM语音识别识别过程,语音信号预处理与特征提取声学模型与模式匹配语言模型与语言处理,HMM语音识别系统的实现,语音信号预处理与特征提取,参数初始化：起始状态概率(

14、)状态转移概率(A)观测序列概率(B),根据观测序列概率表示方法的不同：离散的HMM（DHMM）连续的HMM（CHMM）半连续的HMM（SCHMM）,声学模型与模式匹配,DHMM：离散的符号作为观测量,CHMM：观测量为连续概率密度函数 每个状态有不同的一组概率密度函数,SCHMM：观测量为连续概率密度函数 所有状态共享一组概率密度函数,声学模型与模式匹配,采用统计语法的语言模型基本原理：采用大量的文本资料，统计各个词的出现概率及相互关联的条件概率，并将这些知识与声学模型结合进行结果判决，减小误识。设W=w1,w2,wQ,其概率表示为：P(W)=P(w1,w2,wQ)=P(w1)P(w2|w1)P(WQ|W1,W2,WQ-1),语言模型与语言处理,