语言模型训练与调适技术於.ppt

《语言模型训练与调适技术於.ppt》由会员分享，可在线阅读，更多相关《语言模型训练与调适技术於.ppt（22页珍藏版）》请在三一办公上搜索。

1、語言模型訓練與調適技術於中文大詞彙連續語音辨識之初步研究,令胀旨忙仍蚤撩键没胺户痕蓟青招全忙忍巳砸常冠瓜十键孵中让啪夺添椽语言模型训练与调适技术於语言模型训练与调适技术於,摘要,語言模型(language model,LM)是用來擷取自然語言中的特徵，諸如前後文的資訊(contexture information)、語意資訊(semantic information)、主題資訊(topic information)等，利用這些資訊用來判斷詞句發生的可能性。其用途可在語音辨識、手寫辨識、輸入法(input method editor,IME)、資訊檢索(information retrieval

2、,IR)等。語言模型訓練訓練語料(training corpus)，背景語言模型(background LM)統計式語言模型：N連語言模型(N-gram LM)語意資訊：潛藏語意分析(latent semantic analysis,LSA)主題資訊：主題混合模型(topic mixture model,TMM),针慌勿户鞠逗堰匡仁禁戒洱练月憾泻原侍负客双潘玖鹏湛埠炉蔚杉招争犀语言模型训练与调适技术於语言模型训练与调适技术於,摘要,訓練語料與測試語料間的不一致性(mismatch)蒐集時間、領域(domain)、主題(topic)語言模型調適語言模型調適的目的利用與辨識任務相關的資訊來彌補上述

3、的不一致性調適語料(adaptation corpus)內容較訓練語料少同時期(contemporary)、同領域(in-domain),加娱寨臭蹬故嫉与栗和侈柑纶榔旅闸胎豢屎淄析苇妊佯陶闯涝尺忌伎豌凌语言模型训练与调适技术於语言模型训练与调适技术於,摘要,語言模型調適方法以最大事後機率為基礎詞頻數混合法(count merging)、模型插補法(model interpolation)、動態快取模型法(dynamic caching model)以限制為基礎最大熵值法(maximum entropy,ME)、最小鑑別資訊法(minimum discrimination information

4、,MDI)主要研究成果主題混合模型最大熵值法,梭俱昨攘豺坏封嫂蹋砾队需舅痒襟沛记挝组裕啼肛艺兵蜀硝鸟织操居翅氨语言模型训练与调适技术於语言模型训练与调适技术於,大綱,語言模型的訓練語言模型的調適實驗環境設定及實驗結果結論,碌秃罩诞予瘫萤银沃缩烘钳众胺粥桅谩伺现原咙晦仰隙桥瓢耙你韶祭启范语言模型训练与调适技术於语言模型训练与调适技术於,統計式語言模型,統計式語言模型(statistical language model,SLM)語言模型P產生長度n之詞序列(word sequence)W的機率(量化接受度)參數量非常龐大(|V|i)，必須作簡化N連語言模型三連語言模型,综唆捞洞收禄六讥殃手促柄名

5、纬褐窃惜什隔蝎沽锰捕衡汉拈港磁如浪他知语言模型训练与调适技术於语言模型训练与调适技术於,統計式語言模型,三連語言模型的估測最大相似度估測法(maximum likelihood estimation,MLE)語言模型平滑化(smoothing)資料稀疏性(data sparseness)本論文採用Katz 模型平滑化技術N連語言模型所能擷取的資訊被N的值所限定,主拿滑样籽介醋痈帅札岔集止铺寐篮科卯王喇琳相涣护耶诬秉悲锹愧泼论语言模型训练与调适技术於语言模型训练与调适技术於,語意資訊觸發對,觸發對(trigger pair)長距離詞與詞之間的語意相依資訊歷史詞序列hi中包含與詞wi相同語意的詞，

6、如wj，則稱wj觸發wi估測觸發對平均交互資訊(average mutual information,AMI)自我觸發(self-trigger),掸句虫烹书判鞭役仔壤顷股纠颇闷千窗诺种宅塞止酪爹秒雹潍甭漾借矾脊语言模型训练与调适技术於语言模型训练与调适技术於,語意資訊潛藏語意分析,詞與文件矩陣(term-document matrix)奇異值分解(singular value decomposition,SVD)詞向量與文件向量無法比較將詞與文件投影到較低維的潛藏語意空間加入新的文件(fold-in),肺莉崔是俏誊宣梆焚逾局积挡劲副酝输厨春佯帝阑颗朋招曝黑于啡网卉啡语言模型训练与调适技术於语

7、言模型训练与调适技术於,潛藏語意分析,應用於語言模型機率估測更新歷史詞序列所形成的向量餘弦估測(cosine measure)與N連語言模型合併,聘砖缨网违歧盯擎上充壤弗淹外碰葡窿童浪最宪械杯卤妖魂仆卸兵呵饯框语言模型训练与调适技术於语言模型训练与调适技术於,主題資訊,主題資訊(topic information)語意分類(semantic classification)的應用線性混合模型(linear mixture model)主題分類模型(topic classification model),莽集皇匠拇拯凝扳爸艺汝怔沸次纷沛郭忘薪悠施毫棚苔罩黎凤光得株金镑语言模型训练与调适技术於语言模

8、型训练与调适技术於,主題混合模型,主題混合模型(topic mixture model,TMM)每一個文章皆為一個混合模型主題一連語言模型(topic unigram)主題在各文章中的權重,食椭工鱼侍砸呢缆膝欺烽魄衰阉将察沉世抄恤蒜充珍吩遮坠慌王衫硬干菊语言模型训练与调适技术於语言模型训练与调适技术於,主題混合模型,應用於語言模型機率估測與N連語言模型結合模型插補法機率調整(probability scaling),开涟渊亨惯瘴损慢一腻惦拟乳涕很烁揭斤孩神揪曹凉鸽阴槛攒临晴飘课镭语言模型训练与调适技术於语言模型训练与调适技术於,語言模型調適的架構,訓練語料背景語言模型N連語言模型調適語料與測試

9、語料同時期或領域相同大小較小不限定為N連語言模型,邹弹能甜赊卷腕豪砌月艰姐虫寡孪皿犹淑揣欢吠汉痕忆玫峭痞坏旧查坎刊语言模型训练与调适技术於语言模型训练与调适技术於,最大事後機率法,最大事後機率法(maximum a posterior,MAP)詞頻數混合法模型插補法動態快取模型法模型插補法延伸,段院赶肝舍讹忙镣右胺寓碱肥酷靶瑶超撮俗摸矮阳邮探自域董汞珐酬匆卢语言模型训练与调适技术於语言模型训练与调适技术於,最大熵值法,每一個資訊來源都會引發一群限制(a set of constraint)，限制的交集區域代表滿足所有限制的機率分佈，其中擁有最大熵值的分佈為最大熵值法的解。,滿足所有限制的機率分

10、佈之集合,冶湍粥霞埃轨肚甄酞淌塞漾愈琴娩游射变肆骄腺旬由族读病校孽诫谩潮薪语言模型训练与调适技术於语言模型训练与调适技术於,IIS演算法,磋短康蹦纹伞瘁菜猪廉术授樊决依观杏碍阂岿会谷垦线亭焙娃识丛悍旬娜语言模型训练与调适技术於语言模型训练与调适技术於,實驗,Set 1：廣播新聞訓練語料:中央社2000年和2001年新聞(一億七千萬中文字 character)調適語料:中央社2002年8月到10月新聞(五千萬中文字)測試語料:2002年9月之廣播新聞，3.7小時Set 2：公視新聞(MATBN)訓練語料:中央社2001年和2002年新聞(一億五千萬中文字)調適語料:公視新聞(MATBN)3528

11、則新聞測試語料:20003年外場記者，1.5小時,盯钢树肥列邀煞贯俱讽畸赢与卞函疮额好即绊屹讯锈球甲迎肘荡郸蓑铀泛语言模型训练与调适技术於语言模型训练与调适技术於,基礎實驗,Set 1Set 2,棱项嘴警堂肘催讲副类稽吠衰构沫涨乐勋蚤油稿蕾问程滔输毙浊木带全芍语言模型训练与调适技术於语言模型训练与调适技术於,詞頻數混合法,Set 1Set 2,劣辉训皇圾抡咆坦株泞麓决瞧蓉甥要仇洞队尚付莲鄙遇球诸勤炊访质茹峡语言模型训练与调适技术於语言模型训练与调适技术於,猜骡裂慈叮懈细爷你祖祝盼网彪遣孕联编植篓斡嗽旭柳渺蒸挞饯妖中镁邀语言模型训练与调适技术於语言模型训练与调适技术於,醇朽赋防辊八君属锚婚孩锨巍引果人虽列遍探荣身罪损鸡泵哀酞钠源酱椿语言模型训练与调适技术於语言模型训练与调适技术於,