计算语言学的工具资源与应用.ppt
計算語言學的工具資源與應用,高照明台大外文系,中文計算語言學資源與工具,語料庫分詞程式語法剖析程式詞彙知識庫語音辨識與語音合成機器翻譯,語料庫,中文語料庫中英雙語語料庫標記詞義的語料庫語法結構樹庫標記語意角色的語料庫,基於語料庫的外語學習,優點1：語言真實的使用情形優點2：可以客觀計算出最常用的詞彙，句型，搭配語，甚至詞義方法：學習者觀察語料，歸納規則，驗證假設，修改假設可能的問題：一般的語料庫都是書面語，內容太難，不適合初學者及中等程度者,中文語料庫,中研院現代漢語平衡語料庫(最早的中文平衡語料庫，具有分詞，及詞性標記，具有先進的檢索介面，共有500萬詞）http:/Chinese Giga Word：目前最大的中文語料庫，需搭配檢索程式，需購買目前仍然缺乏大規模的中文口語語料庫具有標記詞義的小型語料庫正在進行當中,Chinese Sketch Engine,http:/輸入一個詞，可以快速顯示跟這個詞具有語法依存關係的搭配語(collocation)，例如：修飾語與被修飾語，主詞與動詞，動詞與受詞等。輸入兩個近義詞，可以顯示這兩個詞共有或獨有的搭配語。,中英雙語語料庫,清大數位學習國家型計畫 Candle Project 開發中英雙語前後文檢索程式(bilinugal concordancer)，可以中文或英文檢索。適合作為外籍人士學習華語，或國人學習英語。是對比語言學的寶庫。,中文分詞程式,中研院線上分詞程式 http:/可以辨識專有名詞及構詞律產生的辭典未收錄詞正確率相當高可以輔助外籍人士學習中文可以作為電腦輔助教學的工具,語法結構樹庫,中研院中文句結構樹資料庫 Sinica Chinese Treebank http:/S(agent:NP(Head:Nab:媽媽)|Head:VC31:買|aspect:Di:了|theme:NP(quantifier:Neqa:一些|property:Nab:竹|Head:Nab:筷子)賓州大學Chinese Treebank,語法結構樹庫的應用,應用1：可以用來計算常用句型，詞組結構律應用2：可以導出中文的剖析器 中研院線上中文剖析器http:/（由於中文的複雜性，中文的句法剖析器與英文相比正確率仍然偏低）,中文語法剖析程式,中研院線上語法剖析程式Stanford Parser Stanford Parser線上剖析程式http:/josie.stanford.edu:8080/parser/,Stanford Parser,(ROOT(IP(NP(NR 猴子)(VP(VV 喜欢)(IP(VP(VV 吃)(NP(NR 香蕉)(PU。)特點：可以得到語法依存關係nsubj(喜欢-2,猴子-1)ccomp(喜欢-2,吃-3)dobj(吃-3,香蕉-4),結合語意與語法的剖析器,採購人員 與 採購武器 兩者的結構有何不同？利用中研院語法樹庫所發展而成的程式http:/140.112.185.57/CorruptAngel/public_html/cgi-bin/treesearch/,標記語意角色的語料庫,中研院語法結構樹庫 Sinica Chinese Treebank 裡面也有標示語意角色賓州大學Chinese Popbank應用：可以作為閱讀理解的材料，適合出Who,What,How,Why,When,Where 這類型的問題。http:/nlp2.csie.org/denehs/parse_en.html,中研院語料庫，詞頻及相關資源中研院語言所正在建構多媒體口語語料庫http:/,辭典,教育部國語會辭典 同義詞詞林分類辭典搭配語辭典,分類辭典,詞：醫生Class:人體醫藥衛生 C:醫療藥物 C210:醫務人員 C223產婆 大夫 護士 軍醫 郎中 儒醫 神醫 世醫 收生婆 獸醫 牙醫 醫生 醫師 醫士 庸醫 助產士,教育部國語辭典,詞：鶼鰈情深解釋：比喻夫婦愛情深厚，相處融洽。例:那對夫妻鶼鰈情深，為眾人所稱羨,教育部國語辭典,詞：得意解釋：如其心意而有所成就或引以自豪 解釋：心情酣適同義詞：稱心 自滿 躊躇滿志 風光 高興 得志 滿意 滿足反義詞：失意 失望,教育部國語辭典,可以近似自然語言查詢，連同解釋一起查詢，例如：輸入夫妻感情，可得到【百年偕老】【琴瑟和諧】【瑟調琴弄】【比翼雙飛】【恩斷義絕】【恩斷意絕】【瑟弄琴調】【琴瑟相調】【百年好合】【偷腥】【琴瑟和好】【一夜夫妻百日恩】,詞彙知識庫,中研院中文詞知識庫：記載八萬多目詞的注音，語法，論元結構，及語意。知網Hownet：中英雙語的詞彙知識庫。以抽象的語義特徵（義元）來定義詞彙的意義。除了詞性及英文翻譯之外還可以得到近義詞，上下位詞，部分與全體關係，事件，及語意角色。廣義知網知識本體架構 http:/mt.iis.sinica.edu.tw/mhbai/taxonomy/,中研院詞知識庫,詞：豐富注音:拼音:feng1 fu4語義特徵:+events詞性:VH16論元結構:theme,causer,中研院知識庫,詞：醫生注音：拼音：yi1 sheng1語義特徵：+mankind詞性：Nab,Hownet,詞：醫生英文翻譯：doctor,physician,surgeonhuman|人:HostOf=Occupation|職位,domain=medical|醫,doctor|醫治:agent=應用：利用Hownet找出語意相關的詞http:/nlp2.csie.org/denehs/compare.html,中研院中英雙語知識詞網,將中文對應到英文知識庫及本體論Wordnet及SUMOhttp:/,語音辨識與語音合成,語音辨識 IBM Via Voice語音合成 AT&T Natural Voicehttp:/,機器翻譯,Google Translate 利用全球資訊網中的多國語資料，統計演算法及語法剖析器等自然語言處理工具所設計出來的多國語言翻譯引擎，沒有包含任何人建構的翻譯規則我們利用統計式機器翻譯軟體moses 發展的小型的雛形系統http:/nlp2.csie.org/ming/trans.php,計算語言學在E-learning的應用,利用語音辨識技術判斷發音是否正確自動出題自動修正錯字文章自動評分,
