【大学课件】基于词典和WEB资源的词汇关系抽取.ppt
基于词典和web资源的词汇关系抽取,http:/,词汇关系大纲,引言同义词抽取资源中文概念词典（CCD）哈工大同义词词林（扩展版）百度百科百度翻译+有道翻译同义词抽取流程下位词抽取资源中文概念词典（CCD）百度百科互动百科维基百科百度相关搜索下位词抽取流程实验结果,http:/,引言,同义词和下位词的发现在自然语言处理领域中对信息检索，机器翻译等领域的研究有重要的意义。传统的同义词和下位词的发现是基于词典知识库，如中文概念词典，同义词词林等知识库。随着Web的发展，网络上出现了大量的资源知识库。例如“百度百科”、“有道翻译”、“维基百科”等Web资源。把传统的词典和Web资源各自优势进行结合，将会更加有效的抽取词汇关系。,http:/,1 同义词抽取资源,中文概念词典（CCD）哈工大同义词词林（扩展版）百度百科百度翻译+有道翻译,http:/,1.1 中文概念词典（CCD）,CCD是一个WordNet类型的汉英双语语义词典，从关系语义学的观点出发，以同义词集(Synset)定义概念(concept),在概念之间定义关系(relation)来描述语义,http:/,1.2 哈工大同义词词林,同义词词林(扩展版)在原有的三层分类体系上增加两层，得到最终过的五层分类体系，唯一的代表词典中出现词语的编码如：Ba01A02=物质 质 素Cb02A01=东南西北 四方Ba01A03 万物Cb06E09 民间Ba01B08#固体 液体 气体 流体 半流体Ba01B10#导体 半导体 超导体以上词语编码中第八位编码的标记“=”、“”、“#”，“=”代表“相等”、“同义”，“”代表“自我封闭”，“#”代表“不等”、“同类”。,http:/,1.3 百度百科(1/4),根据特征词进行模式识别，其中查询词用W(w)，特征词用S(w)表示，其在百科中的同义词用T(w)表示，抽取的模式有：1 W(w)+S(w)+T(w)例如：“埃菲尔铁塔”百科中内容：埃菲尔铁塔（又译“艾菲尔铁塔”）是法国巴黎著名铁塔，坐落在塞纳河南岸马尔斯广场的北端。以上内容中查询词W(w):“埃菲尔铁塔”，特征词S(w):“又译”，同义词T(w):“艾菲尔铁塔”,http:/,1.3 百度百科(2/4),2 T(w)+S(w)+W(w)例如：“澳大利亚”的百科内容中：澳大利亚联邦（The Commonwealth of Australia）简称澳大利亚（Australia）。以上内容中T(w)：澳大利亚联邦，S(w)：简称，W(w)：澳大利亚,http:/,1.3 百度百科(3/4),3 W(w)+T(w)+S(w)例如：“牦牛”的百科内容中：牦牛.有“高原之舟”之称。以上内容中W(w)：牦牛，T(w)：高原之舟，S(w)：之称。,http:/,1.3 百度百科(4/4),4 W(w)和T(W)是同义词，已合并。例如：“奥林匹克村”百度百科中内容：奥林匹克村和奥运村是同义词，已合并。以上内容中W(w)：奥林匹克村，T(w)：奥运村。,http:/,1.4 百度翻译+有道翻译,通过百度翻译将同义词词汇进行翻译，如图1：,图1 百度翻译词汇,http:/,1.5 有道翻译,有道在线翻译将同义词词汇的英语进行翻译，如图2：,图2 有道在线翻译,http:/,2 同义词流程图,http:/,2 同义词流程图,http:/,例如：“安睡”在CCD中的CSynset字段为“安睡 熟睡 睡 着 睡觉 酣睡”,2 同义词流程图,http:/,例如：“安慰”在同义词词林中对应编码为“Ga07A01”和“Hi35A01”对应的内容,2 同义词流程图,http:/,例如：澳大利亚联邦（The Commonwealth of Australia）简称澳大利亚（Australia）。,2 同义词流程图,http:/,例如：奥林匹克村和奥运村是同义词，已合并。,2 同义词流程图,http:/,例如：“阿肯色州”对应的英语为“Arkansas”，通过有道翻译之后的结果为：-阿肯色州+阿肯色+阿肯色大学+美国阿肯色州,3 下位词抽取资源,中文概念词典（CCD）百度百科互动百科维基百科百度相关搜索,http:/,3.1中文概念词典（CCD）,CCD主要的语义关系有同义关系、反义关系、下位关系、整体部分关系等。在进行下位词的抽取中主要使用CCD的下位关系对下位词的抽取。,http:/,3.2百度百科,百度百科中分类的获取通过“tag:同义词词汇”,如图3：,图3“安全软件”百度百科标签分类,http:/,3.3 互动百科,互动百科分类标签，如图4：,图4“安全软件”互动百科分类,http:/,3.4 维基百科,维基百科分类标签，如图5：,图5“安全软件”维基百科分类,http:/,3.5 百度搜索,百度搜索相关搜索内容，如图6：,图6“安全软件”相关搜索,http:/,4 下位词流程图,http:/,5 实验结果,5.1 同义词结果,http:/,5 实验结果,5.2 下位词结果,http:/,谢谢大家,http:/,
