基于Lucene的中文字典分词模块.ppt
,基于Lucene的中文字典分词模块的设计与实现,Start,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,1.中文分词的研究背景及现状,3.分词模块的设计与实现,4.对本文工作的总结,2.中文分词的研究内容和意义,2008年6月21日,Company name,2008年6月21日,中文分词的研究背景及现状,网络资源爆炸性增长，搜索引擎技术发展迅速,2008年6月21日,背景,全文搜索引擎包Lucene在许多搜索引擎技术项目中得到了广泛且深入的应用和研究,中文分词技术成为计算机信息检索、自然语言理解、人工智能、机器翻译和自动文摘等领域突破的关键多种技术发展的瓶颈,Company name,2008年6月21日,中文分词的研究现状,从70年代我国情报检索界从事到中文信息检索领域的研究开始，一直有大量学者致力于中文自动分词研究，至今已获得许多可喜的成果，出现了一些实用的自动分词系统。这些系统在分词的精确度和分词速度方面都具有相当的水平，但是仍然需要进一步的研究。,2008年6月21日,现状,Company name,2008年6月21日,中文分词面临的问题,计算机难以正确理解并分析中文文本,2008年6月21日,Company name,2008年6月21日,中文分词的研究内容,语言是一个开放集，它的词条始终是处于不断的增长中，所以很难有一个完善的词典来描述它，可能这个词在今天不是词，在将来就被认定为一个词了。这就告诉我们，词典的完备性始终是我们研究中文分词必须考虑的一个问题。,2008年6月21日,汉语自然语言处理的应用系统处理对象越来越多的是大规模语料，因此分词的速度和分词算法的易实现性变得相当关键。,词典规模、词典查找速度、切分预处理方式、切分排歧方式、未登录词处理、词性标注等方面在前人的基础上做进一步的改善,Company name,2008年6月21日,本课题的研究意义,由于Lucene支持的中文文本分词仅限于单字区分和双字区分两种方式，不能满足大多数中文文本信息检索技术的需求，所以在一定程度上限制了它在中国的应用和开发。因此Lucene加入中文分词的功能，对于Lucene在中国的广泛应用和发展将会起到很大的推动作用,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,本设计完成的功能：,设计词典结构，读入词库文件，初始化词典结构,对文本预处理，使用最大正向匹配算法初步分词,设计实现双向匹配算法，对结果进行基于规则的选择，实 现系统纠错功能,对分词后的结果产生的碎片进行概率统计，识别文本中的未登陆词,将分词系统封装成Lucene分析器，并使用索引器建立索引，实现系统检索功能,2008年6月21日,Company name,2008年6月21日,更新词典,中文文本分词的一般过程,词典初始化,输入分词文本，对文本预处理,对文本进行初步的划分,消歧和未登陆词识别,中文词典,保存结果,2008年6月21日,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,1词典建立,词典是汉语自动分词的基础，分词词典机制的优劣直接影响到中文分词的速度和效率。,2008年6月21日,Company name,2008年6月21日,双字哈希词典机制,为了使分词系统在具有较高的分词效率的同时，维护和更新词典也相对简单，本研究采用了一种新的词典机制来建立词典双字哈希词典机制。,2008年6月21日,Company name,2008年6月21日,双字哈希词典机制,2008年6月21日,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,预处理，利用特殊的标记(0 xa1)将输入的中文文本分割成较短的汉字串，汉字串以中文空格分开，简化分词算法要处理的特殊情况，这些标记包括所有的标点符号，例如：“，”、“。”等等。由于本研究同时考虑到了对英文文本和数字的处理，所以，也将英文单词，数字等作为标记来分割中文文本。,2.对文本进行预处理,2008年6月21日,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,3.对文本进行初步的分词,本分词系统选用机械分词算法中的最大匹配算法作为中文分词算法，具体实现就是对于字符串s，从前到后扫描，对扫描的每个字，从词表中寻找最长匹配。,2008年6月21日,Company name,2008年6月21日,4 歧义识别对结果的进一步处理,最大正向匹配算法,最大逆向匹配算法,基于Lucene的中文字典分词模块的设计与实现,2008年6月21日,Company name,2008年6月21日,中文字典,对结果的纠错功能实现过程,长,春,市,长,春,节,贺,词,长,春,市,长,春,节,贺,词,查找,存在,不存在,词,贺,春,节,市,长,长,春,2008年6月21日,Company name,2008年6月21日,5.新词识别,与设定的阈 值比较大小 判断是否为 词,计算每两个 相邻碎片的 条件概率,获得位置连续的碎片 组,基于Lucene的中文字典分词模块的设计与实现,2008年6月21日,Company name,2008年6月21日,新词识别,王 军 虎 今天 要 打 羽毛球赛。,碎片“虎”,碎片“军”,计算碎片“虎”相对于“军”（“王军”）的条件概率,计算碎片“军”相对于“王“的条件概率,碎片“王”,计算“王”在文本中出现的概率,王军虎,2008年6月21日,Company name,2008年6月21日,基于Lucene的中文字典分词模块的设计与实现,5.将系统封装成Lucene分析器，建立索引,lucene.analysis(分析器),2008年6月21日,Company name,2008年6月21日,系统设计界面和功能展示,纠错功能显示,Company name,2008年6月21日,系统设计界面和功能展示,新词识别功能显示,Company name,2008年6月21日,系统设计界面和功能展示,建立索引，检索功能显示,Company name,2008年6月21日,对本文工作的总结,本文在全文搜索引擎JAVA版的开源软件包LUCENE的基础上，对中文分词技术进行了深入的研究，设计并完成了中文文本字典分词系统，并将系统封装成LUCENE分析器添加到LUCENE中使用，扩展了LUCENE的中文处理的功能。,1)对几种常用词典机制进行了分析和比较，针对中文文本中双字词所占比例较高的特点，实现双层哈希词典机制策略，在保证分词具有较高的效率的同时，简化了对词典的维护和更新等操作，使系统维护简单易行。,2008年6月21日,Company name,2008年6月21日,总结,2)对分词歧义进行了研究。实现了最大正向匹配算法，对中文文本分词。为了提高分词的准确率，在最大正向匹配算法的基础做了改进，对文本分别实现了正向和逆向的最大匹配，然后对两种结果进行基于规则的选择，实验证明，这种分词算法可显著提高分词准确率。,3)在识别新词的问题上，对分词产生的碎片进行概率上的统计，以此来判断是否将其认为是未登录词。通过测试验证，系统可识别大部分的中文人名，提高了系统的实用性。,4)针对中文文本中可能会出现英文词语的特点，系统对英文文本也进行了相应的处理，保证了分词的全面性，提高了系统的处理能力。,2008年6月21日,Company name,2008年6月21日,总结,不过，此中文分词模块还存在一些固有的缺陷，如词典结构的建立并未充分考虑到空间浪费的问题，对于碎片的整理之后还应该添加权值计算和确定的功能，系统还未实现向词典添加新词的功能，这些问题都有待进一步深入研究后，再提出可行的方案进行完善。,Company name,2008年6月21日,致谢,在我的毕业设计即将完成之际，我想感谢所有在毕设过程中帮助指导我的老师和同学们。感谢程老师，在整个设计过程中都给予了高度的关注和悉心的指导。感谢各位答辩组的老师，感谢郭师兄，还有我的同学孙琳，谢谢你们给了我最无私的帮助，谢谢。,Thank You!,END,Company name,2008年6月21日,
