硕士论文基于Lucene的Nutch垂直搜索引擎系统的设计与实现31.doc

《硕士论文基于Lucene的Nutch垂直搜索引擎系统的设计与实现31.doc》由会员分享，可在线阅读，更多相关《硕士论文基于Lucene的Nutch垂直搜索引擎系统的设计与实现31.doc（72页珍藏版）》请在三一办公上搜索。

1、学校代码： 10289分类号： 论文题目 基于Lucene的Nutch垂直搜索引擎系统的设计与实现 姓 名欧阳丽娜 江苏科技大学密 级： 学 号： （宋体小四）硕 士 学 位 论 文 （工程硕士） 基于Lucene的Nutch垂直搜索引擎系统的设计与实现 研究生姓名 导师姓名 申请学位类别 工程硕士 学位授予单位 学科专业 计算机 论文提交日期 20 年 月 日 研究方向 论文答辩日期 20 年 6 月 12 日 答辩委员会主席 评 阅 人 20 年 月 日摘 要现代互联网技术的更新换代以及人类对信息技术坚持不懈地追求，促使世界上每个国家都在进行史无前例的科技革命。一个国家的发展需要信息技术，

2、一个公司的发展需要信息技术，生活中的每个人也同样需要不断变革与发展的信息技术。同时互联网上的各种信息每天都在迅速增长着，互联网已经成为人们信息最重要的来源。信息技术的不断发展必然带来信息技术的爆炸性增长。如此海量的信息资源聚集必然导致用户获取有效信息的难度增加以及用户不需要的垃圾信息量的增加。就这样，能够快速准确地获取有用信息的工具即搜索引擎就这样诞生了。然而，随着互联网信息多元化的进一步发展，传统的搜索引擎系统爬虫需要爬取、索引和进行查询的网页内容急剧增加，因此，通常会出现这样的一种情况，我们用户不得不在海量的无关信息中困难地寻找自己所需要的信息。目前，对搜索引擎系统的主要关注点转向应该怎样

3、快速、准确地让用户能够找到对自己有用的信息。人们对得到的专业领域相关信息资源的实时性、针对性和准确性等方面有了更加严格的要求。鉴于此，垂直搜索引擎就这样诞生了。垂直搜索引擎系统是一种面向特定专业、特定领域的分类比较细致、精确、更新比较及时的搜索引擎。随着互联网上信息的爆炸式增长以及信息多元化的快速发展，垂直搜索引擎系统正成为研究热点和发展趋势。本文对面向手机数码领域的垂直搜索引擎系统的关键技术进行了研究，并提出了一种基于Lucene的面向手机数码领域的垂直搜索引擎系统的解决方案，研究、设计并实现了面向手机数码领域的垂直搜索引擎系统。本文的主要写作过程如下：首先，介绍搜索引擎的历史发展情况和研究

4、的背景，同时阐述了本文的研究内容和各个章节的安排。然后介绍搜索引擎的关键技术，同时分析了搜索引擎和垂直搜索引擎的工作原理以及各自的差异，并详细说明垂直搜索引擎研究中需要用到的关键技术，重点对网络爬虫的信息爬取技术和用户检索结果的排序技术进行了研究与分析。接着介绍开源搜索引擎Nutch和全文检索工具包Lucene的基本概念、工作原理，同时针对全文检索工具包Lucene的检索结果排序算法的不足之处，提出了一种改进的检索结果排序算法。其次根据相关的功能需求，对基于Lucene的面向手机数码领域的垂直搜索引擎系统的各个功能模块进行详细的分析与设计。同时利用垂直搜索引擎系统的开发环境Linux和开发工具

5、Cygwin、Tomcat、Ant、Luke，同时使用Java语言编程实现系统中的相关算法和模块的具体功能。详细介绍了基于Lucene的Nutch垂直搜索引擎系统的具体实现过程。并对系统运行情况和结果进行了相关的展示。最后，对论文的各项工作进行了总结，并指出了今后发展方向和下一步的研究工作，以便后续不断更新和完善。关键词： Lucene ；Nutch ；垂直搜索引擎；爬虫AbstractModern Internet technology upgrading of information technology and human perseverance in pursuit , prompt

6、ing every country in the world are conducting an unprecedented technological revolution . A countrys development needs of information technology , a companys development needs of information technology, the life of every people also need to constantly change and development of information technology

7、 . Meanwhile all kinds of information on the Internet are growing rapidly every day , the Internet has become the most important source of information .Continuous development of information technology will inevitably bring the explosive growth of information technology. So gather vast amounts of inf

8、ormation resources will inevitably lead to the difficulty of users to access useful information and an increase in the amount of information users to unwanted junk . Thus , it is possible to obtain useful information quickly and accurately search engine tool that was born .However, with the further

9、development of a wide range of information on the Internet , traditional search engine crawlers require crawling , indexing and query a sharp increase in web content , so often there will be such a situation , we have to mass -independent user information difficult to find the information they need

10、. Currently, the main focus should turn to search engines what the system quickly and accurately so that users can find useful information on their own . People timeliness , relevance and accuracy of the other aspects of professional fields related to information resources have more stringent requir

11、ements . In view of this , the vertical search engine was born .System is a vertical search engine for specific professional categories in specific areas more detailed, accurate , and timely updates comparison search engine . With the explosive growth of information on the Internet and the rapid dev

12、elopment of a wide range of information , the vertical search engine is becoming a hot research and development trends .In this paper, the key areas for mobile digital technology vertical search engine system is studied and proposed a vertical search engine for mobile phones based on Lucene field of

13、 digital solutions , research, design and implement the digital field for mobile phones vertical search engine system .The main process of writing the paper is as follows :Firstly, it introduces the history and background of the development of the study of search engines, and sets out the content an

14、d the various chapters of this paper .Then introduces the key technologies of search engines, while analyzing the working principle of search engines and vertical search engines as well as their differences , and details key technology vertical search engines need to use research , focusing on the n

15、etwork crawling reptiles of information technology and user search results sorting techniques were studied and analyzed.Then introduced Nutch open source search engine and full-text retrieval toolkit Lucene s basic concept , principle, while the package Lucene search results ranking algorithm inadeq

16、uate for full-text search tool , an improved search results ranking algorithm .Secondly, according to the relevant functional requirements for various functional modules for mobile phones based on Lucene field of digital vertical search engine for detailed system analysis and design . While taking a

17、dvantage of vertical search engine system development environment for Linux and development tools Cygwin, Tomcat, Ant, Luke, while using the Java programming language to achieve specific functions of the system of algorithms and modules. Details of the implementation process based on Lucene Nutch ve

18、rtical search engine system. The operation of the system and the results were related to the show.Finally, the paper summarizes the work and points out the future direction of development and further research work in order to follow constantly updated and improved.Keywords：Lucene ；Nutch ；Vertical Se

19、arch Engine；Crawler目 录摘 要IIABSTRACTIV第一章前言11.1 课题的研究背景11.2 研究意义和研究现状21.3 本文的研究内容41.4 本文的组织结构5第二章 搜索引擎的关键技术62.1 搜索引擎的基本架构62.2 垂直搜索引擎82.2.1 垂直搜索引擎定义82.2.2 垂直搜索引擎特点82.2.3 垂直搜索引擎优势92.3 网络爬虫92.4 主题网络爬虫技术研究102.4.1 主题网络爬虫工作原理及关键技术概述102.4.2 主题网络爬虫结构模型112.5 中文分词122.5.1基于字符串匹配的分词方法142.5.2基于统计的分词方法152.5.3基于理解的

20、分词方法152.6 网页相关性排序152.6.1 向量空间模型（VSM）152.6.2 搜索引擎的网页结果排序17第三章 开源搜索引擎NUTCH193.1搜索引擎工具包Lucene193.1.1 Lucene简介193.1.2 Lucene与Nutch的关系193.1.3 Lucene的结构203.1.4 Lucene的使用213.1.5 Lucene的评分公式243.1.6 Lucene的搜索结果排序253.2 Lucene的搜索结果排序算法的改进273.3 Nutch的介绍283.4小结29第四章 基于LUCENE的NUTCH垂直搜索引擎系统总体设计304.1系统体系结构304.1.1信息

21、抓取部分314.1.2信息预处理部分314.1.3查询服务部分324.2系统用例模型334.2.1角色的确定334.2.2创建用例334.3系统动态模型354.4系统整体工作说明384.4.1系统整体工作图解384.4.2系统总体工作流程描述384.5主题过滤说明394.5.1主题过滤的研究现状394.5.2主题过滤的评估简介404.5.3摘要分析41第五章 基于LUCENE的NUTCH垂直搜索引擎系统详细设计与实现425.1开发环境介绍425.2 Nutch主题网络爬虫模块的设计与实现425.2.1 Nutch采集策略425.2.2 Nutch数据采集实现435.3分词模块的设计与实现455

22、.4查询模块的设计与实现455.5 Nutch垂直搜索引擎的详细配置与实现过程465.5.1 第一部分 网页内容的下载465.5.2 第二部分 网页内容的搜索50第六章 结论与展望54参考文献56致谢58第一章 前言22.11.1 课题的研究背景现代互联网技术的更新换代以及人类对信息技术坚持不懈地追求，促使世界上每个国家都在进行史无前例的科技革命。一个国家的发展需要信息技术，一个公司的发展需要信息技术，生活中的每个人也同样需要不断变革与发展的信息技术。同时互联网上的各种信息每天都在迅速增长着，互联网已经成为人们信息最重要的来源。信息技术的不断发展必然带来信息技术的爆炸性增长。如此海量的信息资源

23、聚集必然导致用户获取有效信息的难度增加以及用户不需要的垃圾信息量的增加。就这样，能够快速准确地获取有用信息的工具即搜索引擎就这样诞生了。搜索引擎是信息检索领域的工具，所以我们对搜索引擎的研究就属于信息检索领域的一个分支。表1-1列举了搜索引擎诞生以及发展的一些历史。表1-1 搜索引擎的诞生历史1990年麦吉尔大学学生发明Archie只是一个可以搜索的FTP文件名列表，用户通过输入精确的文件名来查询哪个FTP站点可以获得该文件1993年Martin Koster发明了ALIWEBArchie的HTTP版本，靠主动提交信息来建立链接索引，类似Yahoo!1993年斯坦福大学学生发明Excite分析

24、字词关系，以对互联网上信息做更有效的搜索1997年卡耐基梅隆大学的Michael Mauldin创建了Lycos第一次在索引程序中接入了spider程序；除相关度排序外，还提供了前缀匹配和字符相近限制；第一次使用了网页自动摘要1998年Google诞生Google在Pagerank、动态摘要、网页快照、DailyRefresh、多文档格式支持、地图、股票、词典、寻人等集成搜索、多语言支持、用户界面等功能上带来革新然而，随着互联网信息多元化的进一步发展，传统的搜索引擎系统爬虫需要爬取、索引和进行查询的网页内容急剧增加，因此，通常会出现这样的一种情况，我们用户不得不在海量的无关信息中困难地寻找自己

25、所需要的信息。目前，对搜索引擎系统的主要关注点转向应该怎样快速、准确地让用户能够找到对自己有用的信息。人们对得到的专业领域相关信息资源的实时性、针对性和准确性等方面有了更加严格的要求。鉴于此，垂直搜索引擎就这样诞生了。1.2 研究意义和研究现状搜索引擎极大的方便了用户在互联网上搜索自己需要的信息资源。但是，随着科学技术的进一步发展以及用户日益显著的个性化需求，传统意义上的通用搜索引擎系统已经很难满足专业领域用户的快速、及时响应的查询需求。并且，通用的搜索引擎系统也很难及时地更新互联网上的信息。面对以上通用搜索引擎系统出现的这个问题，我们就需要设计出一种垂直搜索引擎系统，它专注于专门的领域，同时

26、对该领域的信息全面深入挖掘，并且系统的更新要比较及时。这种面向专门领域进行搜索的垂直搜索技术在最近几年中已经变得相当的热门。开源搜索引擎的研究具有非常重大的意义。首先，现实生活中只有很少的一部分人能够了解、接触和研究到真正的搜索引擎，绝大部分的人都不懂得专业的搜索引擎技术，也根本无法了解到这方面的技术和知识，因此这个时候，开源的搜索引擎系统就成为人们在学习和研究搜索引擎系统技术时一个相当不错的学习途径和方法。同时，开源搜索引擎系统能够吸引更多有能力、有本事的人贡献出自己的才能，这肯定会推动搜索引擎技术的进一步发展 。开源搜索引擎就是在这样一种急切的需求中诞生出来的，同时经过很多人的努力与贡献，

27、已经在搜索引擎领域取得了巨大的进步，收获丰硕。然而在开源搜索引擎这个领域中最出名、功能最强大的就是Dog Cutting发明的Nutch家族，它是以Lucene全文索引工具包为基础进行索引和搜索的Web搜索引擎框架。通过对Nutch进行配置，就可以实现许多非常强大的功能，此外它使用Java语言进行开发，所以具有跨平台应用的优点，作为网络爬虫和lucene索引器的结合，功能上来说极其强悍，每个月数以亿计的网页爬取量，网页搜索的高速，开源的功能剖析都是我们选择研究它的关键因素。此外基于 Lucene全文索引工具包的索引和检索功能、基于底层云计算平台Hadoop的分布式编程模型和基于云存储的分布式文

28、件系统，都能够让我们用户可以快速高效地把海量网页数据在数百台乃至数千数万台计算机上运行起来，并且能够在短时间内完成海量数据的计算与分析。总的来讲，研究开源的搜索引擎是很有实际应用意义和价值的。国内的研究者们对搜索引擎系统的研究起步比较晚，然而在搜索引擎领域中仍然取得了非常多的成绩。例如北京大学的研究者们研究开发出了“天网”搜索引擎系统，同时在全球的搜索引擎行业中，中国的百度已然成为了世界上使用人数最多的中文搜索引擎。现代搜索引擎按照信息的组织方式和服务的提供方式将搜索引擎分成以下三类。（1） 目录式搜索引擎目录式搜索引擎是采用人工发现有用信息，同时依靠研究人员自己所拥有的知识对发现的有用信息进

29、行人工分类，然后提取出网页信息中的主题词，接着根据关键字进行索引，最后生成相关的目录。我们用户可以通过两种方法来使用：一种是浏览式查询。它是从最高层的根目录开始搜索，然后沿着目录树逐层逐渐的深入，直到用户找到自己所需要的信息为止；另一种是通过用户输入的关键词来进行检索。这一类搜索引擎的优点是检索效率比较高，但也有其不足之处，就是建立索引的效率很低，同时网站信息更新的速度也比较慢。著名的目录式搜索引擎有雅虎和新浪等。（2） 全文搜索引擎 全文搜索引擎的关键技术是一个被叫做网络爬虫（Spider）或网络网络爬虫（Robot）的程序，它是根据自己的特定搜索策略和相应的网络协议，自动地从互联网上爬取网

30、页信息，然后建立索引。并定期采用一定的方法对索引库进行更新，从而可以保证本地索引库与互联网上信息的实时有效对应。这类搜索引擎的优点就是依靠网络爬虫程序自动地爬取、维护和更新网页信息，从而能够将目录式搜索引擎中的工作人员解放出来，同时它的索引库可以很大，和目录是搜索引擎相比较实时性更强。著名的全文搜索引擎有Google，百度等。（3） 元搜索引擎元搜索引擎也叫做集合式搜索引擎，顾名思义，它能够同时管理多个搜索引擎，给用户提供统一的检索接口。所以元搜索引擎可以理解为一个由很多的搜索引擎系统组建而成的搜索引擎系统群。通常，元搜索引擎有两种工作方式。一种是并行式元搜索引擎或者叫做分布式元搜索引擎，另外

31、一种是单机式元搜索引擎，并行式元搜索引擎在用户提交查询词后，能够同时将用户提交的查询词请求发给多个搜索引擎系统，然后在接收到各个搜索引擎返回的结果列表后，根据自己特定的网页排序算法进行重新排序，最后将排序的结果页面返回给用户；单机式元搜索引擎只能提供给用户一个搜索引擎的排序结果页面列表，最后只能由用户自己来选择使用哪个搜索引擎进行查询，所以可以说它是基于搜索引擎的搜索引擎，可以用来帮助用户选择使用哪种搜索引擎。虽然现在的搜索引擎分类很多，但是他们的基本思想和原理都是相同的。图1-1展示了搜索引擎的基本原理。首先是网络爬虫程序在互联网上进行抓取目标站点的信息，然后将抓取下来的信息进行分析处理，分

32、词和索引，并按照一定的数据结构存储到本地网页索引数据库，最后用户通过自己的客户端浏览从这些被索引的数据中检索出自己想要的信息。信息检索信息存储分析处理信息搜集图1-1 搜索引擎基本原理目前，手机数码领域的应用越来越广，产品的种类也越来越丰富，已经变成人们日常生活中不可或缺的一部分，然而我们用户使用通用搜索引擎系统，以手机数码产品的品牌名、系列等作为关键字来搜索相关产品时，网站返回给用户的结果中有大量的无用信息，很难帮助用户进行了解和选择。本文针对这个实际问题，根据用户搜索手机数码产品相关信息的需求，提出并设计了一个基于Lucene的面向手机数码领域的垂直搜索引擎系统，最后根据设计进行相关模块功

33、能以及整个系统功能的实现。1.3 本文的研究内容本文针对手机数码领域，以手机数码的网站作为本文主题爬虫爬取的对象，最后通过分析、研究和设计实现了基于Lucene的Nutch垂直搜索引擎系统。本文的研究内容包括：(1)面向手机数码产品领域网络爬虫的设计垂直搜索引擎系统的网页爬取和通用搜索引擎系统是有很大差别的，本文依照手机数码领域垂直搜索引擎系统的特点，设计了相应的主题网络爬虫。(2)改进了Lucene索引器的网页排序算法由于垂直搜索引擎最终返回的检索网页结果对用户来说是至关重要的，所以怎样能够从多的网页信息集合中把最重要的用户真正想要的结果页面选择出来排在网页集合的前面，是我们研究和设计垂直搜

34、索引擎系统的关键问题之一。经过改进后的网页排序算法除了考虑到原来Lucene自带的词频因素外，同时还考虑到：网页文档的链接信息、正文大小以及用户查询关键词在文档中位置的情况等相关因素。(3)面向手机数码领域垂直搜索引擎系统的设计通过详细分析面向手机数码领域的垂直搜索引擎系统所需要的关键技术，包括手机数码领域网页信息的搜索和爬取、对爬取到的网页信息的处理、建立网页信息的索引库和提供给用户进行检索，最后给出了该垂直搜索引擎系统的总体设计结构以及各个功能模块的模块设计。(4)面向手机数码领域的垂直搜索引擎系统的实现最后在基于Linux+Nutch+Lucene+Tomcat的开发环境与技术支持下实现

35、了面向手机数码领域的垂直搜索引擎系统设计的所有功能。1.4 本文的组织结构本文各章节结构安排如下：第一章主要介绍搜索引擎的历史发展情况和研究的背景，同时阐述了本文的研究内容和各个章节的安排。第二章介绍搜索引擎的关键技术，同时分析了搜索引擎和垂直搜索引擎的工作原理以及各自的差异，并详细说明垂直搜索引擎研究中需要用到的关键技术，重点对网络爬虫的信息爬取技术和用户检索结果的排序技术进行了研究与分析。第三章介绍开源搜索引擎Nutch和全文检索工具包Lucene的基本概念、工作原理，同时针对全文检索工具包Lucene的检索结果排序算法的不足之处，提出了一种改进的检索结果排序算法。第四章根据相关的功能需求

36、，对基于Lucene的面向手机数码领域的垂直搜索引擎系统的各个功能模块进行详细的分析与设计。第五章利用垂直搜索引擎系统的开发环境Linux和开发工具Cygwin、Tomcat，同时使用Java语言编程实现系统中的相关算法和模块的具体功能。第二章 搜索引擎的关键技术2.1 搜索引擎的基本架构不一样的搜索引擎采用不一样的架构，会有一定程度的差异，但是他们的基本功能模块是相似的。如图2-1-1给我们展示了一个通用搜索引擎基本工作原理的架构。索引库是下载的网页存储的地方，采用倒排索引之后，这里的网页信息库已经变成了倒排结构。通常，倒排索引技术就是通过将DocumentWord的初始状态结构（如图2-1

37、-2所示）转变为WordDocument的倒排索引结构（如图2-1-3所示）。全文搜索引擎采用这样的倒排索引结构的好处就是可以根据对Word的搜索很快就能定位到相应的是哪个Document，例如：当在搜索引擎中搜索“我们”的时候，返回的结果中应该会出现Document1和Document21。索引器(Indexer)是用于生成索引的一个程序模块，我们将处理过的大量网页信息包装后，转变成相应的文档，然后交给索引器来进行索引，索引器就会在索引库中建立该文档的一个索引，这个结构也就是倒排索引结构2。检索器（Searcher）是用户在使用搜索引擎进行信息查询时的一个程序模块。当用户提交自己查询关键词给

38、检索器客户端以后，检索器首先对用户提交的查询关键词进行分词等处理操作，然后生成相应的Query去网页信息索引库中进行关键词匹配，最后才将查询匹配得到的网页结果以一定的列表排序格式返回给用户3。索引库、索引器、检索器是搜索引擎的三大核心程序模块。我们研究者可以利用这三大程序模块来建立一个垂直搜索引擎4。本文利用到的Lucene 全文索引工具包的直接调用就等同于建立了一个搜索引擎，Lucene本身就可以建立索引和进行相关搜索，不过这样简单的搜索引擎只有开发人员才能够熟练使用，用户使用起来将会非常的困难，而且对各种网络上现有的文件（MS Word、MS Excel、HTML等）处理起来很不方便，所以

39、想要搭建真正用户能够直接使用的垂直搜索引擎还需要其他程序模块的功能支持。图2-1-1 搜索引擎基本架构文档解析模块用于解析爬取到的特定格式的文档，通过提取出文档中的文字信息，同时建立文档对象，然后再交给索引器进行处理，网页处理模块用于对Crawler获取的网页信息进行解析，提取出文字信息，然后建立文档对象后再交给索引器进行处理5 6。用户查询界面是用户通过向搜索引擎检索端输入自己的关键词时才使用到，它考虑到用户的使用习惯，从用户出发，提供方便、优化、快捷的查询界面，并将最终搜索引擎查询的结果能够按照用户的要求呈现给用户6。我们是中国人文档1文档2中国很我们美丽图2-1-2 文档的初始结构我们中

40、国文档2文档1图2-1-3 文档的倒排结构2.2 垂直搜索引擎2.2.1 垂直搜索引擎定义垂直搜索引擎也叫专业搜索引擎，它是针对某一个特定领域或行业的主题搜索引擎，是通用搜索引擎功能上的细分和扩展7。和通用搜索引擎相比，垂直搜索引擎的优点是查询准确，响应速度快。它是针对通用搜索引擎的信息量很大、查询很不准确、专业深度不够等问题提出来的一种新的搜索引擎模式，主要目的在于为某一专业领域、某类人群或某个特定的需求提供的相关的信息和服务。它的特点就是专、精、深且具有行业色彩。2.2.2 垂直搜索引擎特点垂直搜索引擎和通用搜索引擎的最大区别是对网页信息的处理方式不同，垂直搜索引擎对网页数据进行了结构化抽

41、取和整理。也就是将网页中的非结构化数据抽取整理出来，构成特定的结构化信息数据。在整个过程中，网页数据由非结构化数据转变成结构化数据，最后再经过深度加工处理之后以非结构化的方式或结构化的数据返回给用户。总之一句话，垂直搜索引擎是针对某个特定领域或行业，其主要特点8如下：(1) 垂直搜索引擎中的主题网络爬虫爬取到的网页数据主要来源于搜索引擎关注的专门的网站。(2) 垂直搜索引擎中的主题网络爬虫爬取到的网页数据主要都是结构化数据和元数据。(3) 垂直搜索引擎的搜索策略是基于结构化数据和元数据的。2.2.3 垂直搜索引擎优势和通用搜索引擎相比，垂直搜索引擎的优势表现在，通用搜索引擎主要是将爬取到的网页

42、信息存放到本地数据库。然而垂直搜索引擎主要是以网页的方式返回给用户，通用搜索引擎主要是利用一个网络爬虫程序到互联网上进行随机爬取，一般是按照某个特定的时间周期进行二次爬取，以便于更新网页库；垂直搜索引擎同样有一个网络爬虫程序，但是它的网络爬虫程序只是在一些特定的网站上进行爬取，并不会对网页上的每一个超链接都感兴趣，相对来说，垂直搜索引擎的信息收录范围大大缩小了，但并不意味着网页内容的缩小。和通用的搜索引擎相比，垂直搜索引擎的查全率和查准率都提高了很多，因为它只是关注了一小部分特定的网站，可以做到内容上很齐全，准确率很高。2.3 网络爬虫网络爬虫(Web Crawler)也称作网络蜘蛛，是搜索引

43、擎的核心功能模块之一，它的功能是从各个网站上获取网页文件（这个过程叫网页爬取）并提取出有用的文字信息，然后分词、交给索引器建立索引7。网络爬虫的爬行策略主要有广度优先策略和深度优先策略9。广度优先策略首先爬行第一层的网页，将第一层网页解析所得的发出链接存起来，待第一层链接都处理完毕，接着依次处理第二层的链接，如此一层一层地进行下去。深度优先策略从第一层链接中选取一个，抓取其指向网页并解析出发出链接，然后从发出链接中选出一个继续前述过程，直到达到一定得限制条件后，重返上层选取新的链接进行爬行。两种策略如图2-3所示。图2-3 广度优先与深度优先策略对比2.4 主题网络爬虫技术研究2.4.1 主题

44、网络爬虫工作原理及关键技术概述通用搜索引擎的信息搜集任务主要是超链接URL抓取的过程。通用的网络爬虫进入若干初始的种子网页中，爬取信息，同时新的 URL链接不断的被放在队列中等待被抓取，直到达到预期设定的阈值或者URL列表为空时停止，它的缺点是网页信息爬取的不确定性。相比较而言，主题网络爬虫则具有非常明显的优势，在主题网络爬虫中引入了智能分析步骤，也就是在 URL 抓取之前进行主题的筛选，将与主题相关的URL放入待抓取的URL队列中，与主题不相关的URL则去除，不断重复这个过程，直到达到设定的阈值或者URL列表为空为止，这样的话既可以缩小爬取的范围，又可以将用户查询所需的专业性很强的关键词和相

45、关的结果保存下来，为以后相同或相似的搜索提供参考，并且能够保证信息的及时更新信息，也改善了之前比较容易出现的空链接、死链接现象。通用搜索引擎与垂直搜索引擎的爬虫过程对比流程如图 2.4.1 所示：图 2.4.1 通用网络爬虫和主题网络爬虫的基本工作原理架构流程对比与通用搜索引擎相比，垂直（Vertical）搜索引擎主要有三个方面的突破：一是主体网页目标的阐述和定义，二是URL主题相关度的判定算法，三是主题爬虫的搜索策略。在以上三个关键性技术问题中，URL主题的相关度算法和主题爬虫的搜索策略是垂直搜索引擎的核心技术。2.4.2 主题网络爬虫结构模型主题网络爬虫是以普通网络爬虫为基础的，是对普通网

46、络爬虫功能的提升和改进。其中主要的改进部分为以下三个方面，如图 2.4.2 所示：图 2.4.2 主题网络爬虫的工作原理和基本架构(1)采集网页信息模块：此模块在超链接（URL）分析模块与页面相关度分析模块之间起到协调的作用。同时也是网络爬虫正常运行的必要组成部分。第一步，网络爬虫采集模块负责将网页的信息采集集中，此过程中爬行顺序和方法都决定于链接分析部分。第二步，网页的相关度分析模块会将这些网页信息进行分析处理。也就是说采集模块是网络爬虫模块与页面相关度分析模块之间的媒介，起到了平衡调节的重要作用。(2)链接分析模块：这个模块是整个垂直爬虫过程的指挥中心，相当于人类的大脑。一方面将爬行采集的数据进行相关度分析后选择合适的爬虫策略，从而分析出爬虫的顺序与信息的优先级取舍。也就是说，爬行的策略与无关链接与潜在链接的删除都是由链接分析模块分析得到的。它的功能完善与否直接对整个爬虫过程起到了至 关重要的作用。(3)相关度分析模块：此模块在这个系统过程中，起到了筛选的作用。相当于一个类别提取器。开始时，根据用户的关键搜索词汇在网页信息中进行主题相关度分析，如果被该模块认定为是与主题相关的，则该文本所在的网页被提交给页面相关度分析模块，反之则被剔除。被提交到网页相关度分析模块的文本，经分析，若主题相关度大于提前预设的一个初始值，则