Google的工作原理分析-分词与索引库.ppt

Google的工作原理分析-分词与索引库,主讲人：harry,深圳市多来咪科技有限公司-培训教材,大纲目录,1.检索库2.检索库的分类3.分词,深圳市多来咪科技有限公司-培训教材,Google每天的工作,Google每天都在做什么呢？简单的说，首先Google 尽可能多的从互联网上面抓取页面，然后在用户搜索的时候把最相关的结果反馈给用户。那么在这个过程之中会有几个问题。,深圳市多来咪科技有限公司-培训教材,1.检索库,首先，用户输入关键词以后，Google 如何在很短的时间里面从众多的网页中反馈出相关的结果呢？大家都知道，搜索一个词的时候，Google的反应时间正常情况只有零点零几秒。在数以亿计的网页中，如何快速的找出相关内容呢？。,深圳市多来咪科技有限公司-培训教材,1.检索库,其实办法就是建立索引库（index).这个就类似于我们查字典时候的检索表，或者是图书馆的书目检索。Google的蜘蛛在抓取网页之后，就把这些页面放到对应的索引库里面。在用户搜索的时候，只需要到相应的检索库里面搜索相应的信息，而不是从所有的页面当中。,深圳市多来咪科技有限公司-培训教材,1.检索库,深圳市多来咪科技有限公司-培训教材,2.Google索引库的分类方法,字典或者图书馆的分类都是按照字母来分的。Google的索引库是如何处理的呢？互联网上的页面呈爆炸式的增长，如果只是按照26个字母分类，每个检索库里面的页面数量还是有几亿个，而且数量会不断递增。这样检索的效率会越来越低。因此，搜索引擎索引库的分类基本都是用词语来分类的。Google，百度 都是如此。,深圳市多来咪科技有限公司-培训教材,2.Google索引库的分类方法,这样处理的好处是：其一，用户搜索时就是用词语来搜索的。我们这样分类正好可以返回相应结果。其次，因为每种语言的词语的数量都是相对固定的。我们知道英语大概有一百多万个单词100亿 1百万=1 万，这样把抓取到的页面放到不同的检索库里面，每个索引库里面的页面数量平均只有1万，Google反应速度也就随之变快了。,深圳市多来咪科技有限公司-培训教材,2.Google索引库的分类方法,深圳市多来咪科技有限公司-培训教材,3.分词,Google的蜘蛛抓取页面以后，如何把页面放到对应的检索库里面呢？因为检索库是按照词语分类，所以只需要把页面里面的词语分开，然后放到检索库当中。所说的把词语分开也就是分词了。英文页面的分词比较简单，因为英语的每个单词之间是用空格分开的，不过还是要处理一些单复数，缩写，变体，等等。,深圳市多来咪科技有限公司-培训教材,3.分词,按照这个原理只要某个词语在一个页面出现一次，就会被放到相应检索库当中，索引的时候就有可能索引到。（用google搜索一个词，下边显示的About.Results就是相应的索引量。通过这个可以在一定程度判断词语的流行度）因此，为了网页排名方便，索引中还需存有大量附加信息，诸如每个词出现的位置、次数等等。,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,流程,深圳市多来咪科技有限公司-培训教材,3.分词,Learn more:l 以上内容只是对之前的看到的一些资料的总结和概括，不正确的欢迎指正。,深圳市多来咪科技有限公司-培训教材,谢谢！,日期：2011-11.22,