网络信息检索课件09版检索原理和搜索引擎A.ppt

课件制作：张胜光,第二章 检索原理和搜索引擎,网络信息检索第2章 张胜光制作,3,本章内容,第一节 信息检索原理：关键词匹配原则,网络信息检索第2章 张胜光制作,5,1、从“图灵实验”说起,大家都知道，计算机发展史上有一个重要人物图灵，他在上世纪50年代曾经提出了一个假想的实验，认为计算机可以具有人类的思维能力，被称为“图灵实验”。他并且预言，在20世纪末，具有人工智能的计算机将会出现。但时至今日，仍未有任何一台计算机能通过“图灵实验”。,网络信息检索第2章 张胜光制作,6,2、计算机检索的奥妙：关键词匹配,计算机既然如此“无能”，连三岁小孩的智能都不具有，那么为什么人们要在网上查找信息，却总要通过计算机帮忙呢？计算机检索的奥妙在哪里呢？原来，计算机实现检索的奥妙，就在于它能把你输入的检索词，与它后台数据库中存储的文件关键词进行比对，如果能够匹配，就认为这条信息是你需要的，立刻输出给你。,网络信息检索第2章 张胜光制作,7,广义的信息检索：是指将信息按一定的方式组织和存储起来，并根据用户的需要找出相关信息的过程。,狭义的信息检索：一个匹配(Match)过程 即用户使用检索语言对自己的信息需求予以描述，并在一定的信息资源系统中进行描述匹配的过程。,3、什么是信息检索？,网络信息检索第2章 张胜光制作,8,存 储,检 索,原始文献,加工整理,数据库,提 问,检 索,输 出,“爱因斯坦论文”,“论文”,“爱因斯坦”,“论文”,“爱因斯坦”,网络信息检索第2章 张胜光制作,9,4、信息检索原理,检索提问式,信息的选择与收集,信息特征,标识语言,检索工具匹配,检索结果,信息源,用户,信息需求,检索提问,数据库,网络信息检索第2章 张胜光制作,10,What？Where？How？,5、信息检索的要领,网络信息检索第2章 张胜光制作,11,6、信息检索类型,依信息存储和检索的方式手工检索（Manual Retrieval）也叫传统信息检索，是利用各种印刷型检索工具来查找文献的一种方法。计算机检索（Camputer-based Retrieval）也叫现代信息检索，是指利用计算机和网络来处理和查找文献信息的检索方式。,网络信息检索第2章 张胜光制作,12,7、主要计算机检索系统类型,检索系统由一定的检索设备（计算机）和经过加工整理并存储在相应载体上的信息集合及其他设备共同构成的具有存储和检索功能的信息服务系统。联机检索(online search)脱机检索（offline search）光盘检索（CD search）网络检索（Internet/Web search）全球数字图书馆系统（digital global system）,网络信息检索第2章 张胜光制作,13,8、“关键词原则”是信息检索的根本原则,四次文献,三大系列中文网站,两类搜索引擎,Keyword原则,第二节 搜索引擎的原理和发展概况,网络信息检索第2章 张胜光制作,15,1、网络信息资源种类,WWW信息资源：web网页FTP信息资源：远程计算机上的文件夹Blog信息资源：博客、播客等等信息资源Telenet信息资源：直接调用远程主机BBS、新闻组信息资源：相当于论坛信息P2P信息资源：私人计算机上的信息资源数据库和收费网站：如三大库三大馆,网络信息检索第2章 张胜光制作,16,2、网络信息资源的特点,信息量大、传播广泛信息类型多样、内容丰富信息时效性强、变化频繁信息分散无序、但关联程度高信息缺乏管理、良莠不齐 所以在网络信息检索中，我们常常要借助于搜索引擎来帮助我们“大海里捞针”。,网络信息检索第2章 张胜光制作,17,搜索引擎Search EngineInternet网络信息检索工具,3、搜索引擎的概念,网络信息检索第2章 张胜光制作,18,4、搜索引擎的发展历史,网络信息检索第2章 张胜光制作,19,搜索引擎发展历史,第三代搜索网页搜索,网络信息检索第2章 张胜光制作,20,搜索引擎的起源Archie,所有搜索引擎的祖先，是1990年由蒙特利尔的McGill University三名学生发明的Archie(Archie FAQ)。Alan Emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了Archie。Archie是第一个自动索引互联网上匿名FTP网站文件的程序，但它还不是真正的搜索引擎。Archie是一个可搜索的FTP文件名列表，用户必须输入精确的文件名搜索，然后Archie会告诉用户哪一个FTP地址可以下载该文件。,网络信息检索第2章 张胜光制作,21,由于Archie深受欢迎，受其启发，Nevada System Computing Services大学于1993年开发了一个Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ）。Jughead是后来另一个Gopher搜索工具。现在这个工具主要用在国外大型图书馆的信息检索上。,早期的另一个搜索工具Gopher,网络信息检索第2章 张胜光制作,22,1994年4月，斯坦福大学的两名博士生，美籍华人杨致远和David Filo共同创办了Yahoo）。随着访问量和收录链接数的增长，Yahoo目录开始支持简单的数据库搜索。因为Yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。Yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。Yahoo!-几乎成为20世纪90年代的因特网的代名词。,第二代搜索：目录式搜索 Yahoo!,网络信息检索第2章 张胜光制作,23,1995年，一种新的搜索引擎形式出现了元搜索引擎（Meta Search Engine）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第一个元搜索引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜索引擎概念上好听，但搜索效果始终不理想，所以没有哪个元搜索引擎有过强势地位。,好听不好用的元搜索引擎,网络信息检索第2章 张胜光制作,24,第三代搜索：网页搜索,它们都属于网页自动搜索引擎，有的还带有智能分析或FTP、P2P搜索功能,网络信息检索第2章 张胜光制作,25,5、搜索引擎的工作原理,网络信息检索第2章 张胜光制作,26,网络信息检索第2章 张胜光制作,27,搜索引擎并不真正搜索互联网，它搜索的实际上是预先整理好的网页索引数据库。搜索引擎至少由三部分组成：爬行器（即机器人、蜘蛛等搜索程序）索引生成器（即网页索引数据库）查询检索器（即用户检索界面）随着搜索引擎的发展，许多搜索引擎在此基础上增加特色功能。如百度增加了监控程序。,网络信息检索第2章 张胜光制作,28,搜索引擎的工作原理就像超市,索引生成器（网页数据库）,爬行器（蜘蛛）,查询检索器（用户查询）,因特网,网络信息检索第2章 张胜光制作,29,利用能够从互联网上自动收集网页的Spider系统程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集回来。,第一步：从互联网上抓取网页,因特网,网络信息检索第2章 张胜光制作,30,第二步：建立索引数据库,由分析索引系统程序对收集回来的网页进行分析，提取相关网页信息（包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等），根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度（或重要性），然后用这些相关信息建立网页索引数据库。,网络信息检索第2章 张胜光制作,31,搜索引擎的Spider一般要定期重新访问所有网页（各搜索引擎的周期不同，可能是几天、几周或几月，也可能对不同重要性的网页有不同的更新频率），更新网页索引数据库，以反映出网页内容的更新情况，增加新的网页信息，去除死链接，并根据网页内容和链接关系的变化重新排序。这样，网页的具体内容和变化情况就会反映到用户查询的结果中。,网络信息检索第2章 张胜光制作,32,第三步：检索界面的建立,当用户输入关键词搜索后，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。因为所有相关网页针对该关键词的相关度早已算好，所以只需按照现成的相关度数值排序，相关度越高，排名越靠前。最后，由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。,网络信息检索第2章 张胜光制作,33,每个搜索引擎都必须向用户提供一个良好的信息查询界面，一般包括分类目录及关键词两种信息查询途径。,网络信息检索第2章 张胜光制作,34,网络信息检索第2章 张胜光制作,35,第三节 两类搜索引擎及网页搜索引擎,网络信息检索第2章 张胜光制作,37,两类搜索引擎的代表,百度、Google、Yahoo等,迅雷、天网Maze等,网络信息检索第2章 张胜光制作,38,第一类搜索引擎：网页搜索引擎以谷歌和百度为代表,网络信息检索第2章 张胜光制作,39,1、Google搜索引擎,Google搜索引擎诞生于斯坦福大学的一个学生宿舍里，然后迅速传播到全球的信息搜索者。Google 目前被公认为万维网上最大的搜索引擎，它提供了简单易用的免费服务，使用户能够访问一个包含超过 80 亿个网址的索引。“Google”来自于数学名词“Googol”，Googol表示一个 1 后面跟着 100 个零。Google Int.使用这一术语体现了公司整合网上海量信息的远大目标。地址：/,网络信息检索第2章 张胜光制作,40,Google 简介:,Larry Page，创始人之一，主管产品的总裁。密西根安娜堡大学的荣誉毕业生，拥有理工科学士学位。他还因其出色的领导才能获得过多项荣誉，以奖励他对工学院的贡献。他曾担任密西根大学 Eta Kappa Nu 荣誉学会的会长。目前他暂时从斯坦福大学计算机研究所博士班休学，其指导教授是 Terry Winograd 博士。Google 就是由Page在斯坦福大学发起的研究项目转变而来的。,网络信息检索第2章 张胜光制作,41,Google 简介:,Sergey Brin，创始人之一，主管技术的总裁。出生于莫斯科，是马里兰大学校本部的荣誉毕业生，拥有数学专业和计算机专业的理学士学位。已取得斯坦福大学计算机专业硕士学位，目前暂时从博士班休学。29 岁的 Sergey 是美国国家科学基金会的奖学金得主。他在斯坦福遇到了 Larry Page 并参与了后来成为 Google 的研究项目。他们于1998年共同创立了 Google。,网络信息检索第2章 张胜光制作,42,注意用“”与*功能,网络信息检索第2章 张胜光制作,43,网络信息检索第2章 张胜光制作,44,谷歌其他功能,网络信息检索第2章 张胜光制作,45,2、百度(baidu),全球最大中文搜索引擎。提供网页快照、网页预览/预览全部网页、相关搜索词、错别字纠正提示、新闻搜索、Flash搜索、信息快递搜索、百度搜霸、搜索援助中心。地址：/,网络信息检索第2章 张胜光制作,46,网络信息检索第2章 张胜光制作,47,一、概况 百度（B，Inc）于1999年底成立于美国硅谷，2000年，落户中国。2001年8月，发布B搜索引擎Beta版，从后台服务转向独立提供搜索服务，并且在中国首创了竞价排名商业模式。2001年10月22日正式发布Baidu搜索引擎。2005年8月5日，百度在美国纳斯达克上市。,李彦宏,网络信息检索第2章 张胜光制作,48,“百度”二字取自辛弃疾的青玉案“众里寻她千百度”。现在百度已成为世界上最大的中文搜索引擎。用户能够访问超过6亿的中文网页，5000多万张图片、500多万首中文mp3及各种格式的音乐。,网络信息检索第2章 张胜光制作,49,网络信息检索第2章 张胜光制作,50,北京正望咨询有限公司,网络信息检索第2章 张胜光制作,51,百度 VS Google,网络信息检索第2章 张胜光制作,52,目标信息一定含有的关键字：用双引号连起来 目标信息不能含有的关键字：用“-”去掉 目标信息可能含有的关键字：用“OR”或空格连起来,重要提示,网络信息检索第2章 张胜光制作,53,关于搜索的一些思想,不是互联网上所有的信息都能被搜索引擎搜集。动手前多动脑。不要盲目信任搜索得到的信息。不要期望一次搜索解决问题。,互联网上并没有所有的东西！,网络信息检索第2章 张胜光制作,54,附加资料,Baidu帮助中心Google帮助中心搜索引擎列表Google Tutorial中文搜索引擎指南网,网络信息检索第2章 张胜光制作,55,文献检索课程作业3下载PPT模板,Powerpoint是目前应用最广泛的多媒体制作工具。如果能找到一套适合自己需要的漂亮的PPT模板，则制作各类演示课件就会事半功倍。本作业要求你从网上找到至少三套适合做课堂教学和毕业论文汇报将沿用的PPT模版，要求每套模版至少要有30张以上的不同版面设计幻灯片，如本幻灯片所示。,网络信息检索第2章 张胜光制作,56,作业提示,请使用各种搜索引擎，输入合适的检索词后寻找，将你认为满意的模版发送到局域网服务器上。,网络信息检索第2章 张胜光制作,57,文献检索课程作业4寻找蒙娜丽莎,、请在网上寻找如下图所示世界名画蒙娜丽莎的指定图片和介绍她被偷的文章。注意，如不是指定图片则此题不给分！提示：可试用以下检索词：Mona Lisa Louvre museum stolen蒙娜丽莎 500岁 蒙娜丽莎被偷 卢浮宫,网络信息检索第2章 张胜光制作,58,、请在网上寻找卢浮宫三件“镇馆之宝”的另外两件维纳斯和胜利女神的雕像图片，把有关图片下载到你的作业文件夹中，作业文件名必须是图片的主题，否则不给分。,网络信息检索第2章 张胜光制作,59,【操作步骤提示】,1、打开IE浏览器，在地址栏中输入 百度或Google搜索引擎的网址2、在搜索引擎对话框中反复输入不同的检索词，搜索给定的目标文献网页。3、点击IE浏览器文件菜单上的“另存为”命令，将该页面下载到你的作业文件夹中保存。4、此作业全部完成后，将作业文件夹中保存的全部文件，通过局域网作业提交系统，传输到实验室服务器中，作为评分依据。,