《信息检索导论》PPT课件.ppt

1,第一章 信息检索导论,1.1 信息素养与信息检索1.2 信息检索的概念和类型1.3 信息检索的研究对象与研究方法1.4 信息检索的发展历史1.5 信息检索需求1.6 小结,2,1.1 信息素养与信息检索,一、信息、信息社会与信息素养二、信息检索教学的主要意义三、信息检索教学的基本内容,3,一、信息、信息社会与信息素养信息社会的基本特征,1、信息数量的激增2、信息职业的扩大3、信息资源的显化4、信息应用的泛化5、信息意识的强化,4,信 息 素 养,5,信息,信息的概念信息的基本特征信息的基本类型,6,1、信息日常生活概念,在日常生活中，信息与符号、数据、消息、事实、新闻、情报、知识等概念混用，核心义项是消息。李中（924975）在碧云集之暮春怀故人一诗中最早提出了“信息”一词。“梦断美人沉信息，目穿长路倚楼台。”符号是指人类感官接受外界刺激后，大脑中产生的刺激的组合；数据是各种事实、数字和字符等符号的集合；信息是指语法特征上相互关联的数据对象的集合；知识是有语法、语义关联的信息结构；而智能则是知识精华的集合。,7,数据,知识,信息,智能,信息与数据、知识和智能的关系,8,数据（Data）是有关事物现象的记录，是未经加工的事实、没有指定背景和意义的数字、图像或声音等。如19491001，我们只知道这是一个数字，对于这个数字来说，它就是数字，不表示别的什么含义。信息（Information）是经过组织的、有序的数据，表达了数据和数据之间的联系。也就是说，对数据进行分析，找出其中的关系，赋予数据以某种意义和关联，就形成了信息。如19491001可以看作日期，这样就成了信息。它可能是某人的生日，也可以是国庆日，等等。知识（Knowledge）是有意义的信息，表现在信息和信息之间的关系。譬如天空有乌云和下雨两个信息之间，如果建立一种联系，则产生了知识。智慧（Wisdom）是知识与判断的综合，是利用知识采取正确行动的体现在了解多方面的知识后，能够预见一些事情的发生并采取正确的行动。例如大家都觉得国庆长假去杭州旅游的车票非常紧张（知识），但你已经非常有预见性地购买了车票，领先一步，这就是智慧的体现。,信息与数据、知识和智能的关系,9,信息科学概念,科学概念根植于理性的理论框架中，并与不定性、概率、熵、有序化、变异度等概念密切相关。L.V.R.Hartley：信息是选择的自由度（1928）；C.E.Shannon：信息是用来减少随机不定性的东西（1948）；N.Wiener：信息是指人们适应外部世界，并使这种适应为外部世界所感知的过程中，同外部世界交换的东西的名称（1948）；L.Brillouin：信息就是负熵，是系统组织结构和有序程度的度量（1951）；W.R.Ashby：信息是集合的变异度（1956）。一般说来，设随机事件X(x1,x2,xn)，每个事件（状态）发生的概率为P(p1,p2,pn)，那么这一随机事件提供的信息量为I(xi)=Pi，而整个信源的信息熵为H(X)=PiPi。,10,信息哲学概念,在对信息进行哲学探讨时，信息与物质、能量、运动、反映、意识等概念息息相关。信息是一切事物运动状态和方式的表象或表征。这里，“事物”泛指一切可能的研究对象，可以是外部世界的物质客体，也可以是主观世界的精神现象；“运动”泛指一切意义上的变化；“运动状态”是指事物运动在空间上所展现的性状和态势，是事物的静态特征；“运动方式”则是指事物运动在时间上所呈现的过程和规律，是事物的动态特征。“表象”说明信息并不是事物本身；而“表达”则是认识论上的主体所感知并能够表示的、与人类生活有关的东西，这是上述本体论意义上的信息引入认识主体这一约束条件后的产物。,11,信息的基本特征和属性,普遍性与无限性 客观性与相对性 抽象性与依附性 动态性与异步性 传递性与共享性,12,普遍性。信息是物质的普遍属性，是物质运动的状态和方式。信息的物质性以及物质的普遍性决定了信息的普遍存在性。无限性。物质的更替和人事的代谢无穷无尽，信息因此是无限的；即使在有限的时空中，由于物质的多样性和物质运动的连续性，信息也是无限的。信息无限性的重要表现是信息的多样性和衍生性：就多样性而言，它一方面表现为信息的内容范围无所不包的多样性，另一方面表现为同一信息的表述、表达方式的多样性。就衍生性而言，信息的信息仍然是信息；观察的结果是信息，关于观察结果的表述是信息，关于观察结果的描述作为文献的内容也是信息，而关于该文献的目录索引还是信息，信息的信息，可以形成无穷无尽的衍生链带。,13,客观性。信息的客观性源于客观存在的物质运动的特征。信息不是虚无飘渺的东西，也不是可以随意想象和“创造”的事物，它是现实世界各种事物运动的状态和方式，有非常具体和真实的品格。各类信息的表达、存贮、传递、转换和利用等都必须以客观存在的物质载体为依托。相对性。由于认识能力、认识目的及其所储备的先验信息各不相同，各个认识主体从同一事物中获取的信息及信息量（实得语法信息量、实得语义信息量和实得语用量）并不相同。假定事物X的实在信息量I(X)是常数，在这样的条件下，第i个观察者Ri的实得信息量I(X；Ri)就为：I(X；Ri)=I(X)-Io(X；Ri)。既然各个观察者的先验信息量Io(X；Ri)各不相同，它们的实得信息量当然也就各有差异。,14,抽象性。信息本身是看不见摸不着的，我们所能够看得见摸得着的只是信息载体（包括语言、文字、图画、符号、纸张、磁带和光盘等）而非信息内容。依附性。任何信息都必须以某种物质的特定的运动形式表现出来，即信息必须依附于一定的物质载体上，用文字、语言、图像、符号等把信息记录下来，并寄载在纸张、磁带、胶卷和光盘等介质上，通过声波、光波、电波等物质载体进行传递。信息的依附性是抽象性的延伸，是信息具有可传递性、可转换性、可贮存性和可处理性的基础，是信息能够实际利用的前提；正是因为有了这些载体，信息才能变为一种广泛的资源和财富。,15,动态性，或称信息的时效性。信息的时效是指信息从产生、传递到接收利用的时间间隔及效率，而时效性就是指信息的内容和信息量大小都会随时间的变化而不断得到更新、充实、积累或取舍。在我们考察物质运动规律时，所取的空间界面和时间区段不同，所得到的有关信息的时效就会有所不同。异步性。异步性是动态性的延伸，包括滞后性和超前性两个方面。信息脱离源物质后需要经过输入、处理、传递和输出等过程才能为人们所理解和掌握，而此时源物质已发生新的变化，这些信息因而就成为“过时”的信息，它们所反映的已是某一时刻之前的源物质运动的状态和方式。换言之，任何信息总是产生、传递在事实之后，即先有事实而后有关于该事实方面的信息等，这是由于人的认识与客观事物运动的异步性造成的，并导致信息都有一定的滞后性和不完全性。另一方面，人们在掌握大量信息的基础上，又可以通过计划、预测等方式测知未来的信息，超前于现实，因而信息又具有超前性。,16,传递性。信息传递的实质就是一种事物的运动状态与方式脱离源物质而附着于另一事物，并通过后者的运动将这种状态与方式在时空上从一点传递到另一点。信息的传递总是同物质的运动和能量的转换联系在一起。信息传递经历了点-点、点-面、面-面的发展模式。共享性。指同一内容的信息，可以在同一时间内为众多的使用者所接收和使用，当信息从传者转移到受者时，传者不会因此丢失信息。信息共享实现的条件在于信息对于物质依附性的相对性，即同一信息可以采用多种相同的或不同的物质载体及其运动形式构成。信息共享的基础在于信息存在的普遍性和信息价值的非对称性。信息产品的使用价值是一个点集或面，其价值和使用价值具有非对称性；而物质产品的使用价值在同一时刻仅为一个点，且遵循等值交换原则。信息共享的意义在于它从根本上改变了人类对资源的态度和方式。不同的信息在共享范围和程度上是有差异的。,17,信息的基本类型,1 以认识主体为依据对信息进行的划分2 以信息的生成领域对信息进行的划分3 以信息的媒体形式对信息进行的划分4 以信息的逻辑意义对信息进行的划分,18,1 以认识主体为依据对信息进行的划分,客观信息，是指对事物不加判断的如实和公正的报道，即关于认识对象的信息。主观信息，一般是依据事实和分析，阐明个人对论题的观点和见解，是经过思维主体加工的信息。,19,2 以信息的生成领域对信息进行的划分,自然信息，非生命物质的自然信息，是无机界事物属性及事物之间内在联系的表征。自然信息是融合式的、特殊的、弥漫的。生物信息，包括生物与外界联系时做出的反应以及生物体内传递的信息。生物信息是信号形态的信息。社会信息，人类活动和社会发展的信息以及人类接收并破译的自然信息。它以符号信息为特征。思维信息，以人脑为载体，以语言为外壳，以各种感觉器官为接收器，对各种外界信息进行加工、转换，并实现思维分析、语言表达的过程。思维信息是社会信息运动的主体源泉，而社会信息则是思维信息运动的外化和现实化的结果。,20,3 以信息的媒体形式对信息进行的划分,文本信息。按线性顺序排列的，阅读时，人们跟随文本的线性流向吸收其中的知识单元。超文本信息。按知识单元及其关系建立的知识结构网络。其数据库由结点和链路组成，查阅超文本信息时，以知识片段及其关系作为追踪、检索的依据。多媒体信息。多媒体是包括文本、图像和声音在内的各种信息表达或传播形式的总称。多媒体信息系统能针对用户的需求提供各种形式的信息。超媒体信息。是指通过计算机控制，把各种文献载体和各种内容综合为一个整体，从而向读者提供各种形式和各种内容的资料。超媒体是超文本与多媒体两种技术的结合，即在信息浏览环境下超文本的信息管理方式与多媒体的信息表现方法结合在一起时，就称为超媒体。,21,4 以信息的逻辑意义和利害关系划分,有益信息：对社会发展有积极作用的、能够消除人们对未知事物不确定性的信息，它是人类社会的资源和财富。无用信息：指对信息使用者所从事的某种活动没有作用的、多余的信息。衡量无用信息可以使用以下 3个指标：一是德国文献学家瓦斯提出的废页率。二是美国信息科学家彭德尔伯里和加菲尔德等提出的不引率。三是信息冗余度，即信息中超出完整要求而在传递中属于多余的内容。信息的冗余度R1H/Hmax。有害信息：指对社会发展和信息用户有消极和阻碍作用的不真实或庸俗、媚俗的信息，主要有虚假信息和色情信息等。,22,二、信息检索教学的主要意义,1、一个平台：培养信息意识，提高自学能力和独立研究能力。1992年国家教委高教司在文献检索课教学基本要求的通知中指出：“文献检索课是培养学生掌握利用图书文献/情报检索，不断提高自学能力和科研能力的一门科学方法课。”2、一个引擎：促进信息资源的开发利用，使文献信息机构成为社会信息化发展的智力引擎。信息资源是人类最宝贵的智慧资源，具有可再生性、可建设性、价值的潜在性等特征，是人类所有依赖的资源中最重要的资源。随着自然资源的日益减少甚至枯竭，信息资源的重要性表现得更为明显。3、一个工具：避免科研劳动的重复浪费，协助管理者做出正确的决策。,23,1.1 信息素养与信息检索,一、信息、信息社会与信息素养二、信息检索教学的主要意义三、信息检索教学的基本内容,24,三、信息检索课程的基本内容,1、信息检索的基本知识：文献、情报、知识、信息的概念；不同文献类型的特点；专业文献概况及主要收藏单位；情报与Information Literacy对科学活动及个人知识增殖的作用；文献检索的意义和作用。2、信息检索的基本原理：信息检索类型、检索程序和方法；检索语言与排检法；检索工具和参考工具书的类别、特点、功用及其结构；数据库、计算机检索的基本策略。3、信息检索的基本技能：掌握若干种基本的综合性和专业性中外文检索工具，了解其内容特点、结构和著录格式，能够通过多种途径使用它们检索和专业相关的不同类型的文献。掌握若干种主要综合性和专业性参考工具书，了解其内容特点、适用范围和查阅方法，能够使用它们进行事实检索和数据检索。初步掌握机检方法，包括选择数据库、制订检索策略、分析检索结果。能够独立地根据检索课题选用适当的检索工具，并综合使用多种检索工具和参考工具书完成检索课题。掌握获取原始文献的主要方法。4、信息利用的基本素质：掌握科学研究的基本方法，熟悉学位论文的要求；掌握一定的文献阅读、整理和分析研究的基本方法和技能，具备初步的科学研究方法与研究论文的写作能力等。,1.2 信息检索的概念和类型,26,1.2.1 信息检索的若干基本概念,信息检索 Information Retrieval信息存储与检索 Information Storage and Retrieval 信息存取 Information Access信息发现 Information Discovery 文献检索 Document Retrieval事实检索 Fact Retrieval数据检索 Data Retrieval 文本检索 数值检索声频与视频检索,27,1.2.2 信息检索的概念,知识的有序化识别和查找的过程。1、信息检索是信息获取的一种主要方式。2、信息检索萌芽于图书馆的参考工作。3、信息检索是人类信息活动的高层次，包括存与取两个环节。4、信息检索的本质是一种通讯。5、信息检索是一个发展中的概念。信息检索“就是最终用户借助信息源(或知识源)、推理机，通过人-机、机-机或人-人等系统之间的交互联作，以期达到启迪的认知结构动态的建构过程”。,28,信息检索的定义,广义的信息检索:是指将信息按一定的方式组织和存储起来,并根据信息用户的需要找出有关信息的过程和技术。全称为“信息存储与检索”。狭义的信息检索:指该过程的后半部分,即从信息集合中找出所需要的信息的过程,相当于人们通常所说的信息查寻。,29,Calvin N.Mooers,19191994,穆尔斯(Calvin N.Mooers,19191994)在1948年提出此术语时，把它定义为一种“延时性通讯形式”。其特点是：发信者在某一时刻发出信息，而接收者可以在晚一些时刻才收到该信息；发信者必须发出一切可能的信息，而接受者必须有某种检索装置以便从大量发送的信息中筛选出适合自己需要的信息。Mooers coined the terms information retrieval and descriptors in his MIT Masters thesis in 1948.He then went on to develop the Zatocoding system of superimposed random coding.Mooers first developed the TRAC programming language between 1959-1964.Mooers was an early advocate of the use of intellectual property law,including copyright and patents,to protect computer programming languages.,30,、信息检索的类型,1、按照存贮与检索的对象进行划分2、按照存储的载体和查找的技术手段进行划分3、按照存贮文献的时间进行的划分4、按照检索系统的结构进行的划分,31,1、按照存贮与检索的对象进行划分,1.1 Document retrieval：以文献为检索对象的信息检索，是指将文献按一定的方式存贮起来，然后根据需要从中查出有关课题或主题文献的过程。书目检索：以文献线索为检索对象。换言之，检索系统存贮的是书目、专题书目、索引和文摘等二次文献。全文检索：以文献所含的全部信息作为检索内容，即检索系统存贮的是整篇文章或整部图书。1.2 Data retrieval：以具有数量性质并以数值形式表示的数据为检索内容的信息检索，或称数值检索。1.3 Fact retrieval：以文献中抽取的事项为检索内容的信息检索，或称“事项检索”。,32,2、按照存储的载体和查找的技术手段进行划分,2.1 Manual retrieval：用人工方式查找所需信息的检索方式。2.2 Mechanical retrieval：利用某种机械装置来处理和查找文献的检索方式。穿孔卡片检索：Punch card是一种由薄纸板制成的、用孔洞位置表示信息，通过穿孔或轧口方式记录和存储信息的方形卡片。缩微品检索：把检索标识变成黑白点矩阵或条形码，存储在缩微胶片或胶卷上，利用光电效应，通过检索机查找。2.3 Computer-based retrieval,33,2.3 Computer-based retrieval,计算机检索是指把信息及其检索标识转换成电子计算机可以阅读的二进制编码，存储在磁性载体上，由计算机根据程序进行查找和输出。脱 机 检 索：成批处理检索提问的计算机检索方式。联 机 检 索：检索者通过检索终端和通信线路，直接查询检索系统数据库的机检方式。1964年，美国国家医学图书馆开始MEDLARS联机情报检索系统商品服务。光 盘 检 索：以光盘数据库为基础的一种独立的计算机检索，包括单机光盘检索和光盘网络检索两种类型。1983年首张高密度只读光盘存储器诞生；1984年美国、日本和欧洲开始利用CD-ROM存贮科技文献。网络检索：利用E-mail、FTP、Telnet、Archie、WAIS、Gopher、Veronica、WWW等检索工具，在Internet等网络上进行信息存取的行为。,34,3、按照存贮文献的时间进行的划分,3.1 Selective Dissemination of Information：它是预先把用户需要的有关文献存贮在计算机的存贮器中，定期按用户提问要求从存贮器中检索出用户所需要的最新文献，发给用户，使用户能定期得到所需要的文献信息。（定题服务）3.2 Retrospective Search：它是根据用户提出的课题，提供某一时间以前文献的检索方式。（回溯检索）,35,4、按照检索系统的结构进行的划分,4、1 Serial File Retrieval：它是以每篇文献为单位，按照文献号(如文摘号)的大小依次存贮在存贮介质上，构成顺排文档。检索时，也是按文献号的顺序依次检索。4、2 Inverted File Retrieval：它是将顺排文档再按主题词、分类号、文献名称、作者等检索途径编排成一个索引系统，这个索引系统称之为倒排文档。检索时，先查倒排文档，然后再从顺排文档中抽出文献内容。,36,讨论题,Topic 你了解哪些信息需求和信息系统？Topic 你在学习方面的信息需求的分布状况(按降序或升序排列)？Topic 你查寻信息的基本途径有哪些？,37,Topic 你在学习方面的信息需求的分布状况？,类型上：教科书、专著、工具书、研究报告、专利文献等；内容上：专业文献、课外读物（文学、管理、经济、政治等）等；地域上：本单位、外单位、外地等；语种上：中文、外文、少数民族文字等。,38,Topic 你查寻信息的基本途径有哪些？,检索即是一种交流，它可以是内向的，也可以是外向的。,2、同行同事,3、中介,4、技术,5、已记载的知识,1、生存环境,39,附录：我国企业人员获取信息的方式,40,Chap1思考题与课题,思考题：1、如何理解信息的概念、基本特征和主要类型？2、说明信息、情报、知识和文献之间的相互关系。3、信息社会有哪些基本特征？4、如果理解信息检索的概念和基本原理？5、谈谈信息检索教学的主要内容和重要意义。6、什么是信息素质？如何提高个体和整个社会的信息素质？7、在信息检索中，如果认识和解决信息污染的问题？8、谈谈信息检索发展的主要阶段及其内容。9、分析现代社会用户信息需求的基本特征及其实现方式。10、如何理解信息检索的基本类型及其特征。课题：山东师范大学本科一年级学生信息需求状况调查报告,41,1.3 信息检索的研究对象,1.3.1 主要研究问题 信息检索理论：例如 检索语言、检索模型、标引理论、相关性理论、知识表示理论等；信息检索工具/系统：包括系统的结构、功能、设计开发、管理运营、应用评价等；信息资源及其收集、加工 检索技术与方法 用户研究（检索需求、查询行为等）其他,42,1.3.2 相关学科领域 计算机科学（Computer Science）数学（Mathematics）语言学（Linguistics）认知科学（Cognitive Science）,43,1.4 信息检索的发展历史,44,1、文献信息检索阶段（前两千年1954）。公元前两千年，类似文摘的东西首先出现在封装美索不达米亚人用楔形文字写成的文献的陶制封套上。2、脱机信息检索阶段（19541964）。1954年，美国海军军械实验站图书馆研制出计算机信息检索试验系统。3、联机信息检索阶段（19641972）。1964年，美国医学图书馆开始了MEDLARS联机信息检索系统商业化服务，使计算机信息检索进入了新的历史发展阶段。4、网络信息检索阶段（1972目前）。1972年，MEDLINE率先加入TYMNET通信网，然后又加入TELENET通信网。随后，DIALOG、ORBIT等系统也相继进入网络，从而使信息检索进入到网络检索阶段。5、光盘信息检索阶段（1985目前）。1985年，第一张商品化的CD-ROM数据库Bibliofile，即美国会图书馆的MARC问世，标志着光盘信息检索异军突起，并大有与网络信息检索平分秋色之势。,45,1.4 信息检索的发展历史,1.4.1 手工检索阶段 以印刷型文献为主要检索对象 初创时期 成熟稳定时期（1830-1940s）全面发展时期（1940S-1970s）1.4.2 计算机化检索阶段 脱机批处理检索时期 Off-line Batch Processing（1954-1964）联机实时检索时期 On-line Real Time（1965-1975）联机网络化与多元化检索时期（1976-1990）Internet网络化检索时期（1990-至今）,46,脱机批处理检索时期,-输入计算机的信息（文献的题录、文摘等）几乎全部存储在磁 带上，检索提问穿成纸带或卡片，检索结果不能立即获得，必 须等待成批或定期检索处理。计算机技术背景 硬件方面 软件方面 主要事件和系统 NASA系统 MEDLARS系统 KWIC索引,47,联机实时检索时期,-信息中心的主机借助于电话线与远距离终端相连，形成联机实 时检索系统。用户可在检索终端进行人机对话或检索。计算机技术背景 集成电路时代 分时处理技术 磁盘与磁盘机的应用 主要事件与系统 DIALOG系统 ORBIT系统 BRS系统 ESA/IRS系统,48,联机网络化与多元化检索时期,-联机实时检索系统利用世界上主要的数据通讯网，发展成为国 际性的联机检索系统，联机网络和检索服务市场从北美扩展到 欧亚大陆和拉美地区。PC机的出现，光盘的应用，更使得联机 检索服务行业竞争加剧，呈现出多元化发展态势。计算机技术背景 大规模集成电路和超大规模集成电路时代 微机作为智能终端出现（1981）数据库技术的发展 现代通讯技术的发展 光盘技术及其应用（1985）,49,联机网络化与多元化检索时期,主要事件和系统 数据通讯网的商用 TYMNET 1977 DATAPAC 1976（加）TELENET 1975 EPSS 1977（英）EURONET 1980 TRANSPAC 1978（法）家庭化检索 DIALOG系统的Knowledge Index（1982）BRS系统的After Dark（1982）光盘检索（1985）套录论争（Offloading/Downloading）联机系统购并事件,50,Internet网络化检索时期（1990-至今）,-Internet技术的发展，特别是WWW技术的成功应用，使信息检索由原来的集中式网络时期进入到分布式网络发展新时期。当前信息检索领域的前沿问题 超文本/超媒体技术的应用 多媒体数据库检索技术 基于内容检索（CBR-Content-Based Retrieval）自然语言处理（NLP-Natural Language Processing）网络信息的组织与检索 智能检索研究,51,传统的联机网络检索与Internet网络检索比较,表1-2,52,信息检索需求,决策部门科研人员(自然科技;人文社科)企业个人,53,信息检索需求的类型,1 已知文献需求2 主题信息需求查新查准查全,54,1.6 小结,信息检索=大海捞针 Information Retrieval=“Finding a needle in a haystack”信息检索发展阶段划分-手工作业 计算机化 网络化 智能化 认知化,