科学知识图谱方法及应用.ppt

第六 科学知识图谱方法及应用,课程考核：相关的课程论文，6月1号前交信息管理学院336办公室。包括学号、姓名、联系方式,引言,对学科（领域、主题）过去、现状、前沿、热点、趋势的把握可通过什么方法手段？,引言的重要性！,文献是记录有知识的一切载体文献是科学交流的主要途径与手段了解领域历史、现状热点、前沿趋势选题，寻求切入点和突破点寻求新的研究方法和有力的论证依据 避免重复劳动网络环境，大数据。,如果说我比别人看得更远些,那是因为我站在了巨人的肩膀上。,我不知道在别人看来，我是什么样的人；但在我自己看来，我不过就象是一个在海滨玩耍的小孩，为不时发现比寻常更为光滑的一块卵石或比寻常更为美丽的一片贝壳而沾沾自喜，而对于展现在我面前的浩瀚的真理的海洋，却全然没有发现 牛顿,目 录,知识可视化概述,知识图谱绘制方法,知识图谱绘制工具,CiteSpace简介与操作,知识图谱应用案例,知识,语言,文字,肢体,其它,图像,1.知识可视化概述,一图展春秋，一览无余；一图胜万言，一目了然 大连理工大学教授刘则渊,知识可视化实质,知识,可视化形式,图解,促进,传播创新,百闻不如一见、一图胜万言！纽约大学心理学专家吉米布洛诺（Jerome Bruner）在实验中发现，人们能记住10%听到的东西，30%读到的东西，但是却可以记住 80%看到的东西,1.知识可视化概述,1.知识可视化概述,科学计算可视化(Visualization in Scientific;Computing)、数据可视化(Data visualization)、信息可视化、知识可视化、知识域可视化。“Information Visualization”术语是由斯图尔特卡德、约克麦金利和乔治罗伯逊于1989年创造出来的；美藉华人陈超美1999年率先发表了该领域的第一部专著信息可视化，创办了国际期刊Information visualization。,1.知识可视化概述,知识可视化发展时间很短，正式起源于2004年，M.J.Eppler和R.A.Burkhard共同发表论文(knowledge Visualization-Towards a New Discipline and its Fields of Application)。Eppler认为：知识可视化主要研究视觉表征的使用，主要目的是改进两人或多人间知识的创造与转移；知识可视化是指能用来构建和传递复杂观点和内容的所有图形手段和方式。,1.知识可视化概述,1.知识可视化概述,此外，在科研写作中也需要绘制图表，呈现知识,关于“概念图”的概念图,15,主題,思考的主题,思维导图：用于放射性思考,16,阅读下面黑体的词汇，然后立刻闭上眼睛，持续30秒，思考它。水果,2.知识图谱概述基本概念,知识是一个内涵非常丰富的概念；知识广泛存在于社会各个领域。科学知识图谱广义上包括：生物的基因图谱、教育教学中的认知地图、探索太空的天体图、描绘地形的GIS、模拟人脑的神经网络图、各种金属图谱等。科学知识图谱是以科学知识为对象，显示学科的发展进程与结构关系的一种图形，具有“图”和“谱”的双重性质与特征。,2.知识图谱概述基本概念,2.知识图谱概述基本概念,较形象、定量、客观、真实地显示学科结构、热点、演化与趋势，是学科基础研究新视角。知识图谱可发现、描述、解释、预测和评价科学知识。对图书情报学科具有更重要意义，也有助于信息检索、信息分类与信息服务等。,耗时、费力、难以重复、较主观盲人摸象,2.知识图谱概述基本概念,2.知识图谱概述基本概念,上世纪50年代，加菲尔德创制SCI，并以编年体形式手工绘制引文网络图谱；随后“文献耦合”（Kessler，1963），“科学引文网络”（Price，1965），“同被引”（Small，1973）、“共词”（Callon，1983）、“引文可视化”（White，1998）相继提出基本原理是分析知识单元（科学文献、科学家、关键词等）的相似性及测度。采用不同的方法和技术绘制不同类型的图谱。,科学学,科学计量学,应用数学,计算机科学,信息科学,科学知识图谱,2.知识图谱概述发展历程,传统的科学图谱以简单的二维、三维图形（如：柱形图、线性图、点布图、扇形图、平面图等）表示科学统计结果,文献摘要或关键词纪录比例图,X论文增长趋势线型图,2.知识图谱概述发展历程,1987年，美国基金会发表研究报告科学计算中的可视，开始长期资助科学可视化（scientific visualization)研究,1987年，著名计量学家克雷奇默创立“三维构型图谱”three dimensional configuration map,之后出现“多维尺度图谱”multi-dimensional scaling map,20世纪20、30年代英国人类学研究提出“社会网络分析图谱”social networt analysis map,卡尔提出“自组织映射图谱”self-organizing map,实例：某学科期刊高频关键词共词网络2个知识群,实例：某学术群体知识图谱,2.知识图谱概述发展历程,PFNET算法根据经验性数据，对不同概念或实体间联系的相似性或差异程度做出评估，然后引用图论中的基本概念或原理生成特殊的网状模型,1990美国心理学家斯克沃斯兹恩巴克提出“寻径网络图谱”pathfinder network scaling map，PFNET,将数据以及数据间关系表达成一个图，图中节点表示数据，线表示数据间关系,运用较小生成树法及复杂连接删除算法，删除网络中大部分连接，保留最重要连接，最大限度简化网络,2.知识图谱概述发展历程,用克林伯格跳变算法和共生词分析法和图示技术，研制主要主题和复杂趋势的发现地图,印第安纳大学Ketan K Mane和泊尔纳提出“PNAS主题爆炸图谱”，用以发现主要主题和复杂趋势,网络中各节点代表高频词和爆炸词 节点大小代表该词达到最大爆炸水平 颜色代表词常用和达到最大爆炸水平的年代,2.知识图谱概述发展历程,利用地理信息系统的可视化信息，地理地图的自然组织框架，构建隐含大量信息的可视化主题地图,有维斯(J.Wise)等提出“信息地图”information landscape,应用案例：期刊文章的数量与资助基金间的动态关系图谱,2.知识图谱概述发展趋势,随计算机处理能力日益提高、文献数字化，知识图谱工具在模拟人类信息分析等方面，可帮助人类进行某些领域的判读、搜索、决策、预测,IN-SPIRE发现工具可整合交互式信息可视化与询问功能,利用专利分析工具形成的专利知识图谱,论文的最小生成树图谱,最小生成树导航图谱,3.科学知识图谱的绘制方法步骤,3.1样本数据获取,主要数据来源：Web of Science科学文献数据：(SCI)(SSCI)专利文献数据：德温特创新索引DII国际会议文献数据：(CPCI)另外还有Scopus，Science Direct，L国内数据库：CNKI、CSSCI、CSCD、万方等 网络数据源：Google Scholar、arXiv、CiteSeerX,3.2样本数据清洗,基于文献数据库进行知识可视化的质量、合理性和可靠性很大程度上依赖于所用数据的精确性和全面性，不准确或不全面的数据往往造成不精确甚至错误的结果。即使目前最权威、公认质量最高的WoS，也存在数据著录格式（如人名和地名的不统一）和遗漏的问题。改正字符错误，统一或增补分时段有代表性的抽取,3.3选择知识单元,知识单元是知识处理的基本单位：关键词、题名、作者、机构、刊名、分类号、学科等等。目前也扩展到摘要、参考文献和全文。多种结合。,3.4 构建知识单元关系,1、说明科学知识和情报内容的继承和利用2、标志科学的发展,耦合,文献共被引分析是计量文献之间关系的一种新方法。即2篇文献共同被1篇文献引用，这2篇文献就构成共引关系。共被引频率定义为这2篇文献一起被引用频次马沙科娃、斯莫尔（苏联、美国）,CR 2001,NY TIMES 1226,B2*AM PSYCH ASS,1994,DIAGN STAT MAN MENT*DEP HLTH HUMAN SE,1999,MENT HLTH REP SURG G*US BUR CENS,2000,STF3A DEP COMM BUR C BLAZER DG,1994,AM J PSYCHIAT,V151,P979 EATON L,2001,NY TIMES 1116,A1 FOTHERGILL A,1999,DISASTERS,V23,P156 FULLERTON CS,1999,AVIAT SPACE ENVIR MD,V70,P902 GINEXI EM,2000,AM J COMMUN PSYCHOL,V28,P495 GOENJIAN AK,2001,AM J PSYCHIAT,V158,P788 GREEN BL,1990,J APPL SOC PSYCHOL,V20,P1033 HANSON RF,1995,J CONSULT CLIN PSYCH,V63,P987 HARVEY AG,1999,J CONSULT CLIN PSYCH,V67,P985 KAWACHI I,2001,J URBAN HEALTH,V78,P458 KESSLER RC,1995,ARCH GEN PSYCHIAT,V52,P1048 KILPATRICK DG,1987,CRIME DELINQUENCY,V33,P479 MADAKASIRA S,1987,J NERV MENT DIS,V175,P286 MAZURE CM,2000,AM J PSYCHIAT,V157,P896 NORTH CS,1999,JAMA-J AM MED ASSOC,V282,P755 ORTEGA AN,2000,AM J PSYCHIAT,V157,P615 POLE N,2001,J NERV MENT DIS,V189,P442 RESNICK H,1999,J ANXIETY DISORD,V13,P359 RESNICK HS,1993,J CONSULT CLIN PSYCH,V61,P984 ROTHBAUM BO,1992,J TRAUMA STRESS,V5,P455 RUBONIS AV,1991,PSYCHOL BULL,V109,P384 RUEF AM,2000,CULTURAL DIVERSITY E,V6,P235 SHAH B,1997,SUDAAN USERS MANUAL SHALEV AY,1998,AM J PSYCHIAT,V155,P630 SHALEV AY,2000,J CLIN PSYCHIAT S5,V61,P33 SHERBOURNE CD,1991,SOC SCI MED,V32,P705 SHORE JH,1989,J NERV MENT DIS,V177,P681 TUCKER P,2000,J BEHAV HEALTH SER R,V27,P406,document co-citation,author co-citation,journal co-citation,ACA/DCA/JCA,3.5数据分析数据标准化,为便于可视化，对简单地频次计算的单元数据，标准化常常通过数据间的相似度测量。主要有两大类：一是集合论方法（Set-theoretic measures），包括Cosine、Pearson、Spearman、Inclusion 指数和Jaccard指数；二是概率论方法（Probabilistic measure），主要有合力指数（Association Strength）和概率亲和力指数（Probabilistic Afnity）,因子分析以较少几个因子描述许多指标或因素间关系，即把较密切的变量归在同一类，每类变量成为一个因子，以少量的因子反映原资料中大部分信息。主成成分分析其它聚类分析,多维尺度分析通过低维（2维）空间反映作者（文献）间的联系，利用平面距离来反映作者（文献）间的相似程度。在科学知识图谱中，聚集高相似性的作者（文献），形成科学共同体（学科前沿），用中间位置反映作者（文献）与其他作者（文献）的联系越多，说明学科位置核心程度,3.6数据分析简化分析,3.6数据分析简化分析,自组织映射图（SOM），模拟人的神经中枢网络，采用无导师学习的分类方法，能把任意输入信息变换到二维离散网格上，并尽可能地保持原知识的拓扑有序结构。,3.6数据分析简化分析,寻径网络图谱（PFNET），模拟人的记忆模型和联想式思维方式，建立知识单元间最有效连接的路径，经过较复杂的模型运算删除网络中大部分连接，只保留最重要的，目的是将复杂大型的网络进行最大程度的简化。聚类分析（Cluster）、潜在语义分析（Latent Semantic）、Force Directed Placement(FDP)、三角法（Triangulation）、最小生成树法和特征向量法（Eigenvector）等,3.7知识可视化,知识图谱需要将处理后的知识在人机界面中，进行有效、精确地展示。知识单元及其关系可以通过不同模拟来可视化展示，例如几何图、战略图、冲积图、主题河图、地形图、星团图、簸幅图等等。例如主题河图（Theme River）可视化中，用河流做隐喻来描述文献主题随时间的变化；主题的变化随着外部事件的时间线索而显示出来；主题河由术语的频次支流组成，支流的宽度依据术语在不同时间段上出现频次的不同而发生变化,2.8知识图谱解读,在知识图谱的解读过程中，常常需要对图谱进行相应操作，包括浏览、放大、缩小、过滤、查寻、关联和按需移动等。解读主要从以下几方面着手：网络分析、历时分析、空间分析、突变检测,社会网络分析,据今日美国2006年的报道，911以后，美国国家安全局从AT&T,Verizon,BellSouth等三家美国主要电信公司搜集电话记录，从中分析和查找潜在的恐怖分子网络。著名SNA应用和管理咨询专家Valdis Krebs根据大量公开数据，也绘制出了涉及911的恐怖分子关联网络,小世界现象（六度分隔理论）,这个星球上的每个人都不过是被其他六个人分割开来。这就是在我们与这个星球上的另外任何一个人之间的六度分离关系。美利坚合众国的总统、威尼斯的船夫这不仅仅对这些大人物成立，而且对任何人都成立：雨林中的土著人、火地岛的居民、爱斯基摩人，等等。一根六人藤蔓把我和这个世界上的所有人都绑在了一起理论指出：你和任何一个陌生人之间所间隔的人不会超过五个，也就是说，最多通过五个中间人你就能够认识任何一个陌生人,20世纪60年代，美国心理学家米尔格兰姆设计了一个连锁信件实验。米尔格兰姆把信随机发送给住在美国各城市的一部分居民，信中写有一个波士顿股票经纪人的名字，并要求每名收信人把这封信寄给自己认为是比较接近这名股票经纪人的朋友。这位朋友收到信后，再把信寄给他认为更接近这名股票经纪人的朋友。最终，大部分信件都寄到了这名股票经纪人手中，每封信平均经手62次到达。,小世界现象（六度分隔理论）,2023/6/23,社会网络分析方法中的基本术语在科学知识图谱中的释义,度数（Node Degree）,基本概念,分析角度,密度（Density）,捷径（Geodesics）,距离（Distance）,关联图（Connected Graph）,中心性（Centrality）,凝聚子群（Clusters）,核心-边缘（Core-periphery）,点度中心性（Degree）,中间中心性（Betweenness）,接近中心性（Closeness）,点入度（In-degree）,点出度（Out-degree）,局部中心度,对资源的控制程度,整体中心度不受他人控制的程度,K核（K-Core）,成分（Component）,整体网络分析,网络密度,复杂网络,4.科学知识图谱的绘制工具,专门工具、通用工具，国内工具和国外工具。,4.科学知识图谱的绘制工具,可视化展示工具的组合不同的可视化软件具有不同的特点且使用不同的算法去聚类和可视化结果。因此，把握不同软件的特点，根据研究目的对其进行合理的组配使用能够达到理想效果。基于流程的组合方式。基于文件格式的组合方式。基于软件模块的组合方式。,Bibexcel http:/www.umu.se/inforsk/Bibexcel/-a free-ware on-line developed by Olle PerssonSPSS 多元统计分析及可视化软件 Correlation analysis,PCA(factor analysis),MDS,cluster analysisWordsmith Tools 词频分析软件 Frequency analysis of words,应用的主要软件Software,改革开放30年情报学研究论文多产作者多层聚类分析结果,科学计量学主流研究领域知识图谱，1978-2004,Pajek Social network analysis UCINET Social network analysis 这些软件网上都有学习视频、教程等相关资源。,应用的主要软件Software社会网络分析软件、可视化软件,UCINET,最流行的社会网分析软件，其中包括一维与二维数据分析的NetDraw，同时集成了Pajek用于大型网络分析的免费应用软件程序。http:/,Pajek,Pajek(Program Analysis for Large Network),由卢布尔雅那大学的Vladimir Batagelj 和Andrej Mrvar于1997年发布，是基于Windows的免费社会科学软件，主要用于社会网络分析可视化。该软件可以提供非商业应用的免费下载，下载网址:http:/vlado.fmf.uni-lj.si/pub/networks/pajek/CreatPajek可以把excel格式的文件转换为Pajek格式的软件。,科学计量学合作网络知识图谱，1978-2004,19921998年度情报学共词分析结果,应用的主要软件Software多视角共引分析可视化软件,citespace-a free-ware on-line developed by Chaomei Chen1、通过引文网络分析，找出学科领域演化的关键路径2、找出学科领域演化的关键点文献（知识拐点）3、分析学科前沿热点4、探测学科知识基础,文献共引图谱,国际纳米研究领域的主要期刊分布图谱,物理期刊,化学期刊、纳米期刊、及其他,期刊共引图谱,作者共引图谱,作者合作网络图谱,2纳米粒子,1纳米薄膜、纳米晶体、纳米线、纳米结构、碳纳米管,4 纳米管吸附、纳米硅,6纳米棒阵列、氧化锌纳米线,3光谱分析、纳米金、纳米簇,5 纳米复合材料、纳米输运、纳米器件、纳米技术、纳米场效应晶体管,7碳纳米管场发射机理,8纳米传感器、蛋白质纳米技术,图9 国际纳米研究热点知识图谱,共词图谱,5CiteSpace简介与操作,Citespace是一款应用于科学文献中识别并显示科学发展新趋势和新动态的软件。,-a free-ware on-line developed by Chaomei Chen1、发现学科领域演化的关键路径、关键点文献（知识拐点）2、可视化学科前沿、热点和趋势3、可视化学科结构和流派4、可视化学科合作网络结合GoogleEarth生成地理网络合作图,由美国德雷克塞尔大学（费城）信息科学与技术学院（The College of Information Science and Technology,Drexel University）Chaomei Chen教授研究开发。,Chaomei Chen教授研究的Information Visualization CiteSpace是近几年来在全美信息分析中最具有特色和影响力的信息可视化软件。大连理工大学长江学者讲座教授。1983获南开大学理论数学学士，1991获牛津大学计算硕士，1995获利物浦大学计算机学博士。,Citespace的安装,是否安装JAVA,开机,进入网站：http:/cluster.cis.drexel.edu/cchen/citespace/OR 离线开启,下载JAVA并安装,否,是,Citespace的安装,Citespace的操作步骤,确定关键词和专业术语收集数据选择知识单元（例如提取研究前沿术语）时区分割阀值选择精简和合并显示可视检测验证关键点,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,运用尽可能广泛的专业术语来确定一个知识领域。这是为了确保接下来的分析能涵盖一个知识领域的全部内容。Data：WosExample：Cultural Heritage,目前citespace数据主要来源于web of science。,1、用步骤1确定的关键词wos上进行检索。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,1、用步骤1确定的关键词wos上进行检索。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,1、用步骤1确定的关键词wos上进行检索。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,1、用步骤1确定的关键词wos上进行检索。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,下载数据，包括题目、摘要和被引文献。每个文献记录代表一篇引文(citing article)，在每条记录中的参考文献被称为被引文献（Cited article),1、用步骤1确定的关键词wos上进行检索。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,1、用步骤1确定的关键词wos上进行检索。,Download_xx.txt格式,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,文件必须以Download开头,数据的导入,1,2,3,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,4,1,2,3,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,引文题目、摘要、系索词（descriptors,标引主题的单元词或词组）和标识符,名词性术语,突发词,提取研究前沿术语,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,C引文数量、CC共被引频次、CCV共被引系数三个层次设定阀值，其余的由线性内插值决定。,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,聚类显示和时间线显示,共被引文献和关键词混合网络,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,引文年环代表这篇文章的引文历史。引文年轮的颜色代表相应的引文时间。一个年轮的厚度与某个时间分区内引文数量成比例。节点中心旁的数字代表整个时间跨度内的被引次数,可视检测节点类型的分类,共引作者,共引机构,共引国别,共引时间,关键词,共引领域,共引文献（DCA）,共引作者(ACA),共引杂志(JCA),确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,共引文章的合并网络,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,共引文章的合并网络,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,经pathfinder裁剪的个体共引网的合并网络,修剪选项,关键路径和最小生成树算法,对各时间切片的个体共被引网络修剪或合并网络修剪,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,经pathfinder裁剪的个体共引网的合并网络,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,Timeline,确定主题词和专业术语,收集数据,提取研究前沿术语,时区分割,阀值选择,显示,可视检测,验证关键点,在citespace软件应用的基础文献中，软件作者认为，关键点的本质可以通过两条途径来确认：1、将关键点文章的作者视为该领域的专家，咨询；2、对关键点文章的引用和被引用的段落进行内容分析。,CiteSpace特点,Citespace相关功能演示,学习建议可看网上指南和教程可直接访问陈超美博客交流需要了解相关专业知识，包括文献计量、引文分析、社会网络分析等试着动手绘制,我特别建议你亲自动手，同你的朋友、同事一起来亲手绘制一张你自己领域的科学知识图谱。你或许会格外喜欢图谱生成的过程，你也许对解读生成的图谱所含意蕴更充满乐趣。你将高兴地看到这些图谱会如何改变你看世界的方式。陈超美科学知识图谱将改变你看世界的方式。美国著名信息可视化专家、中国长江学者讲座教授陈超美,虽然存在一定的主观性，但至少可以辅助决策，从另一角度增加对学科认识。知识“相机”。,6知识图谱应用实例,知识交流研究现状的可视化分析利用知识可视化软件（CiteSpace），对Web of Science（SCI，SSCI，A&HCI）中收录的19752010年988篇知识交流研究论文进行分析，分别分析相关文献的时间、地区、机构和期刊分布，主要研究领域以及学科代表人物与其经典作品，从而直观地揭示知识交流的研究现状；通过对关键词出现的频率和共现情况，确定知识交流研究热点；基于主题词变动趋势，描绘知识交流的研究前沿。,6.1数据来源与研究方法,数据检索策略是“标题=(knowledge communication)OR 标题=(scholarly communication)OR 标题=(scientific communication)；入库时间=所有年份；数据库=SCI-EXPANDED,SSCI,A&HCI”。检索的论文时间段为1975-2010年。以download*.txt为文件名、选择带参考文献的全著录格式下载，获得988条记录。选择知识可视化软件CiteSpace,6.2 结果研究论文年度分布,6.2 结果研究的学科分布,6.2 结果研究的机构分布,6.2 结果研究的国别分布,6.2 结果研究的作者分布,知识交流研究的高产作者,6.2 结果知识交流的主流研究领域,文献共被引网络图谱,6.2 结果知识交流研究的热点,关键词时间序列图谱,6.2 结果知识交流研究的热点,名词短语（Noun Phrases）结合文献共被引,6.2 结果知识交流研究的趋势分析,主题词探测。通过膨胀词探测(burst detection)技术,谢谢！,上述教案引用了部分网上资源，对原作者表示感谢！,