Chapter 7. 空间数据仓库与数据挖掘.ppt
《Chapter 7. 空间数据仓库与数据挖掘.ppt》由会员分享,可在线阅读,更多相关《Chapter 7. 空间数据仓库与数据挖掘.ppt(58页珍藏版)》请在三一办公上搜索。
1、空间数据仓库和数据挖掘,Spatial data warehouse and data Mining,空间数据仓库 空间数据挖掘 应用举例,主要内容:,目 的:,从一种更广阔的视角来观察空间数据仓库和空间数据挖掘,而不是某种具体细节去认识这个问题。,第一讲 总 论,1.关于空间数据仓库,1.1 为什么要有空间数据仓库,面对空间数据堆积越来越庞大的环境,各级管理者和指挥人员需要从大量复杂的空间数据中获取各自权限内的决策信息,从而作出正确有效的判断和决策。从各级决策者的角度讲,空间数据处理的重点应该从传统的操作型扩展到空间数据的联机分析(OLAP)处理或分析型(信息型)。无数分散的不同数据库存在着
2、数据格式、数据语义、数据编码、空间参照系统、数据处理方式、数据质量等方面的异构性,面对如此复杂的海量空间数据的频繁交互过程,各级决策者从复杂的数据库中提取的数据必须具有集成和关联机制。结论:空间数据仓库就是针对解决上述问题所产生的一种技术方案,空间数据仓库的历史是伴随着空间数据库的发展过程开始的。,On-Line Analytical Processing,简称OLAP,1.关于空间数据仓库,空间数据模型与数据结构层次、网状、关系数据库系统数据建模工具:实体关系模型空间数据索引技术空间数据查询语言SQL事务管理数据恢复与并发控制联机事务处理OLTP,空间数据库技术的变化,20世纪60年代中,图
3、形、图象模式识别矢量数据采集,空间数据文件空间数据库系统(空间数据库管理系统),20世纪70年代,高级数据库系统,基于web的空间数据库系统,高级数据模型扩充关系模型、面向对象,对象关系,面向用户,空间数据分库和数据挖掘(空间属性 一体化数据库系统),第一代综合信息系统,90年代到现在,2000年以后,20世纪90年代到现在,20世纪80年代到现在,空间数据库和联机处理OLAP空间数据挖掘SDM和知识发现 KDD,基于XML的数据系统,Knowledge Discovery in Database,1.关于空间数据仓库,1.2 什么是空间数据仓库,数据仓库的创始人WHInmon曾经给数据仓库(
4、DW)下过一个定义。空间数据仓库是数据仓库向空间维的扩展,它是一个支持决策过程的、面向主题的、集成的、稳定的、不同时间的空间数据的集合。(1)支持决策过程 SDW的根本是服务于决策支持的,是空间决策支持系统(SDSS)的核心。(Spatial Decision-making Support System)(2)面向主题的 面向用户解决的问题,主题是数据归类的标准,每个主题对应一个客观分析的领域,即用户。,1.关于空间数据仓库,1.2 什么是空间数据仓库,(3)集成的 具有关联机制,可为辅助决策集成多个不同部门不同系统的大量数据异构空间。(4)稳定性 进入空间数据仓库的数据是不能或极少更新的。(
5、5)不同时间的 空间数据仓库内包含了大量历史数据,时限为510年,主要用于进行时间趋势分析。结论:空间数据仓库是一个多种异构数据源在单个站点以统一的模式组织存储、它的根本是服务于决策支持的,是空间决策支持系统(SDSS)的核心。,1.关于空间数据仓库,1.3 空间数据仓库与空间数据库,1.关于空间数据仓库,1.4 空间数据仓库的体系结构,1.关于空间数据仓库,1.5 空间数据仓库的关键技术和研究内容,(1)支持空间信息的空间数据仓库模型的研究 空间数据仓库的数据模型是一般数据仓库的数据模型在空间域的有效扩充,要针对空间信息的特点,对星型模型和雪花模型进行扩展。与一般数据仓库模型相比,空间数据仓
6、库要管理复杂的空间数据类型,其维和度量中不仅包括简单数据类型的数据,而且包含复杂的空间对象。由于空间对象占用的存储空间大,其操作也很复杂,因此需要扩充维和度量的定义,如研究空间数据的立方体模型,以便更有效地处理这样的维和度量。(2)面向海量空间信息的数据存储策略 空间数据仓库包含海量的空间信息,支持海量空间信息的高效存储是空间数据仓库的需求,也是空间数据仓库的重要特征。空间信息的计算耗费的资源很多,研究空间信息的合理存储策略(如数据分片等),以便于计算和显示,是非常重要的。,1.关于空间数据仓库,1.5 空间数据仓库的关键技术和研究内容,(3)支持空间数据导航的元数据机制 空间数据仓库的元数据
7、是人们定义空间数据仓库模型、理解空间数据的意义的重要窗口,空间数据仓库的元数据必须支持对空间数据分析的导航。主要内容包括:空间数据仓库的描述信息、信息源描述信息、数据转换方法的描述信息,数据加载方法的描述信息、业务术语的定义、业务处理规则的描述信息等。,元数据标准,元数据操作工具,空间数据仓库,元数据,元数据库,GIS数据库,数据访问,GIS数据挖掘中元数据的工作模式,对元数据的要求及数据特点,1.关于空间数据仓库,1.5 空间数据仓库的关键技术和研究内容,(4)面向海量空间信息高效检索的空间索引机制 合理的空间数据索引机制是提高数据检索效率的有效途径。空间数据库的索引方法很多,主要有:Z序索
8、引、四叉树索引、KD树索引、R树索引、R+树索引等。由于空间数据仓库中的数据具有海量、极少更新、随时间变化(历史数据)等特点,其主要操作是数据的追加和检索,因此要针对空间数据仓库的特点设计更加合适的空间数据仓库索引机制,这是目前许多专家关注的问题。(5)多源异构空间数据的有效提取和集成 由于空间数据仓库中的数据,是根据决策者所要解决问题的主题或领域,从多源异构空间数据库中提取的,数据由操作型空间数据库环境导入空间数据仓库环境,而且空间数据仓库中的数据存在不同的细节级,因此如何有效地提取和集成这些数据就成了一个突出的问题。从深层次讲,这是空间数据仓库的数据结构问题。,1.关于空间数据仓库,1.5
9、 空间数据仓库的关键技术和研究内容,(6)空间数据仓库的联机分析处理OLAP技术 即共享多维信息的快速分析(Fast Analysis of shared Multidimensional information,简称FASMI)。目前常见的有基于多维数据库的MOLAP(Muti-elemention OLAP)、基于关系数据库的ROLAP(Relation OLAP)和混合的HOLAP(Hybrid OLAP)。,1.关于空间数据仓库,1.6 GIS中使用空间数据仓库的优势,(1)有望解决Open GIS在数据上不一致的问题,实现真正意义上的数据共享。(2)支持基于GIS的空间决策支持,成为
10、空间决策支持系统SDSS的核心。,1.7 国内外研究现状,Stanford大学的数据仓库WHIPS(WareHouse Information Project at Stanford);美国正在启动一个空间信息处理项目EOS(Earth Overview System),到2003年,对全球地面监测的精度将达到1米的分辨率,该项目对巩固美国在全球的竞争优势具有重要的作用。该项目的主要组成部分之一就是空间数据的联机分析与挖掘技术的研究;IBM的Almenden实验室、北美和德国的一些公司和科研机构的实验室在这个领域的研究中处于领先位置。,1.关于空间数据仓库,1.7 国内外研究现状,目前的空间数
11、据仓库原型系统主要有:A Microsoft TerraServer(由Jim Gray主持),GeoMiner(由加拿大Simon Fraser大学开发)等。在国内,国家“九五”科技重点攻关项目“空间信息共享和处理技术研究”专题项目已取得阶段成果,提出了空间信息共享系统设计方案。视觉与听觉信息处理国家重点实验室开放课题基金项目“空间数据联机分析与空间数据挖掘研究”,该项目重点对空间数据联机分析与空间数据挖掘及底层的空间数据仓库技术作基础理论研究。,2.关于空间数据挖掘,2.1 为什么要有空间数据挖掘,(1)由于近年来空间信息技术领域内对地观测技术,数据库技术、网络技术的飞速发展,以及观测台站
12、建设的普及和不断完善,包括资源、环境、灾害等在内的各种空间数据呈指数级数增长,已经出现所谓“数据丰富,信息贫乏”,或“数据丰富,知识贫乏”,有的人甚至认为目前存储在大型数据中的数据已经变成了“数据坟墓”。我们怎样将“数据坟墓”变成“知识金块”呢?,2.关于空间数据挖掘,2.1 为什么要有空间数据挖掘,(2)专门处理空间数据的GIS技术在近十几年来虽然得到广泛应用,空间数据的存储、查询、显示特别是分析功能有了较快发展,但这些分析仍多以图形操作为主,如缓冲区分析、叠置分析、邻近分析等,而隐藏在空间数据中的许多知识或有用信息的提取和发现方面的功能仍相对薄弱。我们怎样进一步解决这个问题呢?结论:空间数
13、据挖掘实质上是空间信息技术发展的必然结果。,2.关于空间数据挖掘,2.2 什么是空间数据挖掘,空间数据挖掘(Spatial Data Mining,SDM),是从空间数据集中识别或提取出有效的、新颖的、潜在有用的,最终可理解的模式的非平凡的过程。也有的认为是从空间数据仓库中发现知识。,2.关于空间数据挖掘,2.2 什么是空间数据挖掘,(1)有效的(性)指知识发现的模式对于新的数据仍保持有一定的可信度。(2)新颖的(性)指发现的模式是前所未有的。(3)潜在有用的(性)指发现的知识将有实际效用,如用于决策支持可提高军事、社会、经济效益。(4)最终可理解的(性)指发现的模式能被用户理解、目前主要体现
14、在模式的简洁性上。(5)非平凡的(性)过程分为多个阶段、涉及数据准备、模式搜索、知识评价,及反复修改求精,这个过程要有一定程度的智能性、自动化,如仅仅给出所有数据的总和就不能算作是知识发现过程。,2.关于空间数据挖掘,2.3 空间数据挖掘与知识发现的关系,有时,人们常常把DM和KDD(Knowledge Discovery in Databases)等同起来。一般说来,KDD侧重于目的和结果,多用于人工智能领域;而DM侧重于处理过程和方法,多用于数据库领域。也有人将两者结合起来使用,称为数据挖掘和知识发现(Data Mining and Knowledge Discovery,简称)技术。19
15、95年在加拿大召开的第一届知识发现和数据开采(也称数据挖掘)国际学术会议上,KDD被认为从数据中发现有用知识的整个过程,知识即意味着数据元素之间的关系和模式。数据开采被认为是KDD过程中的一个特定步骤,它是应用具体算法从数据中提取模式和知识。,2.关于空间数据挖掘,2.3 空间数据挖掘与知识发现的关系,2.关于空间数据挖掘,2.3 空间数据挖掘与知识发现的关系,一种观点,认为OLAP和数据挖掘是不交的。OLAP是数据汇总/聚集工具,它帮助简化数据分析;而数据挖掘自动发现隐藏在大量数据中的隐含模式和有趣知识。OLAP工具的目标是简化和支持交互数据分析,而数据挖掘的目标是尽可能自动处理,尽管允许用
16、户指导这一过程。另一种更广泛的观点可能被接受:数据挖掘包含数据描述和数据建模。由于OLAP系统可以提供数据仓库中数据的一般描述,OLAP的功能基本上是用户指挥的汇总和比较。这些尽管有限,但都是数据挖掘功能。同样根据这种观点,数据挖掘要比简单的OLAP操作宽得多,因为它不仅执行数据汇总和比较,而且执行关联,分类,预测,聚类,时间序列分析和其他数据分析任务。而且,数据挖掘不限于分析数据仓库中的数据。它可以分析现存的,比数据仓库提供的汇总数据粒度更细的数据。它也可以分析事务、文本的、空间的和多媒体数据,这些数据很难用现有的多维数据库技术建模。在这种意义下,数据挖掘涵盖的数据挖掘功能和处理的数据复杂性
17、要比OLAP大得多。,2.关于空间数据挖掘,2.4 空间数据挖掘与OLAP的关系,根据挖掘的数据库类型分类:根据数据库的数据模型,可以有关系、事务、面向对象、对象关系或SDW的空间数据挖掘系统SDMS。根据所处理的数据的特定类型,可以有空间的、时间序列的、文本的或多媒体数据的SDMA,或WWW数据挖掘系统。根据所挖掘的知识类型分类:即根据数据挖掘的功能,如特征化,区分,关联,分类聚类,孤立点分析和演变分析,偏差分析,类似性分析等分类。一个全面的数据挖掘系统应当提供多种和/或集成的数据挖掘功能。,2.关于空间数据挖掘,2.5 空间数据挖掘的分类,按照所挖掘的知识的粒度或抽象层分类:包括概化知识(
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- Chapter 7. 空间数据仓库与数据挖掘 空间 数据仓库 数据 挖掘
链接地址:https://www.31ppt.com/p-2432364.html