数据库技术新进展 (2).ppt

第12章 数据库技术新进展,12.1 新一代数据库技术的研究与发展12.2 数据模型的发展12.3 数据库技术与其他相关技术相结合12.4 面向应用领域数据库新技术,12.1 新一代数据库技术的研究与发展,数据库技术经过短短三十年，已从第一代的网状、层次数据库系统，第二代的关系数据库系统，发展到第三代以面向对象模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等等互相渗透，互相结合，成为当前数据库技术发展的主要特征。从八十年代以来，数据库技术在商业领域的巨大成功刺激了其它领域对数据库技术需求的迅速增长。另一方面在应用中提出的一些新的数据管理的需求也直接推动了数据库技术的研究与发展，尤其是面向对象数据库系统（Object Oriented Database System 简称OODBs）的研究与发展。,12.1 新一代数据库技术的研究与发展,一、新应用领域的需求新的数据库应用领域，如CAD/CAM、CIM、CASE、OIS(办公信息系统)、GIS(地理信息系统)、知识库系统、实时系统等，需要数据库的支持，而其所需的数据管理功能有相当一部分是传统的数据库系统所不能支持的。例如它们通常需要数据库系统支持以下功能：存储和处理复杂对象。这些对象不仅内部结构复杂，很难用普通的关系结构来表示，而且相互之间的联系也有复杂多样的语义。支持复杂的数据类型。包括抽象数据类型、半结构或无结构的超长数据、时间和版本数据等。还要具备支持用户自定义类型的可扩展能力。需要常驻内存的对象管理以及支持对大量对象的存取和计算。实现程序设计语言和数据库语言无缝地集成。支持长事务和嵌套事务的处理。,12.1 新一代数据库技术的研究与发展,二、传统数据库系统的局限性面向机器的语法数据模型传统数据库中采用的数据模型强调数据的高度结构化，是面向机器的语法数据模型。关系模型只有一个非常简单的结构性概念-关系，在传统应用中，数据对象具有同形结构，这样它们很容易映射到关系来表示；而工程对象拥有许多异形结构，一个复杂对象可能由许多具有不同结构的子对象组成。对这些复杂对象比较自然的（即对于用户来说是友好的）表示，就需要有比关系模型更复杂的抽象机制。在关系数据库系统中必须将在逻辑上是一个整体的复杂对象分解为好几个基本关系。在这种结构下内部数据库结构与外部对象不再是一一对应的。对许多操作来说，人们更希望把所操作的部分抽象为一个逻辑单位，而关系模型不支持这一点。于是人们必须从关系模式的片段中构造复杂对象，其结果常常是带有许多冗余数据的不自然的复杂查询。进一步讲，重构复杂对象还带来另一个问题，那就是，由连接构造的视图一般是不可更新的。,12.1 新一代数据库技术的研究与发展,二、传统数据库系统的局限性数据类型简单、固定传统的DBMS只能理解、存储和处理简单的数据类型。如整数、浮点数、字符串、日期、货币等。传统的RDBMS只支持某一固定的类型集，不能依据某一应用所需的特定数据类型来扩展其类型集。例如，不能定义包含三个实数分量的数据类型vector来表示三维向量。结构与行为分离从应用程序员角度来看，在某一应用领域内标识的对象应包含两个方面的内容：*结构表示*行为规格说明 前者可映射到数据库模式（带着前面所提到的缺陷），而后者在传统数据库系统中则完全失去了。传统数据库主要关心数据的独立性以及存取数据的效率，是语法数据库，语义表达差，难以抽象化地去模拟行为。例如，用户在CAD设计中用某些数据结构来表示的对象，对他们的操作（如成形、显示和组合等）就无法存放到数据库中。这样，对象的行为特征在传统数据库系统中最多只能由应用程序来表示。因此在传统数据模型中，结构与行为被完全分割开了。,12.1 新一代数据库技术的研究与发展,二、传统数据库系统的局限性阻抗失配在关系数据库系统中，数据操纵语言如SQL与通用程序设计语言之间的失配称为阻抗失配。这种不匹配表现在两个方面：一是编程模式不同，描述性的SQL语言与指令式的编程语言如C 语言不同；二是类型系统不匹配，编程语言不能直接表示诸如关系这样的数据库结构，在其界面就会丢失信息。进一步地，由于是两个类型系统，自动的类型检查也成了问题。被动响应传统数据库管理系统只能响应和重做用户要求它们做的事情，从这种意义上说，它们是被动的。而在实际应用中，往往要求一个系统能够管理它本身的状态，在发现异常情况时及时通知用户；能够主动响应某些操作或外部事件，自动采取规定的行动；应该能够在一些预定的（或动态计算的）时间间隔中自动执行某些操作。这就是说，要求系统更加主动、更加智能化，而传统的数据库系统显然不能适应这一要求。,12.1 新一代数据库技术的研究与发展,二、传统数据库系统的局限性存储、管理的对象有限传统的DBMS只存储和管理数据，缺乏知识管理和对象管理的能力，不具有演绎和推理的功能，因而无法满足MIS、DSS、OA和AI等领域中进行高层管理和决策的要求，从而限制了数据库技术的高级应用。事务处理能力较差传统数据库只能支持非嵌套事务。对长事务的响应较慢，而且在长事务发生故障时恢复也比较困难。,12.1 新一代数据库技术的研究与发展,三、新一代数据库技术的特点一方面立足于数据库已有的成果和技术，加以发展进化，有人称之为“进化论”的观点和方法。另一方面的努力是立足于新的应用需求和计算机未来的发展，研究全新的数据库系统，有人称之为“革新论”的观点和方法。可以说新一代数据库技术的研究，新一代数据库系统的发展呈现了百花齐放的局面。其特点是：面向对象的方法和技术对数据库发展的影响最为深远八十年代出现的面向对象的方法和技术对计算机各个领域，包括程序设计语言、软件工程、信息系统设计，以及计算机硬件设计等都产生了深远的影响，也给面临新挑战的数据库技术带来了机会和希望。数据库研究人员借鉴和吸收了面向对象的方法和技术，提出了面向对象数据模型(简称对象模型)。该模型克服了传统数据模型的局限性，为新一代数据库系统的探索带来了希望，促进了数据库技术在一个新的技术基础上继续发展。,12.1 新一代数据库技术的研究与发展,三、新一代数据库技术的特点数据库技术与多学科技术的有机结合数据库技术与多学科技术的有机结合是当前数据库技术发展的重要特征。计算机领域中其它新兴技术的发展对数据库技术产生了重大影响。传统的数据库技术和其它计算机技术的互相结合，建立和实现了一系列新型数据库系统，如分布式数据库系统、并行数据库系统、演绎数据库系统、知识库系统、多媒体数据库系统等等。它们共同构成了数据库系统大家族。面向应用领域的数据库技术的研究为了适应数据库应用多元化的要求，在传统数据库基础上，结合各个应用领域的特点，研究适合该应用领域的数据库技术，如数据仓库、工程数据库、统计数据库、科学数据库、空间数据库、地理数据库等，这是当前数据库技术发展的又一重要特征。研究和开发面向特定应用领域的数据库系统的基本方法是以传统数据库技术为基础，针对某一领域的数据对象的特点，建立特定的数据模型，它们有的是关系模型的扩展和 修改，有的是具有某些面向对象特征的数据模型。,12.1 新一代数据库技术的研究与发展,四、第三代数据库系统新一代数据库技术的研究和发展导致了众多不同于第一、二代数据库的系统诞生，构成了当今数据库系统的大家族。这些新的数据库系统无论它是基于扩展关系数据模型的、还是OO模型的；是分布式、客户/服务器或混合式体系结构的；是在SMP 还是在MPP并行机上运行的并行数据库系统；是用于某一领域(如工程、统计、GIS)的工程数据库、统计数据库、空间数据库，我们都可以广泛地称之为新一代数据库系统。经过多年的研究和讨论，对第三代数据库系统的基本特征已有了共识：,12.1 新一代数据库技术的研究与发展,四、第三代数据库系统第三代数据库系统应支持数据管理、对象管理和知识管理除提供传统的数据管理服务外，第三代数据库系统将支持更加丰富的对象结构和规则，应该集数据管理、对象管理和知识管理为一体。由此可以导出第三代数据库系统必须支持OO数据模型。第三代数据库系统必须保持或继承第二代数据库系统的技术即必须保持第二代数据库系统的非过程化数据存取方式和数据独立性。第三代数据库系统必需对其它系统开放数据库系统的开放性表现在：支持数据库语言标准；在网络上支持标准网络协议；系统具有良好的可移植性、可连接性、可扩展性和可互操作性等。,12.2 数据模型的发展,在讨论数据模型发展之前，我们首先回顾关于数据模型的概念和定义。物理层数据抽象的最低层，用来描述数据物理存储结构和存储方法。例如一个数据库中数据和索引是存放在不同的数据段上还是同一数据段中。数据的物理记录格式是变长的还是定长的，数据是压缩还是非压缩的，索引结构是B+树还是HASH结构等等。这一层的数据抽象称为物理数据模型，它不但由DBMS的设计决定，而且与操作系统、计算机硬件密切相关。物理数据结构一般都向用户隐蔽，用户不必了解其细节。逻辑层数据抽象的中间层，描述数据库数据整体的逻辑结构。这一层的数据抽象称为逻辑数据模型（简称数据模型）。它是用户通过数据库管理系统看到的现实世界，是数据的系统表示。因此它既要考虑用户容易理解，又要考虑便于DBMS实现。不同的DBMS提供不同的逻辑数据模型，传统的数据模型有层次、网状、关系模型，非传统的数据模型有面向对象数据模型（简称OO模型）。,12.2 数据模型的发展,概念层概念层次的数据模型称为概念数据模型，简称概念模型。概念模型离机器最远，从机器立场看是抽象级别的最高层。目的是按用户的观点来对世界建模，因此它应该是：语义表达能力强。能够方便、直接地表达各种语义。易于用户理解。概念模型是用户与数据库设计人员之间交流的语言。用户一般缺乏计算机知识，因此概念模型应当简单、清晰、易于用户理解。独立于任何DBMS 容易向DBMS所支持的逻辑数据模型转换。概念模型的例子有实体-联系模型（Entity-Relational Model 简称ER 模型）。,12.2 数据模型的发展,数据库的发展集中表现在数据模型的发展。从最初的层次、网状数据模型发展到关系数据模型,数据库技术产生了巨大的飞跃。关系模型的提出,是数据库发展史上具有划时代意义的重大事件。然而，进入八十年代，随着数据库应用领域对数据库需求的增多，传统的关系数据模型开始暴露出许多弱点。为了使数据库用户能够直接以他们对客观世界的认识方式来表达他们所要描述的世界，人们提出并发展了许多新的数据模型。这些尝试是沿着如下几个方向进行的:,12.2 数据模型的发展,对传统的关系模型(1NF)进行扩充引入了少数构造器,使它能表达比较复杂的数据类型，增强其结构建模能力。我们称这样的数据模型为复杂数据模型。按照它们进行扩充的侧重点，复杂数据模型可分为两种：一种是偏重于结构的扩充。首先出现的这类模型是嵌套关系模型(NF2)。它能表达“表中表”，并且表中的一个域可以是一个函数(称为虚域)。另一种是侧重于语义的扩充。它支持关系之间的继承,也支持在关系上定义函数和运算符。但关系的结构仍然是一张平面表。“表中表”只能通过关系上定义的函数来模拟。总的来说,在复杂数据模型和支持它们的数据库系统里,客观世界中的每一个实体都用一个元组和它的码(KEY)来表示。不支持太多的语义关联,不区分类和型。这种数据模型和数据库系统的主要缺点是不能保证客观世界中实体的确定性；实体的引用只能通过码和数据冗余来达到。其主要优点是支持这类模型的系统实现起来相对比较容易。,12.2 数据模型的发展,全新的数据构造器和数据处理原语提出全新的数据构造器和数据处理原语，以表达复杂的结构和丰富的语义。这类模型常常统称为语义数据模型。它们的特点是引入了丰富的语义关联(如ISA,ISP)。能更自然,更恰当地表达客观世界中实体间的联系。加上比较丰富的结构构造器(如TUPLE,LIST,SET等)，因此它们也具有很强的结构表达能力。也许是由于它们比较复杂,在程序设计语言和技术方面没有相应的支持,计算机硬件也没有发展到一定的程度，因此,它们都没有在数据库系统实现方面有重大的突破。至多被当做数据库设计中概念建模的一种工具(如E-R模型)。将上述语义数据模型和OO程序设计方法结合起来提出了面向对象的数据模型面向对象的数据模型吸收了面向对象程序设计方法学的核心概念和基本思想。一个面向对象数据模型是用面向对象观点来描述现实世界实体（对象）的逻辑组织、对象间限制、联系等的模型。一系列面向对象核心概念构成了面向对象数据模型的基础。,12.3 数据库技术与其他相关技术相结合,数据库技术与其它学科的内容相结合，是新一代数据库技术的一个显著特征，涌现出各种新型的数据库系统，例如：数据库技术与分布处理技术相结合，出现了分布式数据库系统；数据库技术与并行处理技术相结合，出现了并行数据库系统；数据库技术与人工智能相结合，出现了演绎数据库系统、知识库和主动数据库系统；数据库技术与多媒体处理技术相结合，出现了多媒体数据库系统；数据库技术与模糊技术相结合，出现了模糊数据库系统；等等。,12.3 数据库技术与其他相关技术相结合,一、分布式数据库系统随着地理上分散的用户对数据库共享的要求，结合计算机网络技术的发展，在传统的集中式数据库系统基础上产生和发展了分布式数据库系统。分布式数据库应具有以下特点：(1)数据的物理分布性数据库中的数据不是集中存储在一个场地的一台计算机上，而是分布的在不同场地的多台计算机上。它不同于通过计算机网络共享的集中式数据库系统。(2)数据的逻辑整体性数据库虽然在物理上是分布的，但这些数据并不是互不相关的，它们在逻辑上是相互联系的整体。它不同于通过计算机网络互连的多个独立的数据库系统。(3)数据的分布独立性（也称分布透明性）分布式数据库中除了数据的物理独立性和数据的逻辑独立性外，还有数据的分布独立性。即在用户看来，整个数据库仍然是一个集中的数据库，用户不必关心数据的分片，不必关心数据物理位置分布的细节，不必关心数据副本的一致性，分布的实现完全由分布式数据库管理系统来完成。,12.3 数据库技术与其他相关技术相结合,一、分布式数据库系统(4)场地自治和协调系统中的每个结点都具有独立性，能执行局部的应用请求；每个结点又是整个系统的一部分，可通过网络处理全局的应用请求。(5)数据的冗余及冗余透明性与集中式数据库不同，分布式数据库中应存在适当冗余以适合分布处理的特点，提高系统处理效率和可靠性。因此，数据复制技术是分布式数据库的重要技术。但分布式数据库中的这种数据冗余对用户是透明的，即用户不必知道冗余数据的存在，维护各副本的一致性也由系统来负责。,12.3 数据库技术与其他相关技术相结合,二、多媒体数据库媒体是信息的载体。多媒体是指多种媒体，如数字、正文、图形、图象和声音的有机集成，而不是简单的组合。其中数字、字符等称为格式化数据，文本、图形、图象、声音、视象等称为非格式化数据，非格式化数据具有大数据量、处理复杂等特点。多媒体数据库实现对格式化和非格式化的多媒体数据的存储、管理和查询，其主要特征有：能够表示多种媒体的数据。非格式化数据表示起来比较复杂，需要根据多媒体系统的特点来决定表示方法。如果感兴趣的是它的内部结构且主要是根据其内部特定成份来检索，则可把它按一定算法映射成包含它所有子部分的一张结构表，然后用格式化的表结构来表示它。如果感兴趣的是它本身的内容整体，要检索的也是它的整体，则可以用源数据文件来表示它，文件由文件名来标记和检索。,12.3 数据库技术与其他相关技术相结合,二、多媒体数据库(2)能够协调处理各种媒体数据。正确识别各种媒体数据之间在空间或时间上的关联。例如，关于乐器的多媒体数据包括乐器特性的描述，乐器的照片，利用该乐器演奏某段音乐的声音等，这些不同媒体数据之间存在着自然的关联，比如多媒体对象在表达时必须保证时间上的同步特性。(3)提供更强的适合非格式化数据查询的搜索功能。例如可以对Image等非格式化数据作整体和部分搜索。(4)多媒体数据库应提供特种事务处理与版本管理能力。,12.3 数据库技术与其他相关技术相结合,三、主动数据库主动数据库（Active Data Base）是相对于传统数据库的被动性而言的。许多实际的应用领域，如计算机集成制造系统、管理信息系统、办公室自动化系统中常常希望数据库系统在紧急情况下能根据数据库的当前状态，主动适时地做出反应，执行某些操作，向用户提供有关信息。主动数据库通常采用的方法是在传统数据库系统中嵌入ECA（即事件-条件-动作）规则，在某一事件发生时引发数据库管理系统去检测数据库当前状态，看是否满足设定的条件，若条件满足，便触发规定动作的执行。为了有效地支持ECA规则，主动数据库的研究主要集中于解决以下问题：,12.3 数据库技术与其他相关技术相结合,三、主动数据库主动数据库（Active Data Base）是相对于传统数据库的被动性而言的。许多实际的应用领域，如计算机集成制造系统、管理信息系统、办公室自动化系统中常常希望数据库系统在紧急情况下能根据数据库的当前状态，主动适时地做出反应，执行某些操作，向用户提供有关信息。主动数据库通常采用的方法是在传统数据库系统中嵌入ECA（即事件-条件-动作）规则，在某一事件发生时引发数据库管理系统去检测数据库当前状态，看是否满足设定的条件，若条件满足，便触发规定动作的执行。为了有效地支持ECA规则，主动数据库的研究主要集中于解决以下问题：,12.3 数据库技术与其他相关技术相结合,三、主动数据库主动数据库的数据模型和知识模型即如何扩充传统的数据库模型，使之适应于主动数据库的要求。执行模型即ECA规则的处理和执行方式，是对传统数据库系统事务模型的发展和扩充。条件检测是主动数据库系统实现的关键技术之一，由于条件的复杂性，如何高效地对条件求值是对提高系统效率有很大的影响。事务调度与传统数据库系统中的数据调度不同，它不仅要满足并发环境下的可串行化要求而且要满足对事务时间方面的要求。目前，对执行时间估计的代价模型是有待解决的难题。,12.3 数据库技术与其他相关技术相结合,三、主动数据库体系结构目前，主动数据库的体系结构大多是在传统数据库管理系统的基础上，扩充事务管理部件和对象管理部件以支持执行模型和知识模型，并增加事件侦测部件、条件检测部件和规则管理部件。系统效率系统效率是主动数据库研究中的一个重要问题，是设计各种算法和选择体系结构时应主要考虑的设计目标。,12.3 数据库技术与其他相关技术相结合,四、对象-关系数据库对象关系数据库系统兼有关系数据库和面向对象的数据库两方面的特征。即它除了具有原来关系数据库的种种特点外，还应该提供以下特点：允许用户扩充基本数据类型即允许用户根据应用需求自己定义数据类型、函数和操作符，而且一经定义，这些新的数据类型、函数和操作符将存放在数据库管理系统核心中，可供所有用户公用。(2)能够在SQL中支持复杂对象即由多种基本类型或用户定义的类型构成的对象。(3)能够支持子类对超类的各种特性的继承，支持数据继承和函数继承，支持多重继承，支持函数重载。(4)能够提供功能强大的通用规则系统，而且规则系统与其他的对象关系能力是集成为一体的。例如规则中的事件和动作可以是任意的语句，可以使用用户自定义的函数，规则能够被继承等等。,12.3 数据库技术与其他相关技术相结合,四、对象-关系数据库实现对象-关系数据库系统的方法主要有以下五类:从头开发对象关系DBMS。这种方法费时费力，不是很现实。在现有的关系型DBMS基础上进行扩展。扩展方法有二种：对关系型DBMS核心进行扩充，逐渐增加对象特性。这是一种比较安全的方法，新系统的性能往往也比较好。不修改现有的关系型DBMS核心，而是在现有关系型DBMS外面加上一个包装层，由包装层提供对象关系型应用编程接口，并负责将用户提交的对象关系型查询映象成关系型查询，送给内层的关系型DBMS处理。这种方法系统效率会因包装层的存在受到影响。,12.3 数据库技术与其他相关技术相结合,四、对象-关系数据库将现有的关系型DBMS与其他厂商的对象关系型DBMS连接在一起，使现有的关系型DBMS直接而迅速地具有了对象关系特征。连接方法主要有二种：关系型DBMS使用网关技术与其他厂商的对象关系型DBMS连接。但网关这一中介手段会使系统效率打折扣。将对象关系型引擎与关系型存储管理器结合起来。即以关系型DBMS作为系统的最底层，具有兼容的存储管理器的对象关系型系统作为上层。将现有的面向对象型DBMS与其他厂商的对象关系型DBMS连接在一起，使现有的面向对象型DBMS直接而迅速地具有了对象关系特征。连接方法是：将面向对象型DBMS引擎与持久语言系统结合起来。即以面向对象的DBMS做为系统的最底层，具有兼容的持久语言系统的对象关系型系统作为上层。扩充现有的面向对象的DBMS，使之成为对象关系型DBMS。,12.4 面向应用领域数据库新技术,数据库技术被应用到特定的领域中，出现了工程数据库，地理数据库，统计数据库、科学数据库、空间数据库等多种数据库，使数据库领域中新的技术内容层出不穷。一、数据仓库传统的数据库技术是以单一的数据资源为中心，进行各种操作型处理。操作型处理也叫事务处理，是指对数据库联机地日常操作，通常是对一个或一组记录的查询和修改，主要是为企业的特定应用服务的，人们关心的是响应时间，数据的安全性和完整性。分析型处理则用于管理人员的决策分析。例如：，和多维分析等，经常要访问大量的历史数据。于是，数据库由旧的操作型环境发展为一种新环境：体系化环境。体系化环境由操作型环境和分析型环境（数据仓库级，部门级，个人级）构成。数据仓库是体系化环境的核心，它是建立决策支持系统()的基础。,12.4 面向应用领域数据库新技术,一、数据仓库从数据库到数据仓库具体来说，有如下原因使得事务处理环境不适宜DSS应用：事务处理和分析处理的性能特性不同在事务处理环境中，用户的行为特点是数据的存取操作频率高而每次操作处理的时间短，因此，系统可以允许多个用户按分时方式使用系统资源，同时保持较短的响应时间，OLTP（联机事务处理）是这种环境下的典型应用。在分析处理环境中，某个DSS应用程序可能需要连续运行几个小时，从而消耗大量的系统资源。将具有如此不同处理性能的两种应用放在同一个环境中运行显然是不适当的。数据集成问题DSS需要集成的数据。全面而正确的数据是有效的分析和决策的首要前提，相关数据收集得越完整，得到的结果就越可靠。因此，DSS不仅需要整个企业内部各部门的相关数据，还需要企业外部、竞争对手等处的相关数据。,12.4 面向应用领域数据库新技术,一、数据仓库而事务处理的目的在于使业务处理自动化，一般只需要与本部门业务有关的当前数据，对整个企业范围内的集成应用考虑很少。当前绝大部分企业内数据的真正状况是分散而非集成的，这些数据不能成为一个统一的整体。对于需要集成数据的DSS应用来说，必须自己在应用程序中对这些纷杂的数据进行集成。可是，数据集成是一项十分繁杂的工作，都交给应用程序完成会大大增加程序员的负担。并且，如果每做一次分析，都要进行一次这样的集成，将会导致极低的处理效率。DSS对数据集成的迫切需要可能是数据仓库技术出现的最重要动因。(3)数据动态集成问题由于每次分析都进行数据集成的开销太大，一些应用仅在开始对所需的数据进行了集成，以后就一直以这部分集成的数据作为分析的基础，不再与数据源发生联系，我们称这种方式的集成为静态集成。,12.4 面向应用领域数据库新技术,一、数据仓库静态集成的最大缺点在于如果在数据集成后数据源中数据发生了改变，这些变化将不能反映给决策者，导致决策者使用的是过时的数据。对于决策者来说，虽然并不要求随时准确地探知系统内的任何数据变化，但也不希望他所分析的是几个月以前的情况。因此，集成数据必须以一定的周期（例如24小时）进行刷新，我们称其为动态集成。显然，事务处理系统不具备动态集成的能力。(4)历史数据问题事务处理一般只需要当前数据，在数据库中一般也只存储短期数据。但对于决策分析而言，历史数据是相当重要的，许多分析方法必须以大量的历史数据为依托。没有对历史数据的详细分析，是难以把握企业的发展趋势的。(5)数据的综合问题在事务处理系统中积累了大量的细节数据，一般而言，DSS并不对这些细节数据进行分析，在分析前，往往需要对细节数据进行不同程度的综合。而事务处理系统不具备这种综合能力，根据规范化理论，这种综合还往往因为是一种数据冗余而加以限制。,12.4 面向应用领域数据库新技术,一、数据仓库数据仓库的特点原始数据（操作型数据）与导出型数据（DSS数据）之间的区别。其中主要是：表1W.H.Inmon还给数据仓库作出了如下定义：数据仓库是面向主题的、集成的、稳定的、不同时间的数据集合，用以支持经营管理中的决策制订过程。面向主题、集成、稳定和随时间变化是数据仓库四个最主要的特征。数据仓库是面向主题的它是与传统数据库面向应用相对应的。主题是一个在较高层次将数据归类的标准，每一个主题基本对应一个宏观的分析领域。比如一个保险公司的数据仓库所组织的主题可能为：客户政策保险金索赔。而按应用来组织则可能是：汽车保险生命保险健康保险伤亡保险。我们可以看出，基于主题组织的数据被划分为各自独立的领域，每个领域有自己的逻辑内涵而不相交叉。而基于应用的数据组织则完全不同，它的数据只是为处理具体应用而组织在一起的。应用是客观世界既定的，它对于数据内容的划分未必适用于分析所需。,12.4 面向应用领域数据库新技术,一、数据仓库(2)数据仓库是集成的操作型数据与适合DSS分析的数据之间差别甚大。因此数据在进入数据仓库之前，必然要经过加工与集成。这一步实际是数据仓库建设中最关键、最复杂的一步。首先，要统一原始数据中所有矛盾之处，如字段的同名异义、异名同义，单位不统一，字长不一致等等。并且对将原始数据结构作一个从面向应用到面向主题的大转变。(3)数据仓库是稳定的它反映的是历史数据的内容，而不是处理联机数据。因而，数据经集成进入数据库后是极少或根本不更新的。(4)数据仓库是随时间变化的首先，数据仓库内的数据时限要远远长于操作环境中的数据时限。前者一般在5-10年，而后者只有60-90天。数据仓库保存数据时限较长是为了适应DSS进行趋势分析的要求。其次，操作环境包含当前数据，即在存取一刹那是正确有效的数据。而数据仓库中的数据都是历史数据。最后，数据仓库数据的码键都包含时间项，从而标明该数据的历史时期。,12.4 面向应用领域数据库新技术,一、数据仓库3.分析工具-数据仓库系统的重要组成部分有了数据就如同有了矿藏，而要从大量数据中获得决策所需的数据就如同开采矿藏一样，必须要有工具。(1)联机分析处理技术及工具短短的几年，技术发展迅速，产品越来越丰富。它们具有灵活的分析功能，直观的数据操作和可视化的分析结果表示等突出优点，从而使用户对基于大量数据的复杂分析变得轻松而高效。目前工具可分为两大类，一类是基于多维数据库的，一类是基于关系数据库的。两者相同之处是基本数据源仍是数据库和数据仓库，是基于关系数据模型的，向用户呈现的也都是多维数据视图。不同之处是前者把分析所需的数据从数据仓库中抽取出来物理地组织成多维数据库，后者则利用关系表来模拟多维数据，并不物理地生成多维数据库。,12.4 面向应用领域数据库新技术,一、数据仓库3.数据挖掘技术和工具数据挖掘(Data Mining，简称DM)是从大型数据库或数据仓库中发现并提取隐藏在内的信息的一种新技术。目的是帮助决策者寻找数据间潜在的关联，发现被忽略的要素，它们对预测趋势、决策行为也许是十分有用的信息。数据挖掘技术涉及数据库技术、人工智能技术、机器学习、统计分析等多种技术，它使系统跨入了一个新阶段。传统的系统通常是在某个假设的前提下通过数据查询和分析来验证或否定这个假设，而数据挖掘技术则能够自动分析数据，进行归纳性推理，从中发掘出潜在的模式；或产生联想，建立新的业务模型帮助决策者调整市场策略，找到正确的决策。4.基于数据库技术的解决方案技术的进步，不懈的努力使人们终于找到了基于数据库技术的的解决方案，这就是：的可行方案,12.4 面向应用领域数据库新技术,一、数据仓库数据仓库、和数据挖掘是作为三种独立的信息处理技术出现的。数据仓库用于数据的存储和组织，OLAP集中于数据的分析，数据挖掘则致力于知识的自动发现。它们都可以分别应用到信息系统的设计和实现中，以提高相应部分的处理能力。但是，由于这三种技术内在的联系性和互补性，将它们结合起来即是一种新的构架。这一构架以数据库中的大量数据为基础，系统由数据驱动。其特点是：(1）在底层的数据库中保存了大量的事务级细节数据。这些数据是整个DSS系统的数据来源。()数据仓库对底层数据库中的事务级数据进行集成、转换、综合，重新组织成面向全局的数据视图，为DSS提供数据存储和组织的基础。,12.4 面向应用领域数据库新技术,一、数据仓库()OLAP从数据仓库中的集成数据出发，构建面向分析的多维数据模型，再使用多维分析方法从多个不同的视角对多维数据进行分析、比较，分析活动从以前的方法驱动转向了数据驱动，分析方法和数据结构实现了分离。()数据挖掘以数据仓库和多维数据库中的大量数据为基础，自动地发现数据中的潜在模式，并以这些模式为基础自动地作出预测。数据挖掘表明知识就隐藏在日常积累下来的大量数据之中，仅靠复杂的算法和推理并不能发现知识，数据才是知识的真正源泉。数据挖掘为AI技术指出了一条新的发展道路。,12.4 面向应用领域数据库新技术,二、工程数据库(Engineering Data Base)工程数据库是一种能存储和管理各种工程图形，并能为工程设计提供各种服务的数据库。它适用于CAD/CAM、计算机集成制造(CIM)等通称为CAX的工程应用领域。工程数据库针对工程应用领域的需求，对工程对象进行处理，并提供相应的管理功能及良好的设计环境。工程数据库管理系统是用于支持工程数据库的数据库管理系统主要应具有以下功能:(1)支持复杂多样的工程数据的存储和集成管理；(2)支持复杂对象(如图形数据)的表示和处理；(3)支持变长结构数据实体的处理；(4)支持多种工程应用程序；(5)支持模式的动态修改和扩展；(6)支持设计过程中多个不同数据库版本的存储和管理；(7)支持工程长事务和嵌套事务的处理和恢复；在工程数据库的设计过程中，由于传统的数据模型难于满足CAX应用对数据模型的要求，需要运用当前数据库研究中的一些新的模型技术，如扩展的关系模型、语义模型、面向对象的数据模型。,12.4 面向应用领域数据库新技术,三、统计数据库(Statistical Data Base)统计数据是人类对现实社会各行各业、科技教育、国情国力的大量调查数据。采用数据库技术实现对统计数据的管理，对于充分发挥统计信息的作用具有决定性的意义。统计数据库是一种用来对统计数据进行存贮、统计（如求数据的平均值、最大值、最小值、总和等等）、分析的数据库系统。第一，多维性是统计数据的第一个特点，也是最基本的特点。其次，统计数据是在一定时间（年度、月度、季度）期末产生大量数据，故入库时总是定时的大批量加载。经过各种条件下的查询以及一定的加工处理，通常又要输出一系列结果报表。这就是统计数据的“大进大出”特点。第三，统计数据的时间属性是一个最基本的属性，任何统计量都离不开时间因素，而且经常需要研究时间序列值，所以统计数据又有时间向量性。第四，随着用户对所关心问题的观察角度不同，统计数据查询出来后常有转置的要求。,12.4 面向应用领域数据库新技术,四、空间数据库(Spacial Data Base)空间数据库，是以描述空间位置和点、线、面、体特征的拓扑结构的位置数据及描述这些特征的性能的属性数据为对象的数据库。其中的位置数据为空间数据，属性数据为非空间数据。空间数据是用于表示空间物体的位置、形状、大小和分布特征等信息的数据，用于描述所有二维、三维和多维分布的关于区域的信息，它不仅具有表示物体本身的空间位置及状态信息，还具有表示物体的空间关系的信息。非空间信息主要包含表示专题属性和质量描述数据，用于表示物体的本质特征，以区别地理实体，对地理物体进行语义定义。由于传统数据库在空间数据的表示、存储和管理上存在许多问题，从而形成了空间数据库这门多学科交叉的数据库研究领域。目前的空间数据库成果大多数以地理信息系统的形式出现，主要应用于环境和资源管理、土地利用、城市规划、森林保护、人口调查、交通、税收、商业网络等领域的管理与决策。空间数据库的目的是利用数据库技术实现空间数据的有效存储、管理和检索，为各种空间数据库用户实用。目前，空间数据库的研究主要集中于空间关系与数据结构的形式化定义；空间数据的表示与组织；空间数据查询语言；空间数据库管理系统。,