数据库技术的应用与发展.ppt

《数据库技术的应用与发展.ppt》由会员分享，可在线阅读，更多相关《数据库技术的应用与发展.ppt（46页珍藏版）》请在三一办公上搜索。

1、第十二讲 数据库技术的应用与发展,本章要点,数据库技术的应用数据库技术的发展云存储技术及云数据库,12.1 数据库技术的应用,数据模型,面向对象模型,关系模型,层次网状模型,其它计算机技术,分布处理,并行处理,人工智能,多媒体,模糊技术,商业管理,计划统计,科学实验,决策支持,应用领域,数据仓库,分布式数据库,并行数据库,云技术,数据仓库的概念、特点与组成,数据仓库的概念数据仓库就是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，通常用于辅助决策支持（DDS）,操作数据

2、库系统与数据仓库区别,数据库用于事务处理数据库作为数据资源用于管理业务中的事务处理。它已经成为了成熟的信息基础设施。数据库中存放的数据基本上是保存当前数据，随着业务的变化随时在更新数据库中的数据。不同的管理业务需要建立不同的数据库。例如，银行中储蓄业务、信用卡业务分别要建立储蓄数据库和信用卡数据库。,数据仓库用于决策分析数据库用于事务处理，数据仓库用于决策分析数据库保持事务处理的当前状态，数据仓库既保存过去的数据又保存当前的数据数据仓库的数据是大量数据库的集成对数据库的操作比较明确，操作数据量少。对数据仓库操作不明确，操作数据量大,操作数据库系统和数据仓库的区别,联机事务处理（OLTP）联机事

3、务处理（On Line Transaction Processing，OLTP）是在网络环境下的事务处理工作，以快速的响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。OLTP应用要求多个查询并行，以便将每个查询分布到一个处理器上。,OLTP的特点在于事务处理量大，但事务处理内容比较简单且重复率高。OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的，至少是固定的。OLTP面对的是事务处理操作人员和低层管理人员,联机分析处理（OLAP）决策分析需要对多个关系数据库共同进行大量的综合计算才能得到结果。在1993年提出了多维数据库和多维分析的概念，即联机分

4、析处理（On Line Analytical Processing，OLAP）概念。关系数据库是二维数据（平面），多维数据库是空间立体数据。OLAP的基本思想是决策者从多方面和多角度以多维的形式来观察企业的状态和了解企业的变化。,OLTP vs.OLAP,数据仓库的数据模型,一个数据仓库建立在多维数据模型，多维数据模型把数据看成数据立方体的形式,果汁,可乐,牛奶,商品维,奶油,浴巾,香皂,北京,上海,长沙,1 2 3 4 5 6 7,城市维,日期维,有关多维数据模型的几个概念：维、维类别、维属性、度量、粒度及分割等 数据仓库语义中，一个n-D底层方体称为基本方体。最高层的0-D存放最高层的汇总

5、，称为顶点方体。所有的方体格组成了立方体关于数据综合级别与粒度的确定:一般把数据分成四个级别：早期细节级、当前细节级、轻度综合级、高度综合级一个数据立方体允许以多维对数据模型进行观察维表：例如产品的维表包含属性（产品名，品牌，类型），时间的维表包含属性（日，星期，月，季度，年）事实表：包含度量（如产品销售总量）以及每个相关维表的关键字,多维数据模型的物理实现,多维数据库（MDDB）,其数据是存储在大量的多维数组中，而不是关系表中,与之相对应的是多维联机分析处理（MOLAP）关系数据库是存储OLAP数据的另一种主要方式。与之对应的是关系联机分析处理（ROLAP）,数据仓库的数据挖掘,数据泛滥问题

6、：自动数据收集工具和成熟的数据库技术使得大量数据存储于数据库，数据仓库以及其他信息库我们数据丰富但信息贫乏解决办法：数据仓库和数据挖掘数据仓库和联机分析处理大型数据库中的有趣知识（规则和模式）,数据挖掘的概念数据挖掘(Data Mining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(Knowledge Discovery in Database,KDD),欺骗性检测和管理,入侵检测：,如何进行检测：1.历史数据2.对当前模式进行分类,常用方法：神经网络决策树支持向量机贝叶斯分

7、类时序分析.,12.2 数据库技术的发展,数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等互相渗透，互相结合，成为当前数据库技术发展的主要特征，涌现出各种新型的数据库系统,12.2.1 分布式数据库,分布式数据库：分布在不同物理结构上的独立数据库集合起来的系统，在逻辑上属于同一系统，但在物理结构上是分布式的同构系统(Homogeneous)：所有的站点都使用相同的数据库管理系统，它们之间相互熟悉并合作处理客户的需求异构系统(Heterogeneous)：不同的站点有不同的模式和不同的数据库管理系统。站点之间相互不熟悉，所以在事务处理过程中，它们仅仅提供有限的功能,分

8、布式数据库的优缺点优点：（1）灵活的体系结构（2）数据共享（3）可靠性高、可用性好（4）性能得到改善（5）可扩充性好（6）提高资源利用率,缺点：（1）并发控制困难（2）系统开销大（3）数据安全性和保密性较难处理,12.2.2 空间数据库,空间数据库特征：（1）空间特征：每个空间对象具有空间坐标。（2）非结构化特征：空间数据不满足结构化的要求，将一条记录表达成一个空间对象时，它的数据项有可能是变长的（3）空间关系的特征：空间数据中记录的拓扑信息表达了多种空间关系（4）海量数据特征：空间数据库是海量数据，其数据量相当大,12.2.3 主存数据库,主存数据库（Main Memory DataBase

9、，MDB），就是数据全部放在内存中的数据库，如 IBM 的 OBE（Office-By-Example）、System M、MARS 等数据库主存数据库的特点（1）备份与恢复：备份、恢复技术成为决定主存数据库性能的一个关键（2）并发控制：主存数据库中较为普遍的并发控制方法仍是二阶段封锁，但是锁定时间较短,（3）索引及数据组织：主存数据库设计了许多不同形式的索引结构，得以广泛应用的是 T 树（4）查询优化：优化的重点放在降低 CPU 处理代价上，以及减少主存占有量和数据复制量（5）应用程序接口：主存数据库可以提供更高效的应用程序接口，也可以保持与磁盘数据库一致的应用程序接口以获取兼容性,12.2

10、.4 多媒体数据库,多媒体数据库的特征能表示和处理多种媒体数据。能反映和管理各种媒体数据之间的空间或时间的关联。提供比传统数据库更强的适合非格式化数据查询的搜索功能。提供事务处理和版本管理功能,多媒体数据库的体系结构（1）组合型结构,集中统一型结构,C/S型结构,12.3 云存储技术及云数据库,云存储技术(1)云计算：云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)和网格计算(Grid Computing)的发展(2)云存储：是指通过集群应用、网格技术和分布式文件系统等功能，将网络中各种不同类型的存储设备通过应用软件集合起来协同

11、工作，共同对外提供数据存储和业务访问功能的一个系统,(3)云计算与云存储的关系：与云计算系统相比，云存储可以认为是配置了大容量存储空间的一个云计算系统。从架构模型来看，云存储系统比云计算系统多了一个存储层，在基础管理上也增加了许多与数据管理和数据安全有关的功能，两者在访问层和应用接口层则是完全相同的,云存储的结构模型,(1)存储层：是云存储最基础的部分，云存储中的存储设备往往数量庞大且分布于不同地域，彼此之间通过广域网、互联网或者光纤通道网络连接在一起(2)基础管理层：是云存储最核心的部分，通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作(3)应用接口层：是云存

12、储中最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务(4)访问层：云存储提供的访问类型和访问手段,云数据库(1)谷歌(Google)的云数据库系统(BigTable)BigTable使用结构化的文件来存储数据，不是一个关系型的数据库，不支持关联或类似于SQL的高级查询，具有的是多级映射的数据结构典型技术：运用了很多数据库实现的策略，如可扩展性和高性能不完全支持关系数据模型，动态控制数据部署和数据格式用户通过行名和列名检索数据，行名和列名可以是任意字符串用户可以定义结构化和半结构化的数据,BigTable 的数据模型BigTable是一个稀疏

13、的、分布式、常驻外存的多维排序映射表，依靠行关键字、列关键字和时间戳检索数据(row:string,column:string,timestamp:int64)-cell contents,Rows,行关键字是任意字符串对单行数据的读写操作都是原子集每行代表要存储的数据按行关键字的字母顺序排列数据表中的行区间是动态划分的，每个行区间称为表块（Tablet），是进行分布式处理和负载均衡的最小单位,Rows(cont.),用户可以高效读取短的连续行，并且只需要跟少数几台计算机进行通信通过将网页地址倒排可以保证同一域名下的行数据是连续排列的Example:,VS,Columns,列关键字采用以下语法结构:族名：限定词Column family构成了访问控制的基本单位创建列族后数据才能被存放在列族的某一关键字下一个表可以由任意数目的列用户可以使用它们进行查找,Timestamps,用于存储不同版本的数据用户的应用程序可以显示地指定时间戳列族支持两种时间戳的设置:“Return most recent K values”“Return all values in timestamp range(or all values)”,本章小结,数据库技术的应用数据库技术发展的主要特点主流数据库概念：分布式数据库、空间数据库、主存数据库、多媒体数据库云计算与云存储的关系典型的云数据库系统,