[工程科技]社会保险OLAP系统的设计与实现.doc
《[工程科技]社会保险OLAP系统的设计与实现.doc》由会员分享,可在线阅读,更多相关《[工程科技]社会保险OLAP系统的设计与实现.doc(99页珍藏版)》请在三一办公上搜索。
1、65摘 要某市社会保险部门已经拥有成熟的OLTP数据库系统,经过长期的业务处理和常规管理,他们积累了大量的业务数据。要充分利用这些积累起来的海量数据,从中获取可用于决策的有用信息,可行的办法是建立专门用于决策支持的数据仓库系统。本课题的任务就是在建立起来的数据仓库的基础上进行多维(OLAP)分析。我们在数据仓库中存储海量数据,并面向主题建立数据立方。在建立起来的两个数据立方的基础上,本系统将实现这些功能展示多维数据,高级查询所需的有用信息,生成用于决策的数据报表,生成用于决策的图形报表。本论文正文内容包括五大模块:引言,OLAP概述,OLAP开发工具概述,项目系统的设计,项目的技术实现。 引言
2、模块描述了数据仓库的市场现状、技术现状、项目背景、项目任务和论文写作安排。OLAP概述模块阐述了数据仓库的基本理论和多维分析的基本理论。OLAP开发工具概述模块介绍了基于SQL Server 2000的分析服务技术,MDX查询语言,ADO MD对象模型,DSO对象模型,OWC组件技术。项目系统的设计模块描述了本项目数据仓库体系结构,数据仓库模型,数据立方模型。项目的技术实现模块介绍了访问多维数据库的算法和VB代码,客户端应用程序的建立和使用。【关键词】 社会保险,数据仓库, 多维分析,OLAPAbstractThe social insurance department of one city
3、 has been equipped a very mature database system of OLTP. After transacting and managing the daily operations by using the OLTP for a long time, they have accumulated a great deal of the transacting data. In order to make good use of the mass data as well as to obtain the useful information which ca
4、n be used to support decisions, a feasible way is to establish a data warehouse system which can be wholly used to support decisions. The mission of this project is to do the OLAP analysis which base on the established data warehouse. We store the mass data in the data warehouse, and establish the d
5、ata cubes according to the tops. This system will achieve many functions on the basis of the two data cubes established. It can show the multi-dimension data. Users can query the useful information from it. It can generate the data reports and the charts which will be used to support the decisions.T
6、he text content of this dissertation includes 5 modulesthe preface, the summary of OLAP, the summary of tools used in developing OLAP, the designing of the system, the technical achieving of the project.The first module describes such content as the status quo of data warehouse in market field, the
7、status quo of data warehouse in Technology field, the background of the project, the mission of the project and the content arrangement of this dissertation. The second module describes the basal theories of data warehouse and OLAP. The third module describes the tools used in developing OLAP, inclu
8、ding the analysis technology which base on SQL Server 2000, query language of MDX, object model of ADO MD, and component technology of OWC. The fourth module describes system framework of the data warehouse established, the model of the data warehouse established, and the model of the data cubes est
9、ablished. The fifth module introduces the program arithmetic as well as its VB code, and the establishing as well as the using of the applications at the clients end.【Key words】 Social insurance, Data warehouse, multi-dimension analysis, OLAP目 录第1章引言71.1数据仓库现状概述71.1.1数据仓库市场现状71.1.2数据仓库技术现状71.2论文背景概述
10、91.2.1需求背景101.2.2论文任务101.3论文写作安排11第2章OLAP理论概述132.1数据仓库理论132.1.1什么是数据仓库132.1.2数据仓库系统的体系结构142.2多维分析(OLAP)理论162.2.1OLAP的12条准则172.2.2维的概念182.2.3OLAP的分析方法192.2.4OLAP的分类19第3章OLAP开发工具概述233.1SQL Server 2000 对OLAP开发的支持233.1.1SQL Server 2000 中Analysis Services的概述233.1.2SQL Server 2000 中Analysis Services的特点243
11、.1.3SQL Server 2000 决策支持系统263.1.4Analysis Services 客户端体系结构273.2MDX在多维数据库中的应用283.2.1MDX 简介283.2.2MDX 基本语法293.2.3MDX高级应用333.3ADO MD对数据仓库的访问383.3.1ADO和ADO MD383.3.2ADO MD的对象模型383.3.3DSO413.4OWC组件技术42第4章社会保险多维分析系统设计444.1系统架构444.2数据仓库模型454.3OLAP系统数据模型464.3.1OLAP系统共享维设计464.3.2OLAP系统数据立方设计47第5章社会保险多维分析系统技术
12、实现485.1Microsoft Visual Basic 实现多维数据查询485.1.1ADO MD对多维数据库的访问485.1.2DSO编程访问多维数据库495.1.3OWC技术编程使用535.2客户端应用程序的功能和使用545.2.1软件功能概述545.2.2浏览多维数据集595.2.3查询多维数据库60结论与展望63致 谢66参考文献68第1章 引言1.1 数据仓库现状概述1.1.1 数据仓库市场现状据调查,财富500强企业中已经有85%的企业建成或正在建立数据仓库。数据仓库与Internet一样,正在成为最快的IT增长点。1996年,全球企业在数据仓库上的投资达到16.8亿美元,并且
13、以每年19.1%的速度增长。IDC在1996年的一次对20世纪90年代前期进行的62个数据仓库项目的调查结果表明:进行数据仓库项目开发的公司平均在23年的时间内获得了平均为321%的投资回报率!数据仓库在中国市场的应用还处在起步阶段,市场前景非常广阔,研究价值非常高。1.1.2 数据仓库技术现状从计算机诞生后的几十年以来,随着计算机软硬件技术的飞速发展,数据库技术也得到了飞速的发展,特别是关系数据库的出现开创了数据库管理的一个新时代。此后几十年,关系数据库的应用一统天下。需要是发明之母。近年来,当联机事务处理(OLTP)系统应用到一定阶段后,用户发现,单靠拥有OLTP已经不足以获得市场竞争的优
14、势,他们需要对其自身业务的运作以及整个市场相关行业的情况进行分析,从而做出有利的决策。这种决策需要对大量的业务数据,包括历史业务数据进行分析后才能做出。这种基于业务数据的决策分析就是联机分析处理,即OLAP。传统的OLTP强调的是更新数据库,即向数据库中添加信息;OLAP强调的是从数据库中获取和利用信息。将大量的业务数据应用于分析和统计原本是一个简单和自然的想法。但在实际操作中,要获取到有用的信息却十分困难。原因如下:(1)、OLTP强调的是密集的数据更新处理性能和系统的可靠性,并不关心数据查询的方便与快捷。OLAP和OLTP对系统的要求不同,同一个数据库在理论上都难以做到两全。(2)、业务数
15、据往往存放于分散的异构环境中,不易统一查询访问,而且还有大量的历史数据处于脱机状态,形同虚设。(3)、业务数据的模式是针对OLTP系统而设计的,数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和查询。针对这一问题,人们设想专门为业务的统计和分析建立一个数据中心,它的数据来自OLTP系统、异构的外部数据源、脱机的历史业务数据等。这个数据中心是一个联机的系统,专门为分析统计和决策支持应用服务,通过它可以满足决策支持和联机分析应用所要求的一切。这个数据中心就是数据仓库(DW)。20世纪90年代以来,计算机技术,尤其是数据库技术的发展为DSS提供了技术支持。激烈的市场竞争促进了高层次决策人
16、员对DSS的实际需求。技术和市场的共同作用,促成了以DW为核心、以OLAP和DM(Data Mining)工具为手段建设DSS的可行方案。随着数据库技术的发展,DW需要以下数据库技术的支持。(1)、高性能数据库服务器DW的应用不同于传统DB的OLTP应用。传统DB的应用是操作型的,而DW的应用是分析型的。分析型应用涉及的数据量大,查询要求复杂,因此,它要求高性能的DBMS核心的支持,同时DBMS必须具有良好的查询优化机制。(2)、并行数据库技术DW中的数据量大,而且随着时间的延长,新的数据还会不断加入。DW中数据通常是GB甚至TB级的,即超大规模数据库(VLDB)。并行数据库技术是存储和管理V
17、LDB,并提供VLDB复杂查询处理的有效技术。(3)、数据库互操作技术DW中的数据大多来自企业或行业中已运行的OLTP数据库或外部数据源。这些数据库常常是异构的,甚至是文件系统中的数据。DW必须从这些异构数据源中定期抽取、转换和集成所需要的数据,并把它们存入DW中。因此,异构数据源之间的互访和互操作技术是必需的。近十年来,全球数据库厂商在数据仓库技术市场上展开了激烈的竞争,到了今天,数据仓库以及基于此技术的商业智能在技术上已经比较成熟,随着市场的需求,它将进一步走向更加成熟和完善。1.2 论文背景概述1.2.1 需求背景近十年来,信息技术已极大地提升了社保部门在业务处理和常规管理方面的能力,管
18、理和决策部门对信息系统也提出了更高一级的需求。随着我国社会保险制度改革的深入,“统帐结合”模式的完善和统一,覆盖面的逐步扩大和社会化管理程度的不断提高,我国社会保险工作已由“粗放”转向“精深”,管理复杂性和决策难度也日益提高。在预测决策方面,由于现阶段的社会保险政策研究和预测决策没有引入面向政策和制度层面的决策方法和分析工具,使其无法满足社会保险宏观决策的现实需求;在基金监控方面,现阶段的应用系统也只能在业务处理和常规管理方面发挥作用,无法防范在政策和制度方面的漏洞和缺陷,无法更好地利用这些几十年积累的各种数据,更不能有效发现那些在经验之外的规律和推测之外的模式。1.2.2 论文任务正是在社保
19、部门当前的这种急迫需求下,本课题希望从当前的海量数据中寻找潜在的规律和隐藏的知识。因此,本课题的任务是建立某市社会保险部门的决策支持系统,即数据仓库系统。这是一个大课题,课题组计划从2004年3月开始用一年半的时间来开发,分三个阶段行。第一阶段,用半年时间熟悉相关理论和掌握相关技术,建立简易的系统模型。第二阶段,用半年时间就系统模型和客户进行进一步沟通,确定更为明确的需求主题,扩充与完善数据仓库模型;第三阶段,用半年时间建立数据挖掘模型。本论文解决的是课题的第一阶段任务,即建立社保部门的数据仓库体系模型并进行多维分析,重点是多维分析。我们使用DTS技术向建立好的数据仓库模型导入原始数据,在这个
20、数据仓库的基础上,按照决策需求中有关社保基金收缴与拨付的主题,建立两个数据立方“在职人员基金收缴立方”和“离退人员基金拨付立方”。然后,通过OLAP工具对数据立方进行多维分析,包括多维数据浏览、多维数据查询与图形报表生成等。1.3 论文写作安排论文首先介绍了数据仓库技术的发展现状和课题的背景及任务,然后介绍课题涉及的理论和开发工具,最后阐述课题的开发过程和开发结果。论文写作结构安排如下:第1章 引言。首先介绍数据仓库技术的市场和技术现状,然后介绍课题的背景及任务,最后介绍论文写作安排。第2章 OLAP概述。首先介绍数据仓库的理论,包括基本概念及其体系结构;然后介绍多维分析(OLAP)的理论,包
21、括OLAP基本概念、分析方法和它的分类。第3章 OLAP开发工具概述。首先介绍了SQL Server 2000在数据仓库和分析服务上的应用,然后介绍了MDX语言在对多维数据库查询中的应用,还介绍了ADO MD对象模型对多维数据库的访问,最后介绍了OWC组件技术。第4章 社会保险多维分析系统设计。首先介绍了该市社保部门数据仓库系统的系统架构,然后介绍了建立了的数据仓库模型,最后介绍了该市社保部门OLAP数据模型的设计过程。第5章 社会保险多维分析系统技术实现。首先介绍了在VB中访问和查询多维数据集的程序算法和部分VB代码,然后介绍了客户端应用程序的功能和详细的使用过程。最后是本论文的结论和展望。
22、首先介绍了本课题到目前为止所取得的工作成果,然后分析了在完成本课题工作任务的过程中遇到的问题,最后对课题在下一步的研究进程及其在未来投入使用后所取得的成果作了展望。第2章 OLAP理论概述2.1 数据仓库理论2.1.1 什么是数据仓库目前,数据仓库一词尚没有一个统一的定义,著名的数据仓库专家W.H.Inmon在其著作Building the Data Warehouse一书中给予如下描述:数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数
23、据集合,用于支持管理决策。对于数据仓库的概念我们可以从两个层次予以理解,首先,数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。根据数据仓库概念的含义,数据仓库拥有以下四个特点: 1、面向主题。操作型数据库的数据组织面向事务处理任务,各个业务系统之间各自分离,而数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,一个主题通常与多个操作型信息系统相关。2、集成的。面向事务处理的操作型数据
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 工程科技 工程 科技 社会保险 OLAP 系统 设计 实现
链接地址:https://www.31ppt.com/p-4534834.html