青大海威数据仓库全面解决方案.doc
青大海威数据仓库全面解决方案开发背景随着国内信息化建设的日益提高。各类客户的业务系统所积累的业务数据日趋膨大。企业的领导者随着市场竞争的加剧，非常希望能从纷繁的业务数据中提取综合反映企业、单位综合经营状况的信息，从而帮助决策。但企业业务系统的不规范，数据的不统一，历史数据的过于巨大以及反映信息的界面不够友好，都阻碍了决策支持系统的建设。数据仓库技术的日趋成熟，正好可以有效的解决上面的问题。但现在多数厂商提供的数据仓库解决方案已高昂的价格把大多都用户拒之门外，而且也给采购他们系统的客户带来更大的风险。微软MSSQLSERVER是全球性价比最好的数据仓库解决方案，同时也是全球布置最多的数据仓库解决方案。基于以上原因，青大海威公司基于微软SQLSERVER所提供的数据仓库框架结构，开发了更适合国内客户应用习惯的前端多维分析报表工具：HDCiAnlyzer和HDCiReport。2001年海威公司在MSSQL2000提供数据挖掘规范的基础上又开发了通用的数据挖掘平台软件：HDCMINing。该系统不仅集成了微软提供的两种算法，而且可以根据客户的实际情况选择其他算法插件。海威公司研发的全面的数据仓库解决方案，是一套统用的决策支持解决方案，可广泛的应用于政府、企业、交通、电信、金融等领域。方案详细介绍：青大海威公司的业务智能解决方案面向政府、制造、通信、金融等个行业提供解决方案。整个系统由三部分组成:第一部分是由用户数据源到业务智能中央数据库的ETL过程；第二部分是根据用户业务模型建立业务智能分析模型；第三部分是面向终端用户进行数据的发布和多维分析工作。整个业务智能解决方案除前端数据发布和多维分析工具采用青大海威公司自己开发的HDC3数据展示套件外，其他各部分均基于微软平台构建。主要使用的微软产品有：WINDOWS2000ADVANCEDSERVER，SQLSERVER2000，IIS等。如下页图所示：方案中，数据的ETL过程采用微软的DTS通过标准接口OLEDB或ODBC（针对不支持OLEDB的数据源，如：Sybase）定义ETL过程的数据源连接，通过DTS自带的抽取规则或使用T-SQL脚本语言定义数据抽取、清洗和转换方法，使用DTS提供的PACKAGE及工作流功能定义各PACKAGE的执行顺序，使用SQLSERVER中设置的定时任务对由DTS定义的任务包进行统一的管理和调度。业务智能系统中央数据库选用SQLSERVER2000，其具体产品的选择将视用户的现有数据量及数据增量情况确定，一般推荐用户使用SQLSERVERENTERPRISEEDITION（25USERS）。在中央数据库的实施过程中需要考虑数据量与效率、系统安全性与数据安全性、备份与还原策略等问题。这些问题的解决需要考虑使用SQLSERVER2000的分布式处理，WINDOWS2000的集群策略以及SQLSERVER2000的数据同步、数据定时备份和还原设置。业务智能解决方案的核心部分是分析模型的构建和管理，这部份我们采用的是SQLSERVER2000自带的OLAP服务器并使用AnalysisManager完成整个模型的构建，指标的设置、维度的设计、计算指标的定义（应用MDX）、模型分区设计、通过ADOMD和DSO进行模型操作应用设计，设置多维数据集存储模式、定义多维数据集的聚合策略以及多维数据集的处理、多维数据集的备份及还原等操作。业务智能系统的前端数据分析工具是整个系统的重要部分，通过这些工具用户可以轻松访问多维模型中的数据。这部分我们采用青大海威公司自己开发的HDC3数据展示套件。HDC3由三种产品组成：多维数据分析工具（iAnalyze）、报表工具（iReport）和挖掘工具（iDMine）组成。HDC3采用B/S结构，通过IIS和应用程序服务器（HDCAPPLICATIONSERVER）对远程数据集进行存取，而网络传输，则基于COM+技术（下一步将使用XML+WEBSERVICE）。多维数据分析工具和报表工具使用ADOMD接口对多维数据集（CUBE）进行数据访问，使用MDX语句向OLAPSERVER提交查询请求并获得结果集。挖掘工具则使用OLEDBFORDatamining接口与远程的挖掘服务器进行数据交换，采用XML进行数据传输并使用PMML对挖掘结果进行描述。系统主界面如下图所示：解决方案成功案例用户单位名称：青岛地税1.税收业务智能系统（开发时间2001年7月）· 功能：税源分析、申报分析、缴纳分析、发票分析、内部考核分析等· 硬件环境：o 业务系统数据库：Sybase13.5forUNIXo 中央数据库服务器：4*PIII700Mhz，1G，4*40GSCSIo OLAP服务器：2*PIII，1G，2*20GSCSI· 开发环境：SQLSERVER2000，VISUALBASIC2.海尔商流业务智能系统（开发时间2002年6月）· 功能：进销存分析、闭环控制分析、工贸分析等· 硬件环境：o 业务系统数据库：DB2forWindows,SQLSERVER2000,ORACLE8Io 中央数据库服务器：4*EXON,2G,4*80GSCSIo OLAP服务器：2*PIV1GHZ,2G,2*40GSCSI· 开发环境：VISUALBASIC,ASP,SQLSERVER2000效果与反馈本方案在客户原有业务系统的基础上为客户，特别是决策层提供了综合分析运营状况的信息。对决策者具有很大的帮助。青岛海关在计算机报上介绍经验时写道：今年5月，加工贸易多维分析模块和通关效率多维分析模块先后开发完成，围绕企业、商品和监管过程这三个重点，形成交互信息作业平台，在实现风险管理信息共享的基础上，为风险识别、评估和分类控制作业提供了信息支持。加工贸易多维分析应用于加工贸易趋势分析、加工贸易企业风险分析、加工贸易商品风险分析以及通关效率分析等，主要是从企业方面、商品方面、加工单耗方面以及海关监管等方面，对加工贸易企业及商品进行综合分析，其中涉及到备案数量、进口数量、出口数量、备案价值、进口价值、出口价值、单耗、合同数、补税额等二十几个分析指标。通过钻取和分析，确定重点商品、重点企业，为加强海关监管、控制通关以及制定各种业务规范提供了有力依据。完成通关效率多维分析模块，为各级决策者、通关效率监控分析人员提供了强大的在线分析功能，实现对总体效率及各业务环节效率的随时查询了解;能根据用户的需要形成各种报表、图形；可对报表进行任意排序；可将结果离线下载到本地数据库(如ACCESS)中供用户进一步分析使用。通过通关效率多维分析模块，可以将海关平均通关时间计算时由天缩小到秒，使进口计算误差缩小了30%，出口计算误差缩小了60%，从而大大消除了过大的误差给海关带来的不必要的负面影响。7月31日，青岛海关有关人员就风险管理辅助决策系统工作进展情况向总署领导做了专题汇报。李克农副署长听取汇报后对该工作给予了高度评价，认为该系统的开发应用，为全国海关的风险管理工作奠定了很好的基础，迈出了可贵的一步，并称赞青岛海关是“第一个吃螃蟹的人”。在此基础上，该系统的下一步发展，就需要全面推行风险管理制度，转变海关职能、加强管理、提高水平，最终设计实现“既严密又方便”目标的基础工程。同时要在建立风险管理工作机制，明确各级海关、各业务部门职责分工的基础上，尽快建立风险管理信息平台，为风险管理信息的共享、交换、反馈和处置提供科学实用的操作系统，并注意解决好有关信息的管理和安全问题。其他具体描述海威数据仓库前端多维分析报表工具及数据挖掘工具前期的研发费用大约为300万。投方市场后的价格基本是20万左右。客户在采用青大海威基于微软解决方案的数据仓库系统的软件投入一般不会超过50万，人力成本也非常低。并且对服务器也没有特殊的要求。
