数据仓库解决方案概述.ppt
Sybase DW/Business Intelligence,Sybase中国有限公司,Sybase数据仓库解决方案,电信行业,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,“数据仓库是在企业管理和决策中面向主题的,集成的,与时间相关的和不可修改的数据集合”,Bill Inmon,数据仓库定义,OLTP系统,财务系统,业务系统,计费系统,网管系统,数据仓库是完全不同的数据库系统,操作(业务)系统特性,信息(分析)系统特性,DW/BI 在电信行业的应用-How?,立足于现有的OLTP系统当前数据和历史数据集中整合之后，构建一个庞大的数据仓库面向业务分析和决策层运用多维分析方法，充分挖掘数据中的信息应用DW/BI的三步曲,数据抽取,数据管理,数据分析,INFORMATION,信 息,数据仓库(Data Warehouse)是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题。,信 息,INFORMATION,DW/BI 在电信行业的应用-小结什么是数据仓库(Data Warehouse)？,决策支持应用,数据仓库的实际构造示意图,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,Sybase数据仓库相关产品的技术构成,Relational,Package,Legacy,Externalsource,DataCleanTool,Source Data,DataStaging,WareHouseAdmin.Tools,Enterprise DataWarehouse,Data Extraction,Transformationand load,Datamart,Datamart,Enterprise/Central DataWarehouse,RDBMSROLAP,RDBMS,RDBMS,Star Schema,ArchitectedDatamarts,CentralMetadata,Local Metadata,Local Metadata,Sybase数据仓库相关产品介绍,一个集成化的产品集,集成的主要产品,IntegrateEnterprise ConnectReplication ServerPowerMart,DesignWarehouse Architect,ManageSybase ASIQ,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,设计:成功的关键,数据库的设计对数据仓库系统的整体性能、装载和建立索引的时间以及数据量的增长等的影响超过任何其它方面。,数据仓库设计工具WarehouseArchitect,为数据仓库的设计提供三大功能：多维建模度量、维、属性事实表，维表维层次表，事实层次表设计向导聚合（Aggregation Wizard）分区（Partitioning Wizard）逆向工程数据源优化代码生成目标数据仓库引擎（IQ，RDBMS)OLAP分析环境,设计:WarehouseArchitect,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,数据抽取、转换、清洗、集成,挑战多个、多种异构数据源硬件，OS，RDBMS，文件数据不规范，需要做大量的清洗和整合转换规则复杂，繁多繁琐的日常性工作，占80%工作量数据质量保证数据增量抽取抽取工作过程化，自动化,数据抽取、转换、清洗、集成,成功的关键支持多个、多种异构数据源轻松方便地设计数据的清洗，转换和整合规则日常事务性工作自动化完成有完善的数据质量保证体系有完备的数据增量抽取直观，面向过程化设计；自动化的执行开放性，可扩展性，易于实施和维护,数据抽取、转换、清洗、集成,解决的方案手工编程实现使用工具设计和实施PowerMart/PowerCenter开发环境，一系列工具用于设计、执行和维护数据的抽取、转换和装载流程抽取转换引擎(服务器)，自动执行,集成:PowerMart,MappingDesigner,TransformationDeveloper,SybaseInformixOracleMicrosoftIBM/UDBODBCDB2SAPPeopleSoftVSAMFlat FilesWeb LogsXMLIBM MQ Gateways,SybaseInformixOracleMicrosoftODBCIBM/UDBSAP BWPeopleSoft EPMFlat FilesGateways,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,数据存储、管理,挑战数据规模查询性能装载速度易于管理存取访问,成功的关键快速，高效数据存储技术出色的查询性能-特殊的索引技术，并行查询可伸缩性-GB 到 TB 级易于管理-方便，灵活，GUI存取访问-数据随时可用,数据管理,解决的方案通用的关系数据库系统专门的数据仓库服务器Sybase IQ专门为数据仓库/数据集市设计的关系型数据库专门针对OLAP/DSS而优化的索引和查询处理技术,Adaptive Server IQ,数据存储：Adaptive Server IQ,无处不索引(Index EVERYWHERE)数据压缩(通常达到原始数据的 70-75%)垂直存储技术(Vertical Partitioning)专利的Bit Wise索引技术跨越Bitmap的限制多种索引类型：FP,LF,HNG,HG低级数的限制从100扩充到1000预连接的索引提供额外的显著提高性能手段(Join Index)支持任意设计模式星型、雪花、雪暴、星座模式普通关系模式支持任意加载方式文件、内部数据、外部数据库直接加载开放的接口,计算“NY”州A类商店的平均销售额,当表的记录数从几万条变为千万和上亿条时，传统RDBMS技术面对的问题:表扫描的性能极端低下冗余设计代价高昂、查询读取的无效字段过多低级数类型数据上索引的失效普通索引加载和空间代价，造成不能任意建造即席查询的SQL顺序对性能有显著影响数值型比较和运算，无恰当手段加速处理,传统RDBMS不适合数据仓库,IQ的特殊存储方式-垂直存储（按列存储）,Sybase IQ:数据是按列存储的，而不是按行存储,好处:只存取查询所需的数据数据类型是一致的，因而可以很容易被压缩数据库易于修改和管理,Sybase IQ:只读完成查询所 涉及到的列,计算在纽约的“A”类商店的平均销售额,IQ的特殊存储方式-垂直存储（按列存储）,“How many MALES are NOT INSURED in CALIFORNIA?,GenderMMFMM-,800 Bytes/Row,10MROWS,StateNYCACTMACA-,RDBMS,InsuredYYNYN,10M Bits x 3 col/816K Page,=235 I/Os,800 Bytes x 10M 16K Page,=500,000 I/Os,基本上只能使用表扫描查询过程读取了太多的无效数据,IQ,Example:I/O 的明显减少,IQ的索引特点,索引即是数据没有索引和数据的分别任何一列可以建立多个索引系统保证至少会存在一个索引（FP）索引的选择和设计主要基于：数据的级数（离散值的个数）在查询中的使用方式和SQL语句的顺序无关,索引的种类,Fast Projection(FP)数据压缩存储根据数据的特点会自动使用三种方式中的一种Low Fast(LF)Bit map 索引High Non Group(HNG)Bit-wise 索引High Group(HG)G-Array(包括一个改进的B-tree),FP Index normal FP,级数（取值个数）65536数据被压缩存储,Color,Red,Blue,Green,Red,FP Index-FFP,级数 256内建一个1-byte的参照表,Lookup Table,Data,LF Index,传统的 Bit Map 索引级数小于1000 可以唯一使用的可能性JoinsGroup byMIN,MAX,SUM,AVG functionsWhere clause predicatesEquality/Inequality,Ranges,IN lists,.,冗余设计时数据量比想象中要小得多每一个取值都有一个相应的位可以适应新的取值出现和行的增加查询：select count(*)from customers where state=AL,LF Index,HNG Index,Bit-Wise Index数据按照二进制存储垂直分布和处理Sybase的专利技术cannot be used with certain data types使用最佳范围range searches for high cardinality columns运算(sum and average functions),适合大量二进制的存储数据垂直分片 即每一个位都可以在内部被独立操作由于肯定存在大量的位同时为1或0，因此IQ在内部处理时会自动做数据压缩,HNG-High Card Bit-Wise Index,HG Index,在Bit-Wise的基础上增加一个B-Tree，并保证树在加载时不会重建最佳使用场合：JoinsSelect Distinct,Count DistinctGroup By,10001001,突破性的速度 闪电般的快速查询 快速装载无限的灵活性 任何查询 任何模式非常经济 压缩的数据存储 支持多用户查询,Sybase IQ,Adaptive Server IQ 12:专门设计的数据仓库服务器,IQ12的技术参数,Column limit-now 16,000 per table(up from 255-Great for SAS&SPSS customers)Row limit-now 281,474,976,710,700(thats 281 Trillion Rows and change)Device size-up to 128GB(depending on OS)Device limit-now 65,524(up from 2,000)Database Size limit-8.4 Petabytes,Sybase IQ 真正的数据仓库,Andyne,Brio,BusinessObjects,Gentia,InformationAdvantage,InformationDiscovery,InfoSpace,LinguisticTechnology,TeleranTechnology,SeagateSoftware,Mathsoft,Any Data,Any Time,Anywhere,Cognos,AdaptiveServerIQ,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,信息生产者,信息消费者,Brio.Insight,Brio.Quickview,客户机服务器,Web/Intranet,高级用户,活跃的分析人员,报表查阅者,信息技术人员,Brio.Enterprise 6.0 产品家族,Brio Enterprise 功能服务,功能服务,BrioQuery查询OLAP 查询在线分析(OLAP)报表EIS/脚本制图审核两层安全防护,Broadcast Server信息发布作业调度批处理查询/报表事件驱动处理 报表广播,OnDemand Server零管理客户端Web查询适应型报表多层安全防护集群服务器支持SSL(安全套接层加密),BrioQuery,IQ数据仓库,数据源-IQ数据仓库,Transformer,Impromptu,*.iqd,任何数据源（关系型、平面型,数据仓库)自动生成PowerCube 用户定义的业务规则和维度 10:1的数据压缩图形化的浏览多维数据 完全交互式的报表探察,PowerPlay:OLAP 环境,Cognos BI 产品结构,PC Database,Oracle,Sybase,Informix,SQL Server,ODBC Gateway,Impromptu,.DBF.DB,.DBF,.DB,.XLS,.WKS,.CSV,Transformer,Authenticator,.MDC,PowerCubes,.PBB,PowerPlay,.PYH.MDL,.IQD,.PPR,.IMR,议程,数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取、转换、清洗和装载工具数据存储、管理服务器数据分析和展现工具数据字典（元数据）的管理工具,元数据管理：什么是元数据,提供数据对象的准确、全面、一致的定义：什么是“customer”的定义，其内容是什么?提供物理数据到企业模型的映射关系，如：“customer number”的正确格式是什么“product status”有哪些取值?不同系统中相似数据的合并使用规则是什么？提供数据源和抽取信息提供数据项的定义和相关描述数据的使用规则,Meta Data,Data,Legend,元数据管理：Control Center,Sybase数据仓库相关产品的技术构成,Relational,Package,Legacy,Externalsource,DataCleanTool,Source Data,DataStaging,WareHouseAdmin.Tools,Enterprise DataWarehouse,Data Extraction,Transformationand load,Datamart,Datamart,Enterprise/Central DataWarehouse,RDBMSROLAP,RDBMS,RDBMS,Star Schema,ArchitectedDatamarts,CentralMetadata,Local Metadata,Local Metadata,PowerMart,Sybase IQ,Sybase IQ,Cognos,PowerMart,WarehouseArchitect,WCC,Brio/BO,Sybase ASE,
