IBM电信业商业智能解决方案.ppt
IBM电信业商业智能解决方案,议程,数据分析与决策支持系统面临的挑战IBM 商业智能解决方案简介IBM 方案优势,电信企业的需要,帐务统计收益分析网络、基站运维分析绩效考核客户关系管理风险预测市场竞争分析.,帐务统计、分析,日、月统计报表月结算报表营业收入统计、分析资费来源统计、分析业务量统计、分析.,收益情况分析,收入总量分析及预测收入增量分析及预测ARPU分析及预测收入结构分析及预测大客户收入情况分析及预测客户交费情况分析及预测客户欠费情况及其结构分析及预测新增客户交/欠费情况分析及预测欠费回收情况分析高额/欺诈分析销账分析,市场竞争分析,市场占有率分析及预测市场需求分析及预测竞争对手发展情况分析及预测各竞争对手的市场营销分析供应商市场行为特征分析合作商市场行为特性分析,业务发展分析,业务量发展分析及预测业务增量分析及预测MOU分析及预测新业务使用量分析及预测业务资源使用特征分析及预测大客户使用业务量的特征分析及预测大客户使用业务的特征分析及预测流量和流向特征分析及预测,客户分析,客户总量分析及预测新增客户分析及预测客户净增量分析及预测客户流失量分析及预测客户转网量分析及预测大客户发展分析及预测客户消费能力分析及预测客户消费习惯/爱好分析及预测客户信用度分析外来用户分析模拟用户分析储值卡用户分析潜在用户分析零次用户分析一户多卡用户分析,客户关系管理及市场策略,发现优秀客户发现易流失客户群调整产品定价发现客户行为模式开发新产品交叉销售.,网络、基站分析,基站配置与话务量分布情况分析分析各时段各基站/交换机的负载情况网络收益分析网络容量分析网络安全分析热点小区分析路由分析等,服务质量分析,客户服务质量分析客户服务时限分析客户咨询查询焦点分析客户投诉焦点分析大客户服务质量分析客户满意度分析客户忠诚度分析,营销管理分析,市场价格分析营销渠道作用分析代销代办酬金分析营销人员素质分析营销宣传市场效果分析促销行为市场效果分析,综合决策分析,决策取向模拟分析决策行为市场操作模拟分析决策行为市场效果模拟分析,绩效考核,分公司绩效考核营业部绩效考核营业员绩效考核.,当前状态,营业系统,结算报表,CRM,局长信息系统,挑战：信息孤岛,财务系统,市场促销数据,客户数据,营业数据,呼叫中心数据,建立数据仓库、实施商业智能,生产系统,数据仓库,OLAP,智能挖掘,如何实施商业智能,IBM BI 解决方案产品,IBM BI体系结构,什么是数据仓库,数据仓库是指从业务数据中创建信息数据库，并针对决策和分析进行优化。数据仓库中的信息是面向主题的、集成化的、稳定的、随时间变化的数据集合，用以支持管理决策的过程。数据来自多个数据源，并整合到一个数据库中。在数据整合的过程中数据要经过聚合、摘要和清洗。,不同的数据用于不同的目的,面向主题集成比较稳定包含历史数据支持管理决策,面向应用有限集成经常更新仅有当前值支持日常业务运作,业务数据,信息数据,业务数据和信息数据根本不同！,TrustAccounts,CheckingAccounts,LoanAccounts,LoanAccounts,年,月,日,Account History,建立数据仓库的过程,DB2 Data Warehouse体系结构,数据仓库代理(Agent)技术,数据仓库控制服务器(Warehouse Control Server)时间表启动从控制数据库中获取商业视图定义启动代理(通过代理后台进程)循环:-接受和记录结果-更新客户端显示,数据仓库代理(Agent)响应VW管理器循环:-接受命令-执行命令-报告状态,DB2 UDB高度并行的海量数据库,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile-Time,Run-Time,Agent,Agent,Agent,Prefetchers,Single query involves1 coordinating agentn sub agentsm prefetchers(shared)All executing in parallel on available processorsCombination of.Data parallelismEach agent works on subset of dataData dynamically assigned so user not required to partition dataFunctional parallelism(pipelining)Each agent works on different query function,e.g.scan,sortAlso enablesParallel Index CreateParallel Backup and RestoreAllows multiple processes to read or write data to/from the databaseParallel LOADExploitation of multiple processors during load,particularly for parsing/converting/formatting data,节点内部并行,Parallel Edition-style(shared-nothing)Data parallelism through hash partitioningPartitions can be.Physical on MPP or clusterLogical on SMP,Run-Time,Agent,Prefetchers,Agent,Prefetchers,Agent,Prefetchers,node 0,node 1,node n,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile-Time,节点间并行(数据库分区间并行),.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,.,Single Database View,Parallel Optimizer,UserQuery,Node(CPU),Node(CPU),Node(CPU),Node(CPU),Shared-nothing software architecture supportsIndependent physical nodesSeparate CPU,memory,and diskIncluding SMP nodesORMultiple logical database partitions on single large SMP ServerInterpartition communication is cross memory,not cross networkData is partitioned across nodes automatically by hashingEverything operates in parallelSelectInsertUpdateDelete,Backup/restoreLoadCreate indexReorg,充分利用分区数据库的能力,Social Insurance Number,Name,Location,123-456-789,JoeBoston,Toronto,Partition Key value Hashed to:8,VectorPosition,0,1,2,3,4,5,6,7,8,9,10,11,12,.,Node,1,2,3,1,2,3,1,2,3,1,2,3,1,.,DB2,DB2,DB2,Partition MapDetermines home for rowCan be adjusted for data skew using the REDISTRIBUTE utility,Hash分区和分区映射表,Blends best of MPP and SMP style of parallelismIdeal for SMP clustersMost flexible hardware supportLeading Edge Query Optimizer!,Run-Time,node 0,Agent,Agent,Agent,Prefetchers,node 1,Agent,Agent,Agent,Prefetchers,node 2,Agent,Agent,Agent,Prefetchers,SQL Query,Query Optimizer,Best Query Plan,Threaded Code,Compile-Time,分区内及分区间并行,DB2 UDB:更大的容量,表/视图/列/别名长度增加名字更容易记忆更容易移植SQL语句长度可达64KB更复杂的查询和分类(如数据挖掘)由工具自动生成的语句VARCHAR大小可以达到32KB更小依赖LONG VARCHAR，节省空间并提高性能最大表/表空间大小64GB/128GB/256GB/512GB可以生成更大的表而不需要分区(partition)索引字段总长度达1024byte可以对更多/更长的字段加索引,DB2 UDB:优化技术,优化级别0-9查询重写增加隐含的条件一般条件下压(pushdown)子查询该为JOIN消除不必要的JOIN将量化的条件转化为标量子查询将OR转为IN将IN转为JOIN视图合并消除不必要的DISTINCT,优化器扩展减少限制RID列表排序Index Oring执行计划分析避免Cartesian积增强的JOIN大小估计非统一的分布式统计I/O统计对随机和顺序I/O不同处理锁优化可修正的CPU和I/O成本估算可更新的目录统计,DB2 UDB与商业智能集成,新的统计函数页面大小：4KB,8KB,16KB,32KB更小的I/O，减少索引的层次优化器可以利用多个缓冲池(与页面大小)更多的利用星型连接优化利用星型连接设计的数据库性能更好对数据仓库的增强数据加载过程中自动建立索引LOAD TERMINATE/RESTART选项LOAD时递增的建立索引利用LOAD INSERT将数据附加到已经存在数据的表中,易用的管理工具,DB2 Connect Enterprise Edition,DRDA-Compliant Server,Data ReplicationCaptureApply,VisualAge for Java,DB2 Extenders,Visual Explain,Developers,Client Configuration Assistant,Users,DB2 Discovery,Administrator,Command Center(GUI CLP),DB2 UDB Server,DB2 UDB Server,Governor,Control Center and Utilities,Performance Monitor,Job Scheduler,Performance SmartGuide,Network Configuration SmartGuide,Administration Server,Satellite Administration,集成化的图形界面管理工具,Control Center,Command Center,Performance Monitor,Performance Smart Guide,Index SmartGuide,Other Tools Integrated with the DB2 Control Center,DB2 Script CenterAllows users to create and schedule scripts for regular database activitiesDB2 JournalProvides users with a view of activities which have occured in the DBMSDB2 License CenterAllows users to monitor license complianceDB2 Information CenterProvides users with the entire DB2 UDB Technical Library onlineServer Communications(Network)Configuration AssistantAutomates set up of server for communication with clientsClient Configuration AssistantDatabase connection configuration and testingCan request that DB2 Discovery search network for databases ODBC administrationDB2 DiscoverySearches for DB2 servers and databases over the networkReturns information required for connection to client,DB2家族产品全面解决方案,TCP/IPIPX/SPXNETBIOS,DOSWINDOWSWinNTWin95Win98OS/2AIXHP-UXSCOSUN SolarisSNI SINIXSGI IrixMACWeb Browsers,Clients,DB2 for OS/400DB2 for AIXDB2 for OS/2DB2 for HP-UXDB2 for HP-UX 11.0DB2 for SUN SolarisDB2 for SINIXDB2 for NTDB2 for SCODB2 for SCO Unixware 7,Servers,DB2 ConnectDatajoinerNet.Data,Middleware,Parallel Complexes,DB2 UDB EEE for AIXDB2 UDB EEE for SUN SolarisDB2 UDB EEE for Windows NTDB2 UDB for OS/390DB2 for OS/400,Personal,DB2 for OS/2DB2 for WinNTDB2 for Win95DB2 for Win98Lotus ApproachSatellite EditionDB2 Everywhere,OracleSybaseInformixSQL ServerIMS VSAM,Sources,Tivoli TME-10Satellite Edition,Management,Hosts,DB2 UDB for OS/390DB2 for VM and VSEDB2 for OS/400,TCP/IPSNAIPX/SPX,WAN,CompleteSolutions,Online Analytical Processing(OLAP),由IBM研究员E.F.Codd提出，被业界广泛采用为计划和分析优化处理多维视图钻取切片满足用户需求填补关系型数据库的不足利用现有投资后台交易系统前台报表系统,OLAP:多维分析,用维的方法观察数据产品，时间，地区，财务指标等数据模型等同于业务模型,OLAP：多维分析,旋转：按不同顺序组织各个维，对结果进行考察钻取：在一个维内部沿着从高到低或从低到高的方向考察数据上钻下钻切片：在确定某些维数据的情况下对其他维进行观察,OLAP:多维分析,考察一个特定的维时间维，包括每一个归属局到各被访局的冲销结算关系钻取到下面的层次来考察详细情况,OLAP：旋转,按照不同的顺序组合维，对数据进行考察,OLAP：钻取,结算分析,时间,归属局,被访局,冲销结算,1999,2000,2001,北京,上海,.,北京,上海,来访费用,出访费用,Q1,Q2,Q3,Q4,Apr,May,Jun,钻取到各级数据层次时间，年，季，月，日归属局，省局，地市,OLAP：切片,时间,归属局,被访局,时间,被访局,归属局,一月份所有归属局对各被访局的冲销结算关系,每个归属局对被访局北京每个月份的冲销结算关系,用切片的方法从不同的角度观察,OLAP,OLTP,OLTP vs.OLAP：不同的角色,纪录交易情况有限的步骤二维数据管理数据处理运行商业运作,确定任务反复的过程多维数据合并信息综合推动商业计划,DB2 UDB支持OLAP的高级特性,IBM DB2 OLAP Server,开放的系统最终用户OLAP工具最终用户查询/报表工具易于实现和管理自动化的数据库设计利用现有的技能和工具系统管理数据库管理高度可伸缩性(Scalability)与IBM数据仓库体系结合提供两种存储方式易于使用的安全权限限制,开放的接口标准,开放的应用程序接口和工具C/C+API、JDBC、ODBC/CLIEmbedded SQL、SQLJ、Java、C/C+、VB、Delphi/C+Builder、Power Builder 众多的客户端工具DB2 OLAP Server AnalyzerBusiness ObjectBrioCognosExcel/Lotus 123,通用的运行平台,AIXSolarisHP-UXWindows NT/2000LinuxS390AS400,OLAP Server与数据仓库管理器紧密集成,IBM的数据仓库管理器中带有大量与OLAP Server相关的程序(vwp)：文件数据加载到OLAP数据库数据加载OLAP用文件数据更新维用数据库数据更新维计算用规则计算,客户可以使用Web方式访问，不需要安装任何OLAP工具。,客户端访问和维护,完善的授权机制：应用程序级数据库(Cube)级过滤器读、写、计算、设计权限用户组图形化管理界面,用户、权限管理,完整的日志纪录,数据挖掘,数据仓库,选择的数据,选择,转换,挖掘,转换后的数据,可理解的信息,抽取的信息,一个过程，从大型数据库中抽取以前没有发现，可理解的，可操作的信息，用以支持企业关键性决策。,数据挖掘的典型例子,常用数据挖掘算法分为三类,常用数据挖掘算法,Clustering(Segmentation)-no dependent variableDemographic SegmentationNeural Segmentation(Kohonen Map)Example:Identify common characteristics in a customer data base.Predictive/Classification Modeling-dependent variableNonlinear regressionDecision trees Neural networks Radial-basis functionsExample:Predict IBMs stock price tomorrow.,常用数据挖掘算法,Link Analysis-transaction dataBasic associations(or dissociation)Sequential associations(over time)Example:Identify which features of an insurance policy sell together.Similar Time Sequence,许多业务问题可以映射到数据挖掘技术,Intelligent Miner for Data V6.1,IBM Intelligent Miner for Data,数据驱动发现竞争优势,Server端运行于 NT/2000,AIX,SUN Solaris,MVS,AS/400Client端运行于Win95/NT/2000,AIX,SUN Solaris,分群(Clustering)结果样例,分群(Clustering)结果样例,分类(Classification)结果样例,预测样例,Intelligent Miner for Data支持三种类型的关联分析发现关联规则在交易数据库中，每一笔交易包括一组元素，本算法可以发现所有的关联关系，例如一组元素的出现将导致另一组元素的出现。发现事件序列在数据库中存放这一段时间中的交易信息，本算法可以找出交易间的模式，例如一组元素将跟随另一组元素的出现而出现。发现相似性时间序列在时间序列数据库中，找出与某一个具有相同/不同时间间隔的序列相似的序列。,关联分析(link analysis),IM4D体系结构,数据挖掘为业务方案提供了一条途径,IBM DM on the Web,http:/,谢谢,
