资料仓储与资料探勘课件.ppt
资料仓储与资料探勘,1,感谢你的观看,2019年9月21,资料仓储之介绍,资料仓储的目的是希望藉由整合公司内部的资料并综合各种外部资料，进而对公司重要决策者提供一个整体的、广泛的讯息认知、以供完成一策略性的决策根据Meta Group在1993年的调查，仅有5%的公司对资料仓储有兴趣。到了1994年已上升至90%，可见未来几年资料仓储是一极为重要的成长领域,2,感谢你的观看,2019年9月21,资料仓储之介绍(续),根据Meta Group的调查，资料仓储的软件硬件服务与市场规模将由1996年的20亿美金成长到2000年的120亿美金，使得如IBM、Oracle等知名大厂纷纷投入此一领域根据IDC在1996年对62家公司所作的研究显示，资料仓储的投资报酬率最高可达到600%，且有一半财务利益来自于决策的制定，显示资料仓储确实可以支援组织的决策之制定,3,感谢你的观看,2019年9月21,资料仓储之定义,资料仓储之父Bill Inmon认为资料仓储为决策支援系统的核心Bill Inmon和Chuck Kelley认为资料仓储不仅为数据库、且具有下列特性：整合性：包含应用程序、数据库、计算机系统主题导向：回答组织特定问题时间变量：随时间变化的动态资料非变动性：,4,感谢你的观看,2019年9月21,资料仓储之定义(续),John van den Hoven认为资料仓储是经改良过的决策支援系统，可产生高阶的(high-level)、整合的(Integrated)、系统化的(organized)、结构化的(structured)资料以应用于协助商业决策综上所述，资料仓储是经由建立集合式的资料仓库，从多个分散的资料来源中搜集资料，配合分析工具，支援决策者的决策制定,5,感谢你的观看,2019年9月21,资料仓储之特性,传统数据库着重于单一时间之单一资料处理(one record at a time)、偏重于撷取详细之资料以供参考、注意资料档的构成及资料正规化(normalization)，且使用者多为中阶经理人员资料仓储注重某一段时间内之综合资料(summary data on a given time period)、注重大批资料提供之走向趋势、注重资料本身所内涵之意义及讯息，且使用者为决策支援系统和高阶主管信息系统的使用者,6,感谢你的观看,2019年9月21,资料仓储之技术,资料储存(Data Store)现在资料仓储中之资料储存可称为作业型资料储存(Operational Data Store)，一种储存机制依资料时效性区分，可将资料区分为实时的(Real-time)、接近实时的(Near Real-time)、与某时点(Point-in-time)的资料一般资料仓储储存都是历史资料，可称为时点性的资料(Point-in-time data)，其应用范围包括简单的查询到复杂的资料提炼等,7,感谢你的观看,2019年9月21,资料仓储之技术(续),资料提炼(Data Mining)资料提炼是属于发现导向(discovery-based approach)方式，从不同资料来源搜集大量资料，经过详确的分析后，提供有价值的信息给使用者，一般用于营销决策上。资料提炼常可发掘出超越归纳范围的关系，与传统OLAP(On-Line Analytical Processing)大不相同，可用于个人化营销。,8,感谢你的观看,2019年9月21,资料仓储之优缺点,优点有形的优点可整合企业各部门的资料及减少作业成本企业内部文件趋向单一规格化，便于储存与查阅。此一企业内文件规格之整合乃是一极大优势,9,感谢你的观看,2019年9月21,资料仓储之优缺点(续),无形的优点资料来源可由各部门取得，充分运用组织资源确保日常作业不受干扰提升企业的效率与生产力可充分运用组织所掌控的信息来获竞争优势,10,感谢你的观看,2019年9月21,资料仓储之优缺点(续),提供更快的信息以增强加速决策的质量 提供实时有效的信息 资料可信赖度高 使用者可经由单一查询界面获得所需信息 可从仓储的历史资料中预测未来趋势与结果,11,感谢你的观看,2019年9月21,资料仓储之优缺点(续),缺点资料仓储的开发往往为一极大的投资，风险性高资料仓储的开发相当费时若是软硬件规格不一，将会有无法跨平台存取资料的问题仓储中庞大的历史资料的管理问题-需用汇总资料(metadata)技术加以管理资料更新的问题-可采异步方式更新,12,感谢你的观看,2019年9月21,资料仓储之发展架构,由于资料仓储为一高投资、高风险、需求不定且开发费时的一项工程，所以需要做长期的规划，应采雏型法(Prototyping)开发。开发过程主要分为四个阶段，分别是：资料收集系统分析系统设计系统维护,13,感谢你的观看,2019年9月21,资料仓储之发展架构-资料收集,资料收集资料收集的主要目的在于定义企业需求。必须先成立工作小组或指导委员会(steering committee)，系统开发的工作交由工作小组负责，而指导委员会扮演监督、控制与管理的角色。企业目标订定，并研拟达成这些目标所需的决策过程及所需资料。此阶段另一重要的工作为了解使用者的需求，需产出需求定义规格书，内容详细记录使用者的需求。,14,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,系统分析此阶段的参与者以负责开发系统的工作小组为主，根据前一阶段所产生的需求定义规格书，并进一步分析规格书内所纪录的使用者需求。,15,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,在此阶段中，可评估系统的五个可行性：技术可行性(technical feasibility)经济可行性(economic feasibility)法律可行性(legal feasibility)操作可行性(operational feasibility)时程可行性(scheduling feasibility),16,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,技术可行性分析系统软硬件可行性评估数据库架构的可行性，包括使用关联式或非关联式数据库系统存取时间及回应时间的评估资料来源整合的可行性,17,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,经济可行性分析分析资料仓储明确的效益分析开发资料仓储的投资报酬率分析开发资料仓储的风险评估有形、无形成本与利益系统效益的评估(作业成本、服务质量),18,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,法律可行性分析资料所有权与资料隐私的问题企业外部资料来源的合法性系统软硬件的合法性操作可行性分析分析使用者是否熟悉资料仓储的作业是否对使用者或数据库管理者进行教育训练,19,感谢你的观看,2019年9月21,资料仓储之发展架构-系统分析,时间可行性分析系统开发的时间需要多久分析系统开发的进度分析不同时间点的资源需求未来资料成长率的预期与评估进行可行性分析之后，可产生可行性分析规格书。,20,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,系统设计企业层面企业政策企业需求与目标的确定评估资料仓储对企业的冲击分析是否引进资料仓储,21,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,企业政策 选择系统开发方式 是否与仓储供应商策略性合作 妥善评估需要建制资料仓储或是资料超市,22,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,人员清楚明确的权责划分开发小组组成(包含熟悉各部门事务专业人士)考虑是否聘请专业顾问,23,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,召开经常性会议以掌握进度 仓储开发成功的关键在于参与计划的人员皆能持 续专注的涉入 对于开发人员进行教育训练 企业应有紧急应边措施计划,24,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,使用者使用者须与系统开发者保持良好的互动及合作关系使用者的训练不容忽视，特别是查询工具使用的训练评估设计出的系统是否会引起使用者的抗拒，而拒绝使用,25,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,技术层面 硬件 考虑使用平行处理技术 因为资料成长速度极快，因此对资料的储存空间 不可轻忽 设计硬件规格时，需注意未来的扩充性及整合 性。,26,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,软件在数据库管理系统方面，资料仓储的数据库系统通常是关连式数据库，包括DB2、Oracle、Sybase等。而用户端的查询工具软件通常为微软的Access、或是多维度数据库的RedBrick。在作业系统方面，大型主机使用MVS，服务器使用UNIX、OS/2或NT，而客户端工作站使用NT、Win95、或OS/2,27,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,软件 评估数据库管理系统应采关联式数据库(Relational DBMS)、物件导向数据库、或是多维度数据库系 统(Multidimensional DBMS)注意软硬件的整合,28,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,标准需建构统一的标准及规格应选择SNA或TCP/IP的网络通讯协定，以利整合速度资料通讯以何种方式达成资料通讯的目的(Internet,WAN,LAN)网络的架构应使用主从式、分散式、或集中式是否须将企业内部资料公开,29,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,兼容性 需注意各工具的整合性及不同平台上异质数据库之存档功能 应做到跨平台存取与多个数据库系统之整合,30,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,安全性评估并做好重要资料的存取控制做好存取资料权限的控制管理,31,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,资料层面 资料质量 掌握资料的一致性及普遍性(资料来源整合)资料萃取(extraction)、传播(propagation)、和转换(transformation)的质量 评估资料的正确性 更新时保持资料的同步性及一致性、更新频率 历史资料的时间性,32,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,汇总资料管理汇总资料之分析处理该如何建构汇总资料的元素(data element)应该包括哪些内容数据库管理目前系统能否因应未来成长需求资料权限控制,33,感谢你的观看,2019年9月21,资料仓储之发展架构-系统设计,资料查询 需提供一友善的前端查询界面 应完善评估查询工具(工具与软硬件兼容性、直接 存取或ODBC)查询工具挖掘(drill-down)能力的评估 评估资料查询的反应时间、实时性与稳定性,34,感谢你的观看,2019年9月21,资料仓储之发展架构-系统维护,系统维护此阶段须工作小组与使用者相互配合。以下从系统、资料、使用者三方面讨论此阶段的工作项目系统方面系统的资料存储量必须容纳未来的成长安全性是维护的重点再新增设备时须考虑系统整合性系统效能的管理(反应时间、搜寻速度),35,感谢你的观看,2019年9月21,资料仓储之发展架构-系统维护,资料方面需按时程更新，并将更新情形告知使用者汇总资料的管理是一项重点管理资料量的成长是重要工作之一使用者方面使用者的教育训练是此阶段重要的工作系统正式上线后，需让使用者有缓冲时间适应新系统此阶段的产出物，是一套运作稳定的资料仓储系统,36,感谢你的观看,2019年9月21,资料仓储之实例,英国Safeway公司是一家年销售量超过100亿美金，接近七万名员工，为英国第三大的连锁超级市场。每周管理800万笔交易该公司为了善用资料仓储的技术，提升公司的竞争力，将公司经营模式更改为以了解客户需求的个人市场导向为主，并将问题及目标清楚定义，将客户资料集中在资料仓储中，以作为决策的来源,37,感谢你的观看,2019年9月21,资料仓储技术之挑战,由于电子商务的形成，以网页为基础的资料仓储及资料超市是目前资料仓储科技的发展趋势。Miley认为这项技术可以带来下列优点：较低的应用和管理成本可获取全球性的信息和应用软件自助式信息系统较低的训练成本,38,感谢你的观看,2019年9月21,资料仓储技术之挑战(续),网页上的资料仓储和一般的不同处在于必须包含网页的服务器和浏览器，其他步骤相仿公司必须决定使用者需求并清楚定义资料的来源，接下来决定资料的转换、删除和整合的模式与规则。再建立实体资料格式之后，便可装置OLAP等使用者需要的相关设备工具以利进行决策分析,39,感谢你的观看,2019年9月21,40,感谢你的观看,2019年9月21,
