商业智能基础数据库和信息管.ppt
国内的视频网站的用户付费习惯还未形成，主要盈利模式仍然是广告投放，这就意味着完全让用户很难去决定影视剧的演员、导演、剧本。另外一方面，对数据的梳理和挖掘上，技术门槛仍然很高。龚宇坦言，每天在爱奇艺上的产生的日志文件的数据量，是每天新增的视频数据的300多倍，但面对这个庞大的数字，由于受到IT技术、数字模型的限制、爱奇艺其实只挖掘了很小的一部分。更难以改变的现实是，国内市场缺乏成熟的透明度，视频网站的流量、院线的票房数据都包含很大的水分，这让数据的真实性都难以保证，数据分析和挖掘就更难谈起了。,现在企业的问题不是数据太少，而是数据太多！,“信息爆炸”面临的问题,存储,信息爆炸,访问,共享,安全,数据是重要的组织资源，它同企业其他资源：劳动力、原材料、资金和设备一样，应该放在同等重要的位置上进行管理。许多组织由于缺乏关于企业内部运作和外部环境的高质量的信息，因而在竞争中失败。,商业智能基础：数据库和信息管理,第6章,学习目标,第6章 数据库和信息管理,(1)描述数据库管理系统如何解决传统文件环境中管理数据资源的问题(2)描述数据库管理系统的功能和价值(3)设计和应用重要数据库的设计原则(4)评估访问数据库中信息的工具和技术，以改善企业经营绩效与决策(5)评估信息政策、数据管理和数据质量，保证在企业数据资源管理中的作用,6.1 传统文件环境下的数据管理,6.1.1 文件组织术语和概念计算机系统采用层次结构组织数据字段：作为字或数字的一组字符记录：相关字段的集合文件：相同类型的记录集合数据库：关联文件集合,第6章 数据库和信息管理,记录：描述一个实体实体：我们存储信息的人、场所、事物。属性：描述实体的特性或特征,数据库 由一系列的负责存储数据的文件组成。,6.1 传统文件环境下的数据管理,数据层次结构,图6-1,计算机系统一层次方式组织数据，表示0或1的位开始（最小单位）。,由位可以组成字节表示字符、数字和符号,由字节组成字段。,相关字段组合成记录。,相关记录联合形成文件,相关文件联合形成数据库,6.1 传统文件环境下的数据管理,传统文件处理过程,图6-2,使用传统文件处理方法可以鼓励公司的各个功能区域，发展专业应用程序和文件。每个应用程序需要唯一的数据文件，该数据文件是主文件的子文件。这些主文件的子集导致数据冗余、不一致、缺乏灵活性和浪费存储资源。,会计和金融,人力资源,销售和市场,制造业,主文件数据元素A到Z,衍生文件,6.1 传统文件环境下的数据管理,传统文件环境的问题（1）数据冗余和不一致数据冗余：多个文件中重复出现相同数据数据不一致性：相同属性具有不同的值。（2）数据-程序依赖某个程序变化时，相应的数据也随之变化（3）缺乏灵活性（4）低安全性（5）低共享性,6.1 传统文件环境中组织数据,6.2.1 数据库管理系统应用程序和物理数据文件之间的接口划分数据的逻辑视图和物理视图,6.2 使用数据库管理数据,6.2.1 数据库管理系统1.解决传统文件环境的问题集中管理，控制冗余消除不一致分离程序和数据使组织集中管理数据和数据安全。,6.2 使用数据库管理数据,图6-3,单一的人力资源数据库根据用户对信息的需求提供许多不同数据视图。这里说明两个视图：员工保险金视图和工资总额视图,多视图人力资源数据库,第6章 数据库和信息管理,员工ID姓名社会保险号职位雇佣日期总工资净收入工资人寿保险养老保险健康保险,数据库管理系统,名字社会保险号健康保险,保险金视图,工资总额视图,名字社会保险号总工资税后工资,6.2.1 数据库管理系统,三种主要的数据库模型,6.2 使用数据库管理数据,2.关系型数据库管理系统,使用二维表或文件表示二维数据每张表包含实体数据和属性数据 表：行和列的网格行（复表）：不同实体的记录字段（列）：表示实体的属性关键字段：唯一标示记录的字段主关键字：在表中可以唯一确定记录的字段外关键字：第二张表中的主关键字，用来在源表中查询记录字段,6.2 使用数据库管理数据,2.关系型数据库管理系统,关系型数据库以二维表的形式组织数据。这里主要说明供应商和零件实体表,显示如何表示每个实体和属性。供应商号是供应商表的主关键字，是零件表的外关键字。,（1）关系数据库表,关键字段（主关键字）,6.2 使用数据库管理数据,图6-4B,（1）关系数据库表（续）,主关键字,外关键字,6.2 使用数据库管理数据,3.关系型数据库管理系统的操作使用三种基本操作来开发有用数据集选择：创建符合规定标准的数据子集连接：连接关连表为用户提供比单表更多有用信息投影：按照指定列子集创建指定的信息表,6.2 使用数据库管理数据,图6-5,选择、投影、连接操将两个不同表进行组合，并显示选定的属性,关系型DBMS的三种基本操作,6.2数据库的数据管理方法,4.面向对象的数据库作为对象进行数据存储和处理用于管理图、多媒体、Java小应用程序处理大量数据的速度方面逊色于关系型数据库混合对象-关系型数据库：提供对象-关系型数据库和关系数据库的功能,6.2数据库的数据管理方法,数据定义的能力：指定数据内容的结构、创建表和定义字段特性。数据字典：自动或手动存储数据元素及其特征的定义数据操纵语言：用来从数据库中增加、改变、删除数据(SQL)结构化查询语言微软的Access是通常的用户SQL生成工具许多关系型数据库系统具有生成报表的功能,6.2数据库的数据管理方法,6.2.2 数据库管理系统的功能,Microsoft Access有字典功能，显示有关信息的大小，格式和数据库中每个字段的特性。这里显示的是供应商表中的信息。供应商号左端的小钥匙图标表明它是一个关键字段。,微软Access的数据字典特性,6.2数据库的数据管理方法,6.2.3 数据库设计,1.数据库设计是一个从现实世界向计算机数据世界转换的过程。,现实世界,信息世界,数据世界,三个不同世界术语对照表,6.2.3 数据库设计,（3）数据库设计的步骤,了解组织机构情况，为分析信息流做准备,了解各部门业务情况，调查各部门输入、处理、使用数据情况,确定数据库的信息组成 计算机系统应实现的功能,（3）数据库设计的步骤,建立分ER图,综合分ER图，产生总ER图,（3）数据库设计的步骤,从E-R图导出计算机世界的关系数据模型,实体联系图由数据库设计者使用，表示数据模型说明实体间的联系,（3）数据库设计的步骤,概念（逻辑）设计：从企业的角度抽象模型物理设计：数据库如何存储在直接访问存储设备上,6.2.3 数据库设计,（1）规范化 把复杂的数据组合简化，尽可能地减少数据冗余和多对多的数据关系。,6.2.3 数据库设计,图6-9,一个非规范化的关系包含重复组。例如，每个订单可能有多种零件和多个供应商。订单号和订单日期之间是一一对应的。,非规范化订单关系,订单（规范化之前）,订单号,供应商号,供应商名称,供应商城市,供应商国家,供应商街道,供应商邮编,价格单位,零件数量,零件号,零件名,订单日期,（1）规范化,从订单创建的规范化表,（2）实体关系图（Entity Relationship）,6.2.3 数据库设计,图6-11,这张图显示了订单实体、时间线实体、零件实体和供应商实体之间的关系。,数据库设计案例某学院“教学管理”数据库模型,（1）设计“系和教师关系”的分E-R图（2）设计“学生和课程关系”的分E-R图（3）设计“教师与课程关系”的分E-R图（4）将上述三个分综合，建立学院教学管理总E-R图将学院“教学管理E-R图”所描述的信息（概念）世界中的概念模型转化为计算机上由关系型DBMS支持的关系数据模型。,设计“系和教师关系”的分E-R图,该学院下设四个系：管理工程系、会计系、市场营销系和信息管理系，每个系有一个系主任主管该系工作。将“系”设为一个实体，该实体具有以下属性：系代号、系名称、系主任姓名、办公地点、电话。其中系代号是主关键字,该学院聘请了一定数量的专职教师。将“教师”设为一个实体，该实体具有以下属性：教师编号、教师姓名、专业特长。其中教师编号是主关键字。,学院聘请教师后，分配到各系。一个系有多个教师；一个教师只能属于一个系。“教师”实体与“系”实体之间发生一对多（1：M）的“分配”联系。,教学管理总E-R图,图1“教学管理”E-R图,6.3 使用数据库提高企业绩效和决策能力,大数据库挑战：需要特殊的功能和工具分析大量数据从多个系统中访问数据6.3.2 商务智能的基础设施1.数据仓库2.数据集市,第6章 商业智能基础：数据库和信息管理,1.数据仓库存储来自多个核心操作事务系统的当前、历史数据巩固和规范跨企业的信息，但是数据不能被修改。数据仓库系统将提供查询、分析和汇报工具,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,企业智能,图6-14,一系列分析工具处理数据库中的数据，帮助经理和雇员找出更好地决策和提高组织绩效的模式和见解。,数据库,数据仓库,企业智能,保持交易追踪,寻找模式和洞察力,决定作出反应的数据和模式,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,1.数据仓库2.数据集市数据仓库的子集被特殊用户群体使用的企业总结数据或高度聚焦于公司某一部分的数据典型地聚焦于单个领域或业务线,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,商业智能：巩固、分析和提供获取大量数据的工具，帮助用户做出更好的商业决策例如，哈拉斯娱乐赌博分析客户开发概况并找出最有利可图的客户。原理工具包括：联机分析处理数据挖掘文本挖掘和网络数据挖掘,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,1.联机分析处理（OLAP）(On-Line Analytical Processing)多维数据分析，主要是对大量多维数据的动态综合、分析和归纳。,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,2.数据挖掘与OLAP相比发现更多的驱动信息发掘数据中隐藏的模式和关系，并将这些规则用于预测未来发展。例如：在一对一营销活动客户数据中寻找模式，或者确定有利可图的模式数据挖掘中可获取的信息类型关联顺序分类串联预测,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,2.数据挖掘使用数据挖掘技术、历史数据和未来条件的假设来预测事件结果例如：顾客对一个特殊产品出价或购买的概率3.文本挖掘与网络挖掘从大量无结构化数据集(存储的电子邮件)中抽取关键元素。,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,3.文本挖掘与网络挖掘从万维网中发掘和分析有用模式信息例如，要了解顾客行为，评估网站效力等Web内容挖掘从网页内容中提取知识Web结构挖掘例如，网页链接进出Web使用挖掘通过Web服务器记录用户交互数据,6.3 使用数据库提高企业绩效和决策能力,第6章 商业智能基础：数据库和信息管理,内网数据库与web连接,图6-16,用户需要使用台式电脑和网络浏览器软件，通过Web访问组织内部数据库.,客户端web浏览器,互联网,Web服务器,应用程序服务器,数据库服务器,数据库,6.3 使用数据库提高企业绩效和决策能力,6.4.1 建立一个信息制度公司的规则、程序、共享、管理规范数据的角色例如，什么员工负责更新员工的敏感信息？数据管理：制定信息政策、进行数据规划，负责逻辑数据库设计和数据字典开发，并监督系统管理员和用户对数据的使用。数据治理：管理企业数据的可用性、完整性和安全性的政策和程序，尤其涉及到政府规章。数据库管理：定义、组织、实施、维护数据库;由数据库设计和管理小组执行,6.4 管理数据资源,6.4.2 确保数据质量财富中1000多个公司的数据库大约25%的数据不准确或不完整大多数数据质量问题源于错误的输入在建立新数据库之前，需要：发现并纠正错误数据建立严格的数据录入规则,第6章 商业智能基础：数据库和信息管理,6.4 管理数据资源,1.数据质量审计结构化调查信息系统中的数据完整性的精确性和级别。从数据文件中调查样本调查终端用户的质量观点2.数据清洗用软件来检测、纠正不正确、不完整、不恰当的格式或冗余数据加强独立信息系统中不同数据集的一致性。,6.4 管理数据资源,第6章 商业智能基础：数据库和信息管理,
