数据质量平台V2.0.0产品规划.ppt

《数据质量平台V2.0.0产品规划.ppt》由会员分享，可在线阅读，更多相关《数据质量平台V2.0.0产品规划.ppt（67页珍藏版）》请在三一办公上搜索。

1、数据质量管理平台 V2.0.0产品规划（版本V0.8）,2010年08月,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,核心概念分析,核心概念分析,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,产品目标,远景目标,业务目标：在数据质量监控界面上集成元数据信息，实现拓扑呈现功能，提供经营分析系统数据处理状态和质量状况的全局视图；进一步完善数据质量管理知识库，可由数据质量知识库自动产生检查规则的优化建议、自动产生数据质量问题的处理建议；进一步完善数据质量评估的应用，结合元数据信息

2、，实现数据质量评分体系；进一步完善数据质量对外服务功能，实现数据质量管理子系统对经营分析系统的全面技术支撑。,技术目标：云计算特性实现：分布式、动态负载、云部署和监控；数据质量知识库关联案例搜索，模糊查询与知识挖掘技术应用。,产品目标,近期目标,业务目标：在经营分析系统数据处理主要阶段设置数据质量检测点，支持对经营分析数据质量的全程监控，建立有效的数据质量监控机制，提供全面及时的数据质量报告，预防和控制错误范围的扩大；完善数据质量管理知识库，积累数据质量问题及其处理过程的相关知识，为相同或相近问题的处理提供参考；初步建立数据质量评估的应用，通过评估发现数据质量潜在的问题和规律；建立数据质量问题

3、处理机制，有效协助处理经分域数据质量问题；开发数据质量对外服务功能，提高数据质量管理子系统对经营分析系统的技术支撑力度。,技术目标：模块化与组件化改造；任务调度与业务过程解藕，复用统一的调度构件;采集程序分布式部署。配置数据库与数据仓库分离，采用文件数据库。,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,在公司产品规划中定位,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,业务过程列表,实体列表,上下文图,0级DFD图,1级DFD-P1规则配置,1级DFD-P2信息采集,1级D

4、FD-P3检查稽核,1级DFD-P4监控告警,1级DFD-P5问题处理,1级DFD-P6知识库,1级DFD-P7质量评估,1级DFD-P9对外服务,2级DFD-P1.1采集规则配置,2级DFD-P1.2稽核规则配置,2级DFD-P1.3告警规则配置,2级DFD-P3.1实体稽核,2级DFD-P3.2业务源数据稽核,2级DFD-P3.3处理过程检查,2级DFD-P3.5指标稽核,2级DFD-P4.6告警管理,2级DFD-P7.2数据质量问题状态评估,2级DFD-P7.3数据源接口质量评估,目录,核心概念分析产品目标产品定位业务架构数据架构概念模型逻辑模型应用架构集成架构演进思路工作量估算技术架构

5、基础平台要求,概念模型设计：0级E-R,概念模型设计：1级E-R,概念模型设计：2级E-R,逻辑模型图,功能数据控制关系,数据库应用分布关系,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,数据质量管理功能结构图,数据质量管理功能层次,核心业务功能描述,规则配置：数据采集，数据稽核和告警监控,质量评估会根据预先用户配置的规则进行相应的采集、稽核、告警和相应的评估。规则定制分为采集规则配置，稽核规则配置、告警规则配置，评估规则配置。采集规则配置：采集规则配置作为采集程序执行的依据。指定采集的数据库，采集方式等，分为指标采集规则，实体采集规

6、则，业务源数据采集规则，处理过程采集规则,核心业务功能描述,稽核规则配置：依据数据仓库、数据集市等系统的模型约束、实体属性、实体关系和实体业务特征等角度来制定相应稽核规则。作为数据稽核的依据，分为指标稽核规则，实体稽核规则，业务源数据稽核，处理过程稽核规则告警规则配置：据数据仓库模型约束以及关系、具体业务约束指定相应的告警规则。依据告警规则发出相应的告警。分为指标告警规则，实体告警规则，业务源数据告警规则，处理过程告警规则,核心业务功能描述,评估规则配置：数据质量问题状况评估是对数据质量问题及其处理情况的阶段性汇总与总结，评估过程中生成相应的数据质量问题状况评估报告供经营分析系统管理人员和维护

7、人员分析与使用，数据质量人员根据数据质量问题状况和业务经验指定相应的评估规则，作为相应的指导。信息采集：数据质量采集到的信息作为后续数据质量检查环节的输入，是数据质量监控的基础。信息采集分为指标信息采集，实体信息采集，业务信息采集,核心业务功能描述,指标信息采集：根据指标采集规则采集相应的指标值，这个指标含有指标账期，业务库等相关信息，数据稽核会根据采集结果是否满足稽核规则来报告异常。实体信息采集：根据实体信息采集规则采集需要稽核的实体信息和属性信息，稽核会对实体进行主键检查，外键检查，值域检查，完整性检查，合法性检查这些操作。业务过程信息采集：根据业务信息采集规则采集相应业务信息，从而检查分

8、析系统各数据处理环节处理的完成情况，处理情况等信息。,核心业务功能描述,检查稽核：检查稽核部分根据预先配置的规则、算法和质量检查度量，对数据的正确性、合理性等多个角度进行检查，及时发现数据质量问题。主要包含以下内容：实体稽核、指标稽核、业务源数据稽核和处理过程检查。监控告警：数据质量稽核完成后，数据稽核结果信息根据告警规则进行数据质量的告警，并产生相应的工单信息，对数据质量问题进行处理。,核心管理功能描述,知识库：用来收集和积累有关数据及过程问题的处理经验总结，这些知识可作为今后数据质量问题解决方法和问题分析的参考。问题处理：数据质量稽核发现问题时，能够对问题处理，生成相应的问题工单进行处理，

9、同时能够将相关信息进行对外提供。数据质量评估：数据质量评估是对数据质量日常管理中阶段性累积的各种信息进行汇总、梳理、统计和分析，并输出评估报告的过程。通过数据质量评估可以发现一些潜在的数据质量问题和变化规律，如指标关联波动规律和同类问题的发生规律等。数据质量评估也可能会触发相关的后续处理，例如监控规则优化和问题处理等。,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,集成关系图,集成列表,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,演进思路,目录,核心概念分析产品目标产品定位

10、业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,工作量估算-总结,需求分析：1 人月系统设计：1.8 人月开发实现：5 人月测 试：2 人月部署实施：0.1 人月合 计：8.9 人月,工作量估算需求分析,工作量估算系统设计,工作量估算开发实现,工作量估算测试,工作量估算部署实施,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,技术中立架构,外部系统,展现层,应用层,数据层,信息采集,检查稽核,监控告警,任务调度,持久化工具,规则信息,采集信息,稽核信息,告警信息,评估信息,问题处理信息,知识库信息,日志信息,规则

11、配置,质量问题处理,质量知识库,采集结果查询,稽核结果查询,质量评估报告,数据质量咨询,数据质量交互,经分门户,元数据平台,数据集成平台,数据仓库,业务源系统,界面集成,数据集成,JVM,Web Server,JVM,技术特定架构,外部系统,展现层,应用层,数据层,信息采集,检查稽核,监控告警,任务调度,Hibernate、iBatis,规则信息,采集信息,稽核信息,告警信息,评估信息,问题处理信息,知识库信息,日志信息,规则配置,质量问题处理,质量知识库,采集结果查询,稽核结果查询,质量评估报告,数据质量查询,数据质量交互,经分门户,元数据平台,数据集成平台,数据仓库,业务源系统,界面集成,

12、数据集成,JVM,WebLogic/Tomcat,JVM,Html、jQuery、Struts、Osgi、SpringDM,Osgi、SpringDM,平台架构图,数据层,逻辑层,接入层,主配置库,Web容器,规则配置,采集、检查、告警结果展示,问题处理,数据质量案例库管理,质量评估,JVM,数据采集,监控告警,检查稽核,对外服务,数据采集,数据采集,详细信息存储库（可选）,技术要求,支持常用主流数据库(至少包括oracle、DB2、Teradata)的数据实体属性的采集。支持组件化的开发与部署。采集程序支持分布式部署。支持采集以下多种类型的数据：文件日志、系统日志、数据库库表、通过执行脚本或

13、系统命令获取的数据（如CPU信息和内存信息）。问题总结过程和数据质量评估过程中输出的文档支持Text、CVS、PPT、Excel或Word等格式。界面风格要求一致（如用统一的CSS）、界面直观易懂、易操作和人性化。,目录,核心概念分析产品目标产品定位业务架构数据架构应用架构集成架构演进思路工作量估算技术架构基础平台要求,基础平台要求,非功能指标系统容量指标：单JVM支持10W采集点和1W稽核规则。系统性能指标：略。网络拓朴图(略)硬件运行环境 主机：小型机、刀片机、PC Server，至少1G内存、2CPU。存储：取决于采集数据量，一般不超过10G。软件运行环境操作系统：主流unixlinuxwindows操作系统。Web服务器：weblogic9以上或tomcat5.5以上。JVM1.5以上。,