中国电信运营服务分析系统培训材料CTGMBOSS+OSS+2.5运营服务分析(ODSO)系统.ppt

CTG-MBOSS OSS2.5规范培训材料,运营服务分析系统（ODS-O）,ODS-O规范核心内容,聚焦客户的信息化创新战略,ODS可以分域建设，可以集中建设,未建ODS、只建ODS-B、分建ODS-B/ODS-O,围绕一个目标，明确两种模式；结合三种现状，验证四大专题,数据整合-明晰数据分类整合原则数据共享-规范企业基础数据架构数据质量-提升后端优异运营能力数据应用-支撑运维更好使用网络,一个目标,四大专题,二种模式,三种现状,从ODS在OSS域的实际需求出发，明确ODS可以集中建设也可以分域建设，面向运营生产验证了OSS数据整合、数据共享、数据质量、数据应用四大专题，明晰了OSS数据分类及整合原则，规范了企业基础数据架构，提升后端优异运营能力，支撑运维部门更好的使用网络，体现了ODS-O作为OSS价值和能力窗口的基本主题。,目录,系统综述,系统架构,重点专题,系统演进,集成接口,目录,系统综述,ODS-O的建设驱动力,ODS-O的规范体系现状及目标,ODS-O的系统定位,ODS-O的系统目标,ODS-O建设驱动力分析,聚焦客户的全业务运营的信息化创新战略,对OSS的能力提升需求分解,业务融合支持全业务运营,OSS能力提升对ODS-O要求,聚焦客户提升客户体验,全程全网实现一体化管理,集中高效支撑网络转型,精确智能实现运营优异,ODS-O的建设驱动力（价值）,OSS价值,企业价值,目录,系统综述,ODS-O的建设驱动力,ODS-O的规范体系现状及目标,ODS-O的系统定位,ODS-O的系统目标,ODS当前规范体系情况,2004,2005,2007,2008,EDA,ODS,EDM,EDA-ODS总体规范 V1.0,EDA-ODS技术规范 V1.0,CTG-EDM V3.0,CTG-EDM V2.0,CTG-EDM V1.0,EDA规范 V1.0,EDW,EDW实施指南 V1.0,EDW技术指南 V1.0,EDW业务需求 V1.0,2009,ODS-O系统规范2.5,EDA规范V1.0：规范了中国电信企业数据架构，系统地提出了数据管控体系，明确了中国电信EDA的建设原则，并为数据魔方、经营分析模板、企业数据模型（EDM）、运营数据仓储（ODS）和数据仓库（EDW）提供框架和依据。2005年2月，除运营数据仓储（ODS）规范集未编写外，其他规范集均编写完成。,EDA-ODS规范V1.0：包含总体分册和技术分册，2007年7月发布。对ODS的建设驱动力、业务目标、系统目标、系统架构、系统边界及系统演进等方面的内容进行了规范；规范V1.0中没有涉及OSS域的相关ODS需求；,CTG-EDM V1.0：包含参与人、产品、帐务、市场营销、事件、地域6 个主题域，2004年12月发布。CTG-EDM V2.0：增加了资源主题域，并对现有的主题域进行了完善，2005年5月发布。CTG-EDM V3.0：围绕CRM与计费系统数据模型的一致性、ODS模型统一性等目标，优化和完善参与人、产品、帐务、市场营销、事件和地域六个主题域，2008年4月发布。,聚焦客户的全业务运营对ODS-O提出了建设需求，OSS域需要自己的ODS，规范ODS-O的建设势在必行,EDW规范V1.0分为技术指南、实施指南和业务需求分册，发布时间2004年。规范对企业EDW的目标、原则进行了界定，对EDW的技术体系架构，项目实施方法，数据挖掘方法等给出了实施参考。,ODS-O相关规范体系现状及规范目标,1、ITSP2.0为ODS-O分册的编写提供了指引和定位；2、OSS生产系统规范为ODS-O的功能、接口定义提供重要输入；3、ODS-O分册继承了ODSV1.0规范中的体系架构，参考EDM和OSS域应用，实现OSS域数据整合、数据共享管理、数据质量管理和数据应用；4、结合OSS系统全网建设现状，为ODS-O系统的建设、实施和演进提供了指导思路。,ODS规范,总体规范,技术规范,ITSP2.0,ODS-O规范,系统综述,驱动力,目标,定位,重点专题,数据共享,数据质量,数据应用,规范目标1、ODS-O规范为各省ODS的建设，提供OSS域的建设指导2、ODS-O可根据各省实际，单独建设或建设企业级ODS框架后逐渐收敛OSS域；,EDA1.0,EDW规范,业务需求,技术指南,实施指南,数据整合,目录,系统综述,ODS-O的建设驱动力,ODS-O的规范体系现状及目标,ODS-O的系统定位,ODS-O的系统目标,集团数据交换枢纽,集团,省,本地网,企业应用集成（EAI）,企业应用集成（EAI）,外部认证服务平台,集团CRM,集团计费结算系统,综合服务开通,综合资源,综合网络管理,综合服务开通,综合网络管理,施工调度,综合网络管理,外部认证服务平台,CRM,互联网门户,融合计费,充值平台,综合结算,采集预处理,综合服务保障,自动激活,综合服务保障,专业网络管理,专业网络管理,专业网络管理,BSS,OSS,EDA,企业内部门户,管理支撑系统,MSS,语音门户,互联网门户,10000/10001语音门户,自动激活,自动激活,财务管理,人力资源,供应链,项目管理,管理支撑系统,财务管理,人力资源,供应链,项目管理,OA,KM,内部用户认平台证,企业内部门户,生产分析域,数据应用平台,数据应用,OA,KM,内部用户认平台证,网络运维管理,网络运维管理,综合资源,1.运营数据仓储(ODS)属于企业数据应用,包括按主题分类的面向运营的准实时数据，提供统一的企业数据视图；2.EDA域沿袭“两级系统，三级应用”不变。即系统分省和集团两级建设，集团、省、本地分别按照不同需求使用系统，其中本地数据应用平台使用ODS和EDW的数据或分析结果。3.与EDA1.0相比，ODS不仅包括运营数据的存储，更强调基于运营数据上的分析应用（ITSP2.0）。,ODS在ITSP2.0 IT应用系统远景目标中的位置,依托企业ODS，深化OSS数据管理和数据应用,12,ODS-O在OSS2.5功能蓝图的位置,企业管理O,企业数据架构O,运营管理,OSS数据架构,绩效考核,成本管理,知识管理,供应商管理,运维组织与人员管理,公文流转,工程管理,档案管理,日常事务管理,数据质量,公共管理,数据共享,数据整合,数据应用,代维管理,12,门户,OSS 门户,个人门户,单点登录,移动办公,知识搜索,运维协同,专题论坛,综合信息发布,ODS-O和周边系统的关系,ODS-O的定位ODS-O是ODS（OSS域）的缩写；ODS-O是企业级ODS的一个域是属于EDA的一部分；ODS-O可以单独建设和部署，也可以是ODS系统中的OSS域数据、应用；ODS-O不是最终的建设目标，ODS-O是企业级ODS的一个发展阶段；,ODS-O与生产系统的关系OSS生产系统为ODS-O提供操作型数据；ODS-O系统将整合后的数据共享给OSS生产系统；ODS-O系统与OSS生产系统互相独立、彼此促进；生产系统内小批量，短时间跨度的查询、统计，ODS-O内大数据量、长时间跨度的计算、统计；,ODS-O与EDW的关系ODS-O是EDW重要的O域数据源，EDW根据需求将分析结果反馈ODS-O;ODS-O的应用更多的面向生产运营，EDW更多的面向管理决策；ODS-O的应用以操作型数据和分析型数据结合展现为主，EDW应用以分析型数据为主；ODS-O应用的时间维度以小时和天为主，EDW应用的时间维度以月、年为主；EDW实现了企业内的信息共享，ODS-O实现的是OSS系统的数据共享；,ODS-O与集团ODS的关系省级ODS-O向集团ODS提交各类运行生产数据统计结果，省级ODS-O需按集团统一规划，具备灵活的数据上报定制能力，集团ODS汇总各省ODS数据后统一展现全网的运营生产现状。集团ODS负责从集团级OSS、网元和平台（主要以移动业务平台为主）获取数据，并将数据送达各省ODS-O。各省获得集团数据后，结合本省OSS数据，进行面向运营生产的分析应用,目录,系统综述,ODS-O的建设驱动力,ODS-O的规范体系现状及目标,ODS-O的系统定位,ODS-O的系统目标,ODS-O系统的目标,统一的企业运营数据视图企业运营数据质量提升企业运营数据共享和管理跨系统的生产运营分析及应用,ODS-O刚性落地EDM中OSS域相关的数据模型规则的、总线型、可管控可扩展的数据共享接口提升生产系统的运营效能统一的数据应用和分析平台,两级系统、三级应用省级ODS-O要收敛省级OSS系统、网元/平台和本地OSS系统、网元/平台的数据。省对集团OSS系统及网元/平台的数据需求，由集团ODS到省ODS-O的方式获取。,在实时性满足要求后直接替代数据源系统成为统一的共享数据源。ODS-O实现实时数据共享后，原则上ODS-O是EDW在OSS域(网元/平台)唯一的数据源，EDW不在直接从生产系统提取数据。,业务目标,技术目标,部署目标,发展目标,ODS-O作为企业运营数据平台，收敛各生产系统中的运营数据，按照集团的企业数据模型进行数据整合，提升运营数据质量，提供运营数据共享，支撑跨系统数据的应用，同时也为企业前端、EDW提供标准的运营数据支撑。,总体目标,业务目标1：统一的企业运营数据视图,提供及展现企业统一运营数据视图信息，支撑网运部门更好的使用网络，为客服人员、客户经理和网监人员提供全方位的运营数据信息；建立客户、产品、服务和资源的关联全视图，为服务保障、集中告警等系统提供影响分析、承载关系分析的数据支撑。,资源管理,管线 设备 码号 基站 端局,激活/调度,激活工单 拆单规则 施工工单,服务开通,环节工单 服务定单 定单流程,MSS,固资 工程 财务,网管系统,告警 性能 配置,服务保障,障碍信息,统一的企业运营数据视图(ODS-O),其他系统,其他信息,企业数据模型,业务目标2：企业运营数据质量提升,数据质量校验：根据规则对ODS-O所存储的数据进行一致性、完整性、正确性的校验，形成数据校验结果并交付源业务系统进行修正；数据质量管控：通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控。,数据清洗,数据容错,数据稽核,反馈处理,对单一系统不正确的数据进行过清洗过滤对于系统间不一致数据或错误不做清洗，逐步制定相应规则进行转换,发挥数据共享价值，定义数据质量目标允许系统建设初期及应用接口中数据不一致、不匹配造成的错误，最大限度发挥数据的可用性,针对重点及接口数据建立数据审计规则形成数据稽查报告，促进应用系统升级解决形成批量数量修改脚本进行人工或自动反馈,对反馈结果通过系统接口向源系统进行反馈对需要人工干预的发起相关工作流程,流程,人工,业务目标3：企业运营数据共享和管理,ODS-O为各业务系统提供统一共享数据接口，减少系统间相互接口的重复性，降低接口的复杂度，提高系统间接口效率与质量；ODS-O系统以实时服务调用或准实时数据同步的方式将ODS-O系统内的整合数据向外提供。,ODS-O 数据共享层,服务调用,数据提供,接口共享模式,服务开通,EDW,其他系统,ODS-B,网络资源,业务目标4：跨系统的生产运营分析及应用,ODS-O,ODS-O基于整合的运营数据的统一数据源，提供统一的指标体系，实现企业运营分析指标统一提供和展示；支撑企业运营全业务开通、全障碍流程的KPI考核，提供端到端的全业务流程分析和监视,服务质量分析,数据质量分析,专项分析,服务时限统计分析成功率及时率分析客户网络质量分析,运营考核数据支撑重大保障事件分析重大灾害事件分析割接事件专项分析合作伙伴专题分析特定客户专题分析特定服务专题分析其他专项分析,OSS数据质量核查BSS/OSS数据核查BSS/网元数据核查,部署目标,OSS,BSS/OSS/MSS,BSS/OSS/MSS,统一报表,企业数据应用门户,EDW,统一报表,企业数据应用门户,EDW,本地数据应用平台,生产系统-ODS,ODS-EDW,省ODS/EDW-本地应用平台,省ODS/EDW集团ODS,EDW分析结果反馈,本地网,省公司,集团,1,1,1,2,3,4,5,2,2,3,3,4,4,5,5,数据源系统,数据目标系统,ODS-O,参与人,资源,事件,产品,服务,其它,数据源系统,数据目标系统,ODS-O,参与人,资源,事件,产品,服务,其它,ODS-O建设目标,ODS-O发展目标,实时数据共享,准实时数据共享,数据整合,数据整合,数据共享,发展目标,说明：ODS-O通过提供准实时批量数据和实时查询服务来实现跨系统数据共享，在实时性满足要求后可以直接替代数据源系统成为统一的共享数据源。企业基础数据架构的网状结构将得到较大程度改善，向星型结构发展。原则上ODS-O是EDW在OSS域(含网元/平台)唯一数据源，EDW不在直接从生产系统提取数据,目录,系统综述,系统架构,重点专题,系统演进,集成接口,目录,系统架构,功能架构,数据架构,部署架构,技术架构,ODS-O的功能架构（0级视图）,数据应用：利用整合层和汇总层的数据,通过查询、固定报表、动态报表及计算等基础功能来实现网络能力分析、网络运行分析、服务质量分析、数据质量分析、专项分析等应用。数据共享：基于ODS-O整合后的跨系统数据所形成的统一数据视图，为外围系统提供准实时数据共享服务。数据整合：ODS-O准实时从源系统抽取并整合、汇总数据，形成整合层数据、汇总层数据。数据质量管理：制定质量管理规范，确定相应的工作流程方法，并在系统中实现质量检查、修正、考核功能，形成数据质量管理的闭环机制。公共管理：为系统提供通用的基础服务，包含系统管理和元数据管理功能。,ODS-O的功能架构（1级视图）,公共管理,数据共享,数据整合,系统管理,元数据管理,共享配置管理,数据共享管控,数据共享过程,数据整合过程,数据整合配置,数据应用,基础功能,核心应用,数据质量管理,任务定义配置,稽核过程管控,质量评估考核,数据整合管控,专项分析,ODS-O的功能架构（2级视图）,公共管理,数据共享,数据整合,系统管理,元数据管理,共享配置管理,数据共享管控,数据共享过程,系统用户管理,权限管理,备份与恢复,角色管理,系统日志管理,元数据获取,元数据更新,元数据存储,元数据展现,数据整合过程,数据抽取,数据清洗,数据转换,数据加载,数据整合配置,整合规则配置,整合方式配置,整合频度配置,元数据接口,共享服务配置,共享权限配置,共享配置下发,视图数据共享,小批量数据同步,大批量数据同步,实时数据查询,共享过程监控,过程异常处理,共享日志管理,查询统计分析,数据应用,基础数据配置,基础功能,核心应用,基础查询,批量计算,固定报表,动态报表,数据质量管理,任务定义配置,稽核过程管控,检查过程监控,过程异常处理,质量检查日志,查询统计分析,质量评估与考核,数据修正考核,数据质量报告,异常数据报告,异常通知,稽核任务定义,查询统计分析,检查策略配置,预警策略配置,质量预警告警,数据阀值监控,策略调度,数据整合管控,整合异常控制,整合任务管理,整合查询统计,专项分析,组织管理,网络能力分析,网络运行分析,服务质量分析,数据质量分析,目录,系统架构,功能架构,数据架构,部署架构,技术架构,目标数据架构远景（ITSP2.0）,设计目标:保证信息共享提升数据质量整合数据应用设计要点:模型定义关联生产与分析分离明确元数据和主数据增强数据管控,28,ODS-O的数据架构,元数据层,汇总数据层,接口数据层,整合数据层,参与人,产品,事件,资源,地域,服务,数据共享层,ODS-B/BSS,综合网管,服务质量,服务保障,服务开通,自动激活,资源管理,网络运维,EDW,系统数据架构说明：ODS-O接口数据层 存储从源系统抽取的数据，数据模型与源系统保持一致；ODS-O整合数据层 对接口层数据进行清洗、转换、整合，形成整合数据层，整合数据层存储ODS-O 的核心数据；ODS-O汇总数据层 对整合层的数据进行统计、计算形成汇总层的数据。汇总层数据主要是面向应用的；ODS-O数据共享层 基于 ODS-O 中收敛整合好的数据，对外提供数据共享。数据共享层原则上不存储数据；ODS-O元数据层 ODS-O系统建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。,源系统数据,汇总数据,OSS/业务平台,服务开通,服务保障,施工调度,网络运维,传输网管,交换网管,C网网管,数据网管,资源管理,综合网管,测试管理,自动激活,服务质量,信令监测,ISMP,ODS-B/BSS,ODS-M/MSS,商务领航,号百平台,EDW,目录,系统架构,功能架构,数据架构,部署架构,技术架构,技术架构,数据层,ETL平台,应用集成平台,报表平台,数据服务层,集成接口服务,公共支撑框架,业务逻辑层,控制层,客户端,其他外部系统,ODS-O,数据整合：1：外部系统ETL平台数据层；2：外部系统应用集成平台集成接口服务数据服务层数据层数据共享：1：数据层数据服务层集成接口服务应用集成平台外部系统2：数据层ETL平台外部系统数据应用：1：数据层报表平台界面展现层客户端；2：数据层数据服务层业务逻辑层控制层界面展现层客户端。,同功能架构的关系,报表平台和ETL平台可以作为企业级平台独立于ODS-O系统,界面展现层,目录,系统架构,功能架构,数据架构,部署架构,技术架构,部署架构,数据层,ETL平台,报表平台,数据服务层,集成接口服务,业务逻辑层,控制层,ODS-O,界面展现层,生产数据库 服务器,分析数据库服务器,ETL服务器,报表服务器,应用服务器,WEB服务器,接口服务器,数据层,数据层,数据层,数据层,ETL平台,ETL平台,数据服务层,业务逻辑层,业务逻辑层,数据访问层,控制层,界面展现层,界面展现层,控制层,报表平台,报表平台,集成接口服务,集成接口服务,1.各平台均可独立部署，也可以与其他服务器合并部署,2.从实际情况出发，可以考虑应用服务器与WEB服务器合并,3.报表服务器和ETL服务器可以考虑与其他系统的合设，作为企业级平台,4.所有服务器都省集中部署,目录,系统综述,系统架构,重点专题,系统演进,集成接口,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,数据分类及抽取原则,数据整合功能设计,数据整合概述,ODS-O数据应用专题,ODS-O数据整合专题,ODS-O数据整合概述,整合数据源,服务开通,服务保障,施工调度,网络运维,资源管理,测试管理,综合网管,自动激活,传输网管,交换网管,C网网管,数据网管,信令监测,服务质量,ISMP,商务领航,号百平台,ODS-B/BSS,ODS-M/MSS,数据整合框架,ODS-O整合层数据,数据整合目标,说明：数据整合完成从数据源到ODS-O系统数据整合层数据的抽取、清洗、转换、加载等功能。整个数据整合包括数据整合配置，数据整合过程、数据整合管控三个部分。数据整合过程包含了数据抽取和数据加工两大部分，共同完成生产系统数据从源系统到数据整合层的过程，为ODS-O系统提供核心数据。,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,数据分类及抽取原则,数据整合功能设计,数据整合概述,ODS-O数据应用专题,ODS-O数据整合专题,ODS-O数据分类,元数据,主数据,资源主数据,产品主数据,客户主数据,运营交易数据,网络事件数据,开通类运营交易数据,调度类运营交易数据,保障类运营交易数据,告警类网络事件数据,性能类网络事件数据,信令类网络事件数据,测试类网络事件数据,业务型元数据,技术型元数据,关系型元数据,操作型元数据,运维类运营交易数据,其他类主数据,其他类运营交易数据,其他类网络事件数据,元数据：是关于数据的数据，是对数据的含义、功能、来源的描述，有关数据源定义，目标定义，转换规则，数据共享规则和数据质量检查规则等相关的数据,主数据：在多个运营系统中被重复使用，一旦产生，需要经常对其进行维护，是企业核心业务实体的数据,运营交易数据：运营生产过程中在某一个时间点上发生的业务事件数据，相对稳定，无需维护。,网络事件数据：网络运行过程中在某一个时间点上发生的网络事件数据，相对稳定，无需维护。,同数据源的抽取接口要尽量减少，避免重复抽取。ODS-O系统已经具备的系统接口，其他系统应该同ODS-O实现接口共享数据。,一次抽取原则,ODS-O数据整合-数据抽取原则,为不影响数据源的性能，ODS-O系统应该优先从备机（设备、系统）抽取数据。,备机抽取原则,没有备机的数据源，为不影响数据源的生产运行，ODS-O系统应该尽量在空闲时间抽取（设备、系统）数据。,空闲抽取原则,增量优先原则,为达到ODS-O系统准实时的要求，如果源系统提供实时/准实时的接口，ODS-O系统要实现实时数据抽取的接口。,实时抽取原则,源数据的抽取，应遵自顶向下的原则。即遵循综合网管/ODS-B，专业网管/BSS/MSS，网元/平台的先后顺序，上一层采集源无法满足要求，再考虑下一层采集源。,自顶向下原则,1.数据抽取不影响源系统的性能.2.在不影响源系统性能的前提下，ODS-O系统抽取的数据要尽量实时.3.控制数据抽取过程中产生的流量不会对源系统和网络产生影响.,原则设计目标,在源系统数据有时间戳的情况下，应优先实现增量抽取，并定期进行全量同步。,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,数据分类及抽取原则,数据整合功能设计,数据整合概述,ODS-O数据应用专题,ODS-O数据整合专题,ODS-O数据整合功能设计,数据整合管理,数据整合过程,数据整合管控,数据抽取,数据清洗,数据转换,整合异常管控,整合任务管理,0级功能域,1级功能域,2级功能域,数据加载,简述：ODS-O通过多种技术准实时从源系统中抽取数据，抽取来的数据首先到达ODS-O的接口数据层，然后经过清洗、转换和加载等工作到达整合数据层，形成ODS-O的核心数据。数据整合域功能主要包括数据整合配置和数据整合过程、数据整合管控三大部分。,数据整合配置,整合方式配置,整合规则配置,整合频度配置,整合查询统计,ODS-O数据整合功能-数据整合配置,整合规则配置,整合规则是在数据整合过程中，各个阶段对数据处理的约束和要求，对数据的来源和操作明确需要遵循的规定。,整合方式配置,整合方式是为数据整合过程制定的实现途径，针对不同的数据特性和不同的整合阶段，选择最优的实现途径。,整合频度配置,整合频度是为选择的整合方式确定实现的周期，时间点，需要从数据源系统的生产压力、系统架构等方面来综合考虑频度。,整合规则配置功能-整合规则的配置具有针对性、灵活性、细粒度的特点。整合规则包括数据抽取的来源配置、数据抽取的范围配置、数据抽取的清洗配置、数据抽取的转换配置、数据抽取的加载配置等。,整合方式配置功能 整合方式配置包括数据抽取方式的配置，如数据抽取方式包括全量，增量方式，数据加工方式的配置，如数据加载方式可以分为直接追加，全部覆盖。,整合频度配置功能 提供不同级别的数据更新频度，如秒级、分钟级、小时级、天或更长时间（包括 周和月）提供特殊情况频度配置功能，如数据抽取时间和源系统的输出月报时间重合，则应该顺延到下一个采集周期，避免对源系统造成过大压力,ODS-O数据整合功能-数据整合过程,数据抽取功能 具备增量/全量、异步/同步等多种抽取方式。具备多种不同系统平台和数据类型的数据抽取。包括各种关系型数据库系统、各种 文件格式的源数据等。具备ETL平台抽取、应用集成平台、数据库同步等数据抽取的技术实现方式；数据抽取策略 源数据具有数据量大、数据分散、业务系统工作负荷重，业务系统性能，实时性要求高等特点。在进行数据抽取时，需要重点考虑数据抽取的效率，以及对现有业务系统性能及安全的影响。需要从抽取方式、抽取时机、抽取周期综合考虑制定抽取策略。数据抽取接口包括数据库接口和文件接口等形式，对于不同数据平台、不同源数据形式、不同性能要求和业务量的业务系统以及不同数据量的源数据，采取不同的数据抽取接口。,数据整合过程数据抽取,数据抽取是指 ODS-O从源系统获取数据，在实施时需要综合考虑业务需求、抽取效率、源系统代价等因素确定抽取策略，抽取策略包括抽取方式（增量、全量）、抽取时机、抽取周期等.。,ODS-O数据整合功能-数据整合过程,数据清洗功能典型的数据清洗过程包含以下环节：元素化、标准化、排错校验、去重匹配、错重消除和归档。数据清洗策略 不完整数据：原因是由于一些应该有的信息缺失，如供应商的名称、分公司的名称等。要求在规定的时间内补全。补全后才写入ODS-O数据库错误的数据：原因是由于源系统数据检查不够健全，在接收输入后没有进行判断直接写入后台数据库造成的。需要在源数据中挑选出来，交由业务主管部门要求限期修正，修正之后再抽取重复的数据：原因是由于源系统的数据模型存在不足，主键或者约束存在缺陷。要求由源系统进行数据模型完善，否则由源系统整理数据后继续抽取,数据清洗的任务是过滤不符合要求的数据，并将过滤的结果提交数据主管系统（部门），确认是否由业务单位修正之后再进行抽取。不符合要求的数据主要有不完整的数据、错误的数据和重复的数据三大类。,数据整合过程数据清洗,ODS-O数据整合功能-数据整合过程,数据转换功能数据转换功能应支持在不同源系统之间数据转换，支持不同的数据源系统平台，支持数据的定义、数据结构和错误数据的转换处理。数据转换策略 格式转换：格式转换包括数据类型转换，数据精度转换，空值（NULL）判断处理，字符串处理，日期格式处理，参照转换，数据拆分和组合等。数据翻译：在映射的过程中，有些信息是直接可以从源数据得到的，如0代表性别女，1代表性别男等。而有些并不能从源数据直接得到，需要对源数据进行一定的计算、合并、拆分等翻译操作，如建立源数据表、字段与目标的数据表、字段的对应关系等。数据衍生：ODS-O系统中的数据围绕企业的生产运营分析应用，因此存在大量的上下文信息，源系统的数据需要提炼出来才能为ODS-O系统所使用。,数据整合过程数据转换,数据转换包括格式转换、数据翻译、数据衍生、简单的数据聚合等。多数情况下，数据源到ODS-O之间主要的转换是格式转换、数据翻译、数据衍生，而复杂的数据聚合以及其他复杂计算主要在数据汇总时出现。,ODS-O数据整合功能-数据整合过程,数据加载功能 批量数据的数据库直接加载，支持多个数据库连接，能够进行大量数据的并行 加载 自动与手工预加载的流程。当日常数据加载出错，一般可以采用人工干预的方式来进行 多种加载数据的方式，如直接追加、全部覆盖、更新追加数据加载策略 直接追加：是指每次加载时直接将数据追加到目的表中。对于事件数据，一般采用 此方法，开通类、调度类等数据可以采用直接追加的方式 全部覆盖：对于抽取数据本身已包括了数据的当前和所有历史状况，对目标表采用 全部覆盖方式。如资源服务规格、专业服务规格等数据可以全部覆盖的方式；更新追加：对于需要连续记录业务的状态变化，用当前的最新状态同历史状态数据 进行对比的情况采用更新追加的方式。如客户、产品、资源数据的加载,数据整合过程数据加载,数据加载是指将抽取、清洗和转换后的数据加载到ODS-O中，包括数据行加载和数据块加载。在综合考虑效率和业务实现等因素基础上确定数据加载周期和数据加载策略。,ODS-O数据整合功能-数据整合管控,整合异常管控功能 校验点。当外部数据记录特别庞大时，如果因为某种原因发生故障中断后，可以从最近的校验点开始处恢复处理。外部数据记录的错误限制定义，同时将发生错误的数据记录输出。,整合异常管控,通过总数据量和有效数据量、拒绝数据量等方面评估数据整合的具体运行情况，以发现数据整合过程中有关数据的问题，并进行必要的处理。,整合任务管理功能 任务属性配置，可以对各项任务的属性进行配置，确定任务执行应用的整合方式和整合规则。总任务、分任务的调度，使其按照设置条件自动按序执行任务，提供任务监控的视图。,整合任务管理,任务管理主要包括初始化任务、任务监控、任务异常处理，任务中断，任务回退等，同时对并发任务、高负载任务有良好的管理和预警机制。,整合查询功能 按照多种条件进行组合查询，可以查询各个阶段的运行结果。详尽整合过程查询统计，包括每个过程的最终结果和反馈结果,整合查询统计,对整合过程产生的各种反馈数据、中间数据、异常数据和任务执行情况等服务提供查询、统计和分析功能,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,OSS数据共享现状与问题,OSS数据共享的ODS-O支撑,共享数据识别与编码要求,ODS-O数据应用专题,ODS-O数据整合专题,某省调研实例,问题,OSS数据共享现状与问题,系统间两两互联访问对方的数据系统间数据依赖成复杂不规则网状结构数据通道缺乏统一规划部分数据所有者不清晰,接口情况：总共1491个，其中：OSS域内系统间：1124个OSS-BSS域系统间：344个OSS-MSS域系统间：17个OSS域省与集团间：2个,现状,数据一致性得不到保证逻辑关系复杂，牵一发动全身接口众多，增加开发和运维成本供应商定制开发系统不可替换,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,OSS数据共享现状与问题,OSS数据共享的ODS-O支撑,共享数据识别与编码要求,ODS-O数据应用专题,ODS-O数据整合专题,ODS-O数据共享总体思路,ODS-O数据实时性不能满足生产系统要求的查询接口和数据同步直接由源系统提供,EDA域内的数据共享由ODS-O直接开放视图,ODS-O数据实时性能够满足生产系统要求的查询接口和数据同步由ODS-O提供,ODS-O负责OSS域内数据共享（同步）的配置和管控,数据共享总体思路,1,2,3,4,改造不规则网状数据接口为星型接口,原则上，系统间需要共享的数据查询和批量数据同步都需要经过ODS-O进行清洗、转换、存储和共享发布；由于技术的限制，ODS-O数据实时性满足不了生产系统要求的，可以直接由生产系统进行提供，随着技术的发展，ODS-O数据实时性能够满足要求的，则改由ODS-O提供。,描述,ODS-O数据共享总体思路流程图,是否重新开始,由ODS-O提供数据查询和数据同步,结束,开始,目标系统业务需要的数据更新周期=ODS-O系统的数据更新周期,由源系统提供数据查询和数据同步,目标系统是否是EDA域系统,目标系统是否是OSS域系统,由ODS-O开放数据视图,异常处理,是,否,是,是,否,否,是,ODS-O数据共享方案设计,EDA,OSS,ODS-O,数据提供,视图,服务调用,数据共享管控,ODS-B,ODS-M,EDW,数据整合,数据共享,数据共享,企业应用集成平台,ODS-O数据共享过程交互,数据共享过程,数据视图共享,实时数据查询,小批量数据同步,大批量数据同步,通过开放视图，目标系统通过ETL直接抽取,ODS-O数据共享过程交互,数据共享过程,数据视图共享,实时数据查询,小批量数据同步,大批量数据同步,通过应用集成平台调用实时数据查询服务,ODS-O数据共享过程交互,数据共享过程,数据视图共享,实时数据查询,小批量数据同步,大批量数据同步,通过应用集成平台的异步消息实现,ODS-O数据共享过程交互,数据共享过程,数据视图共享,实时数据查询,小批量数据同步,大批量数据同步,通过应用集成平台异步消息接口表/文件实现,发送系统接收系统共享数据类型区域标识 发送时间消息ID消息描述使用的消息模板消息模板版本消息类别批次号增量/全量实时/非实时同步/异步大批量/小批量更新周期本批次更新记录数承载类型(xml/接口表),ODS-O数据共享消息格式,示例,ODS-O数据共享全过程,数据整合,元数据描述,数据共享,管控分析,1,2,3,4,能够对数据共享功能域中使用到的元数据进行配置，包括使用共享数据系统的配置、共享数据实体的数据结构和语义描述、共享方式等。关联系统描述：管理共享数据关联到的系统，并对系统进行相关的描述共享实体描述：共享数据实体进行标识、名称、来源系统、字段描述等共享方式描述：承载方式、增/全量等,以提高数据质量和数据标准化为目的，包括：数据抽取：从数据源系统获取数据，需要考虑 抽取策略包括增量/全量、抽取时机、抽取周期等。数据清洗：主要是指清除对系统无用的或者不符合数据格式规范的“脏数据”,如：数据的完整性及一致性检查，噪声数据处理，缺失数据填充，重复记录消除。数据转换：主要是将源系统的数据按照企业数据模型进行转换，如数据格式和数据类型转换、数据翻译、数据匹配、数据聚合以及其他复杂计算等。数据加载：指将抽取转换后的数据加载到ODS 中，包括数据行加载和数据块加载。,基于整合后的标准数据，共享给外部系统，包括：共享配置：数据服务定义、数据服务目录、数据服务参数配置（如：目标系统、共享方式、数据承载方式、访问频率、访问允许时段）等。数据视图：目标系统是EDA域内系统，直接开放视图访问权限，由目标系统通过ETL进行数据抽取。服务提供：目标系统是OSS内部系统，由目标系统直接通过应用集成平台调用ODS-O提供的数据查询服务，完成数据查询。数据同步：目标系统是OSS内部系统，批量数据通过消息/消息接口表/文件同步给目标系统。,各数据共享过程进行监控、异常处理、日志管理，并对数据共享相关的数据提供查询统计和分析功能。共享过程监控：对共享过程提供监控手段，发现异常能够实时告警，同时监控各系统是否正常按照配置规则进行数据共享。过程异常处理：对共享过程中产生的异常，提供处理手段，或者提供接口派单至保障系统进行处理。共享日志管理：对共享过程中产生的各种日志能够进行查询和清理，包括配置日志、共享日志、异常日志等。查询统计分析：对共享过程产生的控制消息、共享数据、共享数据服务提供查询、统计和分析功能。,ODS-O数据共享功能设计,数据共享,共享配置管理,数据共享过程,数据共享管控,基础数据配置,共享服务配置,共享权限配置,共享配置下发,数据视图共享,实时数据查询,小批量数据同步,大批量数据同步,共享过程监控,过程异常处理,共享日志管理,查询统计分析,0级功能域,1级功能域,2级功能域,简述：共享配置管理对共享数据内容和共享规则进行配置数据共享过程通过各种方式实现不同数据的共享数据共享管控对数据共享过程进行监控、异常处理、日志管理，并提供查询统计和分析功能。,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,OSS数据共享现状与问题,OSS数据共享的ODS-O支撑,共享数据识别与编码要求,ODS-O数据应用专题,ODS-O数据整合专题,ODS-O共享数据的识别,ODS-O共享数据集合,1、不同OSS系统内存在相对静态数据的副本，副本数据应该通过ODS-O共享，如客户资 料；2、同一对象、关系在不同OSS系统内进行管理，描述不完整，如客户-产品-资源；3、同一数据多个OSS系统使用，分担源系统压力，-如：地址、客户。,识别原则,ODS-O共享数据集合,ODS-O共享数据模型,数据编码相关规范要求,ODS-O共享数据编码要求,1,2,3,4,其他要求,共享数据编码体现如下三类编码：实体编码、上级编码、内部编码共享数据编码实现需要管理和各IT系统强制落地，编码制定需要在实施难度和实施成本上进行权衡和综合考虑,唯一性,源系统负责生成和维护共享数据实体内部数据编码，保证其生成数据内部编码在系统间的唯一性ODS-O在数据整合过程中，会负责检查源系统数据编码的规范性和唯一性。,继承性,对集团下发的各类共享数据编码规范要有继承性：如客户编码规范、产品编码规范、资源编码规范、主数据编码规范对集团未规范的共享数据实体，由省公司参照集团下发的编码规范进行制定，如产品实例编码,可读性,统一编码具有可读性，不使用数据库序列号直接生成，需要进行加工和含义描述统一编码中遵循相应的规则约束，具有关键属性标识,OSS共享数据编码,统一的共享数据实体标准编码是系统之间共享数据交互的基础。各系统均应以发布的标准编码在系统间进行共享数据相关信息的查询、关联和同步，以实现系统间数据信息一致性。,目录,重点专题,OSS数据共享管理专题,OSS数据质量管理专题,ODS-O数据应用专题,数据质量管