中国电信集团公司CTGMBOSS总体规范.doc

《中国电信集团公司CTGMBOSS总体规范.doc》由会员分享，可在线阅读，更多相关《中国电信集团公司CTGMBOSS总体规范.doc（75页珍藏版）》请在三一办公上搜索。

1、EDA-ODS：总体规范版本1.0中国电信集团公司2007年7月目 录1文档说明11.1编制说明11.2适用范围21.3起草单位21.4解释权21.5版权22系统综述32.1驱动力32.1.1业务发展的需要32.1.2数据共享的需要42.1.3数据质量提升的需要52.2系统定位62.3业务目标72.3.1统一准实时数据共享82.3.2生产经营数据质量检查82.3.3统一客户视图的提供及展示82.3.4生产经营报表统一的提供和展示92.3.5关键生产经营绩效指标与经营风险的监控92.3.6生产经营过程所需跨系统数据的批量计算92.4系统目标102.4.1数据整合102.4.2数据共享102.4.

2、3数据应用112.4.4数据质量管控123系统架构133.1数据架构133.1.1接口数据层133.1.2整合数据层143.1.3汇总数据层143.1.4数据共享层143.1.5元数据层153.2功能架构153.3技术架构174系统边界184.1ODS与生产系统184.1.1ODS和生产系统对比分析184.1.2ODS系统和生产系统功能边界划分204.2ODS与EDW224.2.1ODS和EDW对比分析224.2.2ODS系统和EDW区别与功能边界划分244.2.3ODS与EDW在企业数据架构下有效协作275系统演进285.1系统演进总体论述285.2系统演进阶段285.2.1数据整合阶段28

3、5.2.2应用开发阶段325.2.3完善提升阶段376附录396.1主要编制人员396.2术语解释406.3ODS业务应用406.3.1业务应用蓝图416.3.2售前环节416.3.3售中环节456.3.4售后环节516.3.5其他综合应用566.4系统实施演进表671 文档说明1.1 编制说明中国电信集团明确提出了客户品牌统领市场经营工作的要求，在市场经营的各项具体工作中细化和逐步落实客户化经营思路，适应以“产品”为中心向以“客户”为中心的转变，要求在市场经营的各项具体工作中细化和逐步落实客户化经营思路。市场的转型对于IT系统固化以客户为中心的市场计划、营销策划、销售、服务、统计分析等工作提

4、出了更高的要求，需要相关流程的变更和优化，需要建立和应用360度客户统一视图信息，在各环节中应用客户统一视图信息，同时实现信息在各渠道和前后端的进一步共享。在客户化流程的设计中我们发现客户服务和营销过程越来越依赖于频繁地查询集成的客户信息，这些都需要跨系统运营数据的支撑；同时，由于各系统数据标准不一致，存在同样信息在不同系统中取值不同的现象，带来了信息的不一致，无法取得一致的统计分析数据，不利于企业的精确化管理，给业务发展带来一定影响。中国电信ITSP1.0和CTG-MBOSS规范中提出的ODS（运营数据仓储）对于解决以上问题是及时和有效的。ODS是中国电信IT架构中的重要组成部分，在ITSP

5、1.0和CTG-MBOSS中已经明确了其在企业信息化系统中的定位：即数据整合（承载客户统一视图）、数据共享、跨系统数据应用和数据质量检查。随着CRM、计费、服务开通、资源等核心IT系统建设的逐步开展，尤其是CRM、计费省集中系统的逐步到位以及客户品牌统领市场经营工作对IT固化生产流程的迫切要求，使得ODS成为承载企业数据模型及数据标准，并据此整合各系统数据以实现企业跨系统数据共享，提供跨系统数据应用，提升数据质量的最好承载平台。因此，作为对中国电信CTG-MBOSS系列规范的必要补充，统一各省和系统集成商的认识，解决以上问题，我们制定了中国电信运营数据仓储（简称ODS）相关规范，主要包含CTG

6、-MBOSS EDA-ODS：总体规范V1.0（以下简称ODS总体规范）和CTG-MBOSS EDA-ODS：技术规范V1.0（以下简称ODS技术规范）。ODS总体规范主要介绍了ODS系统建设驱动力、业务目标、系统目标、系统架构、系统边界及系统演进等方面的内容，明确指出了中国电信ODS系统的定位、功能及与其它周边系统的边界划分原则。ODS总体规范从定位和系统边界上指导各省ODS的建设。ODS技术规范主要介绍了ODS系统技术架构、功能框架、系统总体及各功能域各自的技术特点和技术要求以及ODS系统实施与系统部署等方面的内容。ODS技术规范从技术和实施角度指导各省ODS的建设。与此规范配套下发的还有

7、中国电信EDM模型3.0，其中BSS部分设计了细化到具有物理模型特征的逻辑模型，此部分作为ODS规范的重要组成部分，直接作为ODS整合层数据模型的实施要求。1.2 适用范围本规范适用的范围为中国电信集团公司。1.3 起草单位本规范起草单位为中国电信集团公司。（参加ODS总体规范编写的人员名单见附录一。）1.4 解释权本规范的解释权属于中国电信集团公司。1.5 版权本规范的版权属于中国电信集团公司。2 系统综述2.1 驱动力客户品牌统领的市场经营工作带来了市场经营工作的巨大转型，对信息化也提出了很高的转型要求，IT系统需要围绕市场转型，实现从单一产品为中心向客户为中心的支撑能力的提升。客户品牌统

8、领的市场经营工作对统一的客户信息视图提出了更高的要求，要求企业的销售品策划、销售过程、服务过程，以及后续的统计、分析、考核等均以客户为中心开展，这就要求在新老系统并存支撑市场经营工作快速转型的过程中，有一个跨系统的数据共享平台，支撑售前、售中、售后不同环节的跨系统数据应用需求。同时，精确管理也迫切要求实现统一的运营数据标准，提高数据共享的效率和准确率，提升数据质量；另外，通过数据的整合与信息的有效共享，也将推动企业业务流程逐步优化。在ITSP的指导下，各省MBOSS系统按照“松耦合、模块化、可配置”的基本架构原则进行实施，以灵活快速支撑不断变化的市场需求。“松耦合”专业化的架构设计原则要求建设

9、MSS、BSS、OSS、EDA四大系统域以及各子系统，多个系统间数据的共享及跨系统数据的应用支撑就成为IT本身面临和需要解决的重要问题，需要在IT架构中明确采用跨系统的数据共享平台予以解决，依据ITSP规划及CTG-MBOSS规范指导，企业运营数据仓储（ODS）便是这样一个跨系统的数据共享平台。具体讲，ODS的建设驱动力主要是解决业务发展的需要、IT系统间数据共享的需要及企业数据质量提升的需要等三个方面要求，具体如下所述：2.1.1 业务发展的需要1. 客户品牌经营的需要 1）客户品牌经营需要IT系统能够向营销、销售、服务人员提供360度的统一数据视图数据，如客户数据，产品数据，但是这些核心数

10、据目前分布在多个IT系统中，EDW系统虽然整合了部分数据，但是其整合频率较低，不能够满足数据实时/准实时性数据提供的要求；2）客户品牌经营要求针对客户进行完整的的评价，如客户积分、信用度计算等，并将结果应用到客户营销、销售和服务工作中，但是目前客户数据分散在的多个IT系统中，难以对于客户进行完整的评价。2. 精确管理的需要 1）精确管理需要对市场计划、营销活动与销售、服务等售前、售中、售后关键环节（如订单、工单、故障单等）的执行情况进行统计与监控，及时反应企业的生产经营效率； 2）精确管理要求IT系统能够迅速的反映各部门、各团队或各渠道关于用户发展数、业务量、收入等关键绩效指标，通过KPI和实

11、际完成状况的关联，完成对各部门、团队或渠道的KPI指标进行统计、监控，其结果也能反馈给管理部门以便迅速地做下一步决策； 3）精确管理要求实现统一企业经营报表的数据源，形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经营报表的统一提供和展示，实现“商务领航”等客户品牌统计指标体系，实现客户、产品、量收等多维度的报表需求，解决CRM、计费等生产系统分别按照本系统的自有数据向外提供经营报表，数据标准不统一造成同一统计指标的差异性等问题。要解决以上业务发展问题，都需要时效性较高的跨系统数据支撑，现存的任何一个单独IT系统都无法有效支撑以上业务发展的需要，因此，迫切需要建设一个准实时地整合跨系

12、统数据的IT系统，而企业运营数据仓储（ODS）便是有效支撑以上业务发展需求的一个很好的承载平台。2.1.2 数据共享的需要1. 快速支撑跨系统应用的需要越来越多的跨系统应用需要同时来自多个生产系统的数据进行支撑。将各生产系统数据准实时整合到统一的数据共享平台上，有利于提高数据共享能力，实现跨系统应用的快速支撑。同时，基于准实时数据共享平台实现一些基于企业运营数据的统计、监控及计算类的应用，同时可减轻生产系统的压力，使生产系统专注于生产运营，提高专业化运作效率，降低企业运营成本。2. 促进企业数据模型（EDM）落地企业数据模型描述了中国电信在业务运营和管理中所涉及的核心业务概念和关系，作为企业的

13、数据标准指导各个应用系统的数据模型统一设计，从根本上保证系统之间数据理解的一致性。由于很多系统建设早于企业数据模型的发布，很多系统在实施中以功能建设为主，对数据模型的设计不够重视，造成各系统间概念不统一、数据模型不一致，数据共享困难，数据转换存在信息丢失。因此，建设基于企业数据模型的数据共享平台，形成中国电信企业层面的统一信息视图，并在整合各生产系统数据过程中，发现生产系统数据模型与企业数据模型的差异，能够促进各系统的数据模型逐渐统一到企业数据模型。3. 形成企业标准数据，解决多系统间网状数据接口的需要目前，同一数据分散在多个不同的生产系统（如CRM、计费、渠道、10000号等）中，数据通过系

14、统之间的网状接口进行共享，由于不同的数据提供系统存在不同的数据接口标准，这种方式增加了接口的复杂性，增加了生产系统的接口负担并造成了升级困难。因此建立企业数据共享平台，明确数据的唯一来源，形成企业的标准数据，保证数据的完整性、准确性和一致性，一方面通过ODS为各系统提供集中一致的数据共享服务，另一方面能降低系统间网状接口的复杂性，减少单一系统的升级改造对周边系统的影响，降低生产系统的生产压力。2.1.3 数据质量提升的需要伴随着各生产系统的建设和改造，由于种种历史原因，存在生产系统之间数据不一致，数据质量差等问题。为了解决以上的数据质量问题，通过建立企业数据共享平台，在收敛全企业生产系统运营数

15、据的过程中，采用数据检查稽核手段及完善的数据管控流程，能够发现源生产系统的数据质量问题，以促进各生产系统数据质量的持续提升。2.2 系统定位为解决业务发展中的存在的问题，需要建设一个跨系统的数据共享平台以支撑售前、售中、售后不同环节的业务流程对跨系统数据应用需求。ODS便是这样一个跨系统运营数据的共享平台，承接操作环境和分析环境。早在中国电信的ITSP规划及CTG-MBOSS规划中已经明确了建设ODS（运营数据仓储），使之成为企业级跨系统共享数据平台的必要性，为ODS给出了明确的定位。根据ITSP规划，中国电信的企业信息化体系由管理支撑系统（MSS）、业务支撑系统（BSS）和运营支撑系统（OS

16、S）组成，统称为CTG-MBOSS。CTG-MBOSS的基础架构包括企业应用整合平台（EAI）、企业数据架构(数据模型、运营数据仓储ODS、数据仓库)、数据中心、DCN网络等。如下图所示：图21 ODS在ITSP中的定位企业数据架构建立在统一的数据模型基础上，由应用系统自有数据库、运营数据仓储(ODS)、数据仓库(DW)三个层面组成。其中ODS存储按主题分类的面向运营的准实时数据，提供统一的企业数据视图；应用系统自有数据库存储该应用系统内部实时交易数据；DW存储面向经营决策分析的历史数据。在中国电信CTG-MBOSS规范中，运营数据仓储(ODS)是企业数据架构的一个组成，ODS在CTG-MBO

17、SS企业数据架构的位置如图所示： 图22 ODS在CTG-MBOSS中的定位运营数据仓储(ODS)处于操作环境和分析环境之间。ODS对应用系统产生的数据进行清洗、过滤和整合，是提供给企业数据仓库高质量数据的重要来源之一，同时为各个应用系统提供近实时的运营报表等跨系统共享数据服务。在企业运营层，对于需要同时利用跨系统的操作型数据和相关分析结果数据的协作型应用需求，ODS也起到关键支撑作用。遵照ITSP和CTG-MBOSS对于ODS的定位，结合企业目前的业务发展需要、数据共享需要及数据质量提升需要，提出ODS系统的目标如下：2.3 业务目标ODS作为一个独立的系统，是企业数据架构的重要组成部分。O

18、DS完成跨系统数据整合后，可实现以下的业务支撑目标：2.3.1 统一准实时数据共享ODS为企业各生产系统提供统一共享数据接口，减少系统间相互接口的重复性，降低接口的复杂程度，提高系统间接口效率与质量，同时为跨系统数据应用提供数据支撑。ODS作为中国电信企业运营数据共享平台，不仅仅是中国电信各业务部门和企业管理层获取统计数据的唯一来源，同时也是国家公安与安全机构、金融机构等外部机构获取中国电信运营数据的来源。2.3.2 生产经营数据质量检查生产经营的数据质量不高对企业收益、客户服务和日常业务流程都会带来很大影响。ODS作为收纳企业运营数据的仓储中心，是提升生产运营数据质量的很好承载平台。ODS系

19、统对抽取到的各生产系统的数据进行属性合法性检查、数据表关联性检查、数据比对稽核等以发现数据质量问题，提交给源生产系统做数据的修正后再提交给ODS系统，形成这样一个数据质量管理的闭环流程，提升生产经营数据质量。另外ODS通过向其它应用提供经过数据质量提升、标准化后的数据，可促进企业标准化数据的应用。2.3.3 统一客户视图的提供及展示中国电信通过前台营业厅、网上客服中心、10000号等多种渠道向客户提供销售服务，基于ODS实现统一客户视图信息的共享，在各个接触点上提供及展现统一的客户视图信息，支撑营销、销售、服务等多个层面快速准确地获取客户、产品等信息，能提升客户感知。ODS能够支持营销人员获得

20、营销活动所需的市场统计数据和目标客户数据，以便进行精确化营销；能够支撑销售人员通过统一客户视图信息及其统计数据的即席查询，以发现客户需求，增加销售机会；能够支撑服务人员通过跨系统数据的支撑，了解客户全方位的信息，以进行客户分等级服务等工作。2.3.4 生产经营报表统一的提供和展示目前，CRM、计费等生产系统分别按照本系统的自有数据向外提供经营报表，不同部门对数据的时间和业务概念理解不一致，造成不同系统的报表有差异，同时手工进行报表拼凑也会造成差异。于是，产生了不同部门有差异不同组织层级有差异的报表，而且大量需求不固定的对外报表提供对生产系统性能影响很大，不利于生产系统核心事务处理的稳定运行。因

21、此，通过ODS统一企业经营报表的数据源，形成统一的指标体系，并通过统一的企业数据应用门户，实现企业经营报表的统一提供和展示，以支撑客户品牌统领的市场经营工作和精确化管理需要。2.3.5 关键生产经营绩效指标与经营风险的监控全过程的营销支撑需要对市场计划、营销活动、销售活动等各项工作进行事前预测和事中监控，ODS能够基于从各生产系统搜集到市场营销与销售的相关信息，对市场营销与销售业绩完成情况进行统计，并通过客户发展、业务量、收入等关键绩效指标和实际完成状况的关联，完成对各部门、团队或渠道的关键生产经营绩效指标的监控与考核。通过客户发展、业务量、收入等指标与过网数据、竞争数据的关联，能够进行风险的

22、预警和监控。2.3.6 生产经营过程所需跨系统数据的批量计算为了支撑客户品牌经营工作的开展，实现基于客户品牌维度的相关量收指标统计，需要实现“商务领航”和“我的e家”等客户品牌的标注；为了更好地提升客户管理能力，需要建立客户积分、信用度等客户评价体系；为了加强代理商的管理，发展优质客户，需要复杂、完善的渠道佣金计算支持。随着以“产品”为中心向以“客户”为中心的转型，越来越多经营过程中所需的基于跨系统大量细节数据的批量计算功能都需要ODS提供。除以上几大类的业务目标外， ODS上还可根据业务发展需要不断扩展其上可支撑的业务功能，可扩展业务功能范围的总体原则需遵循本规范2.4节明确的ODS系统目标

23、及第5章“系统边界”中制定的边界划分原则。2.4 系统目标ODS作为企业运营数据共享平台，收敛企业各业务系统中的运营数据，按照企业数据模型进行数据整合，提供运营数据共享，支撑跨系统数据的应用，提升数据质量。2.4.1 数据整合ODS在对企业运营数据的整合过程中能够实现以下三个统一：1. 统一数据模型由ODS承载企业数据模型（EDM），促进企业各系统数据逻辑模型的统一。在MBOSS体系内新建或改造的系统，其数据模型应向ODS所承载的企业数据模型靠拢。数据模型是各系统及应用间交互的基础，通过数据模型的统一，减少系统及应用间复杂的转换，提高系统、应用、接口的效率。2. 统一数据标准ODS中建立标准的

24、数据编码目录，源系统数据依据标准的数据编码目录，经过整合后进入ODS中存储，实现企业数据的标准化与统一存储。3. 统一数据视图基于ODS所存储的数据，支撑实现统一数据视图，使企业在客户、产品、资源等视角获取到的信息是一致的，提升客户、企业内部的管理人员与分析人员对系统的感知。2.4.2 数据共享ODS将各生产系统的数据整合后，在系统上基于整合好的数据提供查询、报表、计算等应用外，ODS还将系统内整合好的数据以数据共享的形式提供给其它系统。ODS主要提供两种数据共享方式，一种是准实时批量数据提供；另一种是实时查询服务。准实时批量数据提供即ODS系统将获取到的生产系统的数据以准实时提供给其它需要此

25、数据且对数据实时性要求相对不高的生产系统，以减少生产系统间的网状接口，例如ODS可向号码百事通提供来自CRM系统的用户号码信息等；同时ODS还可将整合好的跨系统数据以准实时批量数据提供方式提供给外系统，以配合外系统支撑部分客户销售服务流程等。实时查询服务即ODS系统通过实时查询服务方式将ODS系统内整合好的跨系统数据向外系统提供，以配合外系统支撑客户统一视图查询、清单查询、帐单查询等功能。同时，对于生产系统间不带有业务逻辑交互的实时数据共享（如CRM向ISMP平台提供用户状态变更数据），随着ODS的演进过程及ODS共享数据的实时性的提高，只要ODS提供共享数据的实时性能够满足外系统对数据实时性

26、的要求，则外系统原来从数据的产生系统获取共享数据的方式需要改为从ODS获取需要的共享数据，以减少系统间网状接口，降低耦合程度，极大减少单一系统升级对其他系统的影响。2.4.3 数据应用ODS整合和承载了企业细粒度运营数据，可以开发出很多应用。本着数据与应用相对分离的基本思想，ODS的数据应用需要与ODS的数据承载松耦合设计。数据应用可以由ODS系统基于整合好的数据直接提供，也可以由EDA架构下的其他应用功能提供（在这个场景下ODS提供只数据）。ODS可以直接或者与EDA架构下其他应用功能协作提供以下功能：1. 查询ODS提供查询条件不固定的按需查询功能。用户可以根据关心的维度查询ODS中整合好

27、的360度业务全貌数据，例如，为渠道经理提供完整客户视图信息的查询，为营业员、10000号客服人员、客户提供完整客户视图查询、帐单查询等。2. 固定报表固定报表是维度和指标固定的统计结果的展示，在ODS系统中对于实时性要求高的报表采用即时生成的模式，而对于实时性要求不高的报表，基于性能影响和资源开销两方面的考虑，应采用后台通过作业的方式提前自动生成，在需要时可以立即展现结果。报表展现应支持多种图表方式，如饼图、柱图、线图等；支持报表数据导出为其他文件类型，如EXCEL、CSV、XML、PDF、WEB存档文件等；支持报表精确打印控制。ODS中可实现的固定报表有客户品牌统计报表、企业数据应用门户部

28、分报表等。3. 动态报表基于ODS整合好的数据，可以利用报表工具按使用者关心的维度和指标对数据进行主题性的统计，动态报表中维度和指标不固定，可在数据模型支持的范围内变换。在ODS上可实现以下的动态报表：用户发展数、使用量、业务收入、欠费、竞争统计；市场计划统计与监督；商机的统计和监控；KPI考核与监控等。4. 计算ODS系统承担需批量计算的属性数据的计算功能， ODS系统支持配置业务规则，并基于整合好的数据按照设定好的业务规则进行属性数据计算，计算结果不在ODS系统中直接更新，而是由ODS返回到该属性数据的属主生产系统，由属主生产系统完成该属性数据的更新后再通过数据抽取、加载过程进入ODS之后

29、更新。可在ODS上实现的批量属性数据的计算包括：客户品牌标签的标识、客户积分计算、客户信用度计算等。2.4.4 数据质量管控ODS在数据收敛的过程中，能完成以下数据质量管控工作：1） 数据质量校验根据规则对ODS所存储的数据进行一致性、完整性、正确性的校验，形成数据校验结果并交付源系统进行修正。2） 数据质量管控通过建立企业数据的质量标准、数据管控的组织、数据管控的流程，对数据质量进行统一管控，达到数据质量逐步完善。3 系统架构 3.1 数据架构ODS数据层次架构分为接口数据层，整合数据层、汇总数据层、数据共享层、元数据层，如下图所示：图 31 ODS系统数据架构对于各数据层次的解释详见以下描

30、述。3.1.1 接口数据层接口数据层存储的是由ODS从源系统采集的数据，其主要特点如下：1. 接口数据层存储ODS采集的外围接口数据，如CRM、计费、OSS等系统需采集到ODS的数据。2. 接口数据层的数据模型与外围系统保持一致。3. 接口数据层的数据与外系统保持实时/准实时同步，对于有实时要求的数据域，应尽可能提高数据的实时性。3.1.2 整合数据层整合数据层存储是经过数据清洗、转换、整合后的运营数据，是ODS的核心数据层，其主要特点如下：1. 整合数据层是ODS存储数据的核心层。2. 整合数据层中的数据原则上是统一编码格式的数据，可作为企业数据标准指导外围系统逐步统一数据格式。3. 存储数

31、据模型遵循集团EDM模型，按数据主题域体系组织，落实具有物理特征的EDM逻辑模型。3.1.3 汇总数据层汇总数据层存储根据主题维度形成的企业统计、汇总数据，其主要特点如下：1. 根据主题报表加工需要，形成汇总数据。2. 按主题存储汇总数据，通过日期、地区、产品规格、销售品规格、渠道类型、处理类型等维度对运营数据进行计算后形成汇总数据存储。3. 可基于原有汇总数据基础上，根据需要继续汇总，形成多级汇总数据。3.1.4 数据共享层数据共享层是基于ODS中收敛整合好的数据，对外提供数据共享，数据共享层原则上不提供数据的存储，其主要特点如下：1. 数据共享层统一对外系统提供共享数据。2. 对各系统共享

32、的信息尽可能从整合数据层映射、共用。另外，对于市话祥单类数据，其特点是数据量巨大，并且此类数据进入ODS并不需要复杂的转换与整合，而只是简单的复制到ODS中；因此如果已有相应系统提供市话祥单数据查询支撑，从节约企业成本、减少数据冗余的角度，该类型数据暂时不采集到ODS系统中，而是直接将其在源系统的存储数据作为ODS的共享层数据来源之一，逻辑上纳入ODS系统。对于用户量不大的省份可由ODS直接存储并提供清单数据。3.1.5 元数据层元数据（Metadata）是关于数据的数据，是对数据的含义、功能、来源等进行描述，内容包括在ODS系统建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键

33、数据。元数据可以帮助ODS管理员和ODS的使用人员方便地找到他们所关心的数据。3.2 功能架构遵循CTG-MBOSS功能层次的划分标准，将ODS系统功能划分为五大功能域：数据整合域、数据共享域、数据应用域、数据质量管理域、公共管理域，如图3-2所示：图 32 ODS系统功能架构数据整合域是ODS系统的关键部分，ODS整合域通过多种方式准实时或实时地从源系统抽取并整合数据，抽取数据首先到达ODS的接口数据层进行预处理、转换等工作进入整合数据层，形成ODS的核心数据，基于整合层的数据进行汇总、计算等工作后形成汇总层数据。数据质量管理域的功能是为了解决目前普遍的数据质量顽疾，通过建立数据质量管理组织

34、机构，制定质量管理规范，确定相应的工作流程方法，并在系统中实现质量检查、修正、考核功能，形成数据质量修正闭环的机制，确保数据质量问题由发散状态转为收敛状态，并随着时间的积累逐步逼近真实状态。利用整合及汇总后的数据，ODS系统自身可直接提供查询、固定报表、动态报表及计算等应用。 实现客户统一视图信息的查询、营销活动的统计与监控、业务量收的统计、KPI指标监控与考核及客户评价批量计算等功能。数据共享域的功能是基于ODS整合后的跨系统数据所形成的统一数据视图，通过集中的数据/服务提供功能，为其他生产系统提供非自有数据的共享，优化目前各业务应用系统间网状的数据流转方式，简化数据共享逻辑，降低数据不一致

35、的风险。数据共享域的功能包括共享数据服务、共享配置管理和共享权限控制。3.3 技术架构ODS系统总体技术架构如图3-3所示：图 33 ODS系统技术架构ODS从周边的各生产系统包括CRM、计费、网上客服中心、10000号等系统通过ETL或EAI等技术将源数据抽取加载到系统中，通过对源数据的清洗、转换在ODS中形成遵循企业数据模型的统一基础数据，根据应用需要，ODS通过数据处理组件形成各类汇总数据。基于系统中整合与汇总好的数据，ODS系统上以B/S架构直接部署查询、报表等数据应用，ODS系统还可通过数据服务组件以文件、数据视图、数据服务等形式向外围的生产系统提供共享数据，与生产系统配合完成跨域应

36、用支撑。4 系统边界本章主要对ODS与各生产系统以及EDW之间的边界进行说明。4.1 ODS与生产系统4.1.1 ODS和生产系统对比分析ODS与生产系统具有以下的共同之处：1 ODS与生产系统这两个独立系统均包含当前的细粒度运营数据，其中ODS的整合层的数据模型及各生产系统的数据均以关系型数据模型存储；2 ODS与生产系统的使用者主要是一线的生产和管理人员；3 ODS和生产系统都是数据质量管理闭环流程中的一个环节。在以上ODS与生产系统的共同处基础上，ODS与生产系统又具有以下显著的区别：细粒度运营数据由生产系统产生，但ODS系统本身并不产生运营数据，ODS中的运营数据是从不同的生产系统加载

37、进入的；在数据质量管理闭环流程中，ODS负责发现数据质量问题而生产系统负责解决数据质量问题；ODS给其它系统提供准实时（包括接近于实时）的数据共享服务而生产系统可给其它系统提供实时的数据共享服务；两个系统在查询、报表和计算的应用功能方面也具有的不同边界划分。ODS与生产系统区别的详细对比分析如下表所示:分类ODS系统生产系统数据创建ODS不产生、不修改源数据，可以帮助生产系统计算某些源数据，计算后的源数据不直接在ODS中更新，而是返回给生产系统，由生产系统更新后，ODS再通过数据抽取、加载过程完成本系统内数据更新。生产系统创建数据，为ODS提供数据。数据质量ODS提供提升数据质量管理手段和技术

38、手段，发现数据质量问题。生产系统对本系统的问题数据进行修正和完善，解决数据质量问题。数据模型ODS承载企业级数据模型。生产系统承载本系统数据域的企业级数据模型，生产系统逻辑模型和ODS逻辑模型一致，但生产系统物理模型和ODS物理模型允许有差异。数据共享ODS采集整合各源生产系统数据，ODS中数据实时性较源生产系统有一定延迟，因此ODS向数据实时性要求相对较低的系统或某些系统功能提供跨系统数据的共享服务。随着ODS演进、ODS数据获取频度的提高，ODS可提供数据的实时性不断提高，则ODS可为更多接近实时共享要求的外系统提供数据共享服务。生产系统间带有业务逻辑交互的数据共享由生产系统间完成；生产系

39、统间不带有业务逻辑交互的实时数据共享由生产系统间完成。 系统功能查询：ODS提供基于跨系统数据的查询应用；报表类：基于跨系统数据的固定或动态报表由ODS提供；基于单系统数据的、实时性要求不高的固定或动态报表由ODS提供。计算：批量数据的计算在ODS上完成。查询：对于生产系统未提供的跨系统数据准实时查询应用，生产系统可通过与ODS界面集成方式提供该应用；对于生产系统已提供的跨系统数据准实时查询应用，生产系统有的数据由本系统提供，其他数据通过ODS提供；生产系统需要查询跨系统数据且实时性要求高，由生产系统之间通过界面集成或者实时服务调用方式实现。报表：基于单系统数据的、实时性要求高的固定或动态报表

40、由生产系统自身提供。计算：事件驱动的数据计算在生产系统上完成。4.1.2 ODS系统和生产系统功能边界划分ODS完成跨系统数据的整合，为生产系统提供准实时数据共享服务、为生产系统提供属性数据的批量计算、跨系统共享数据的提供、承担部分报表的功能。因此，ODS的建设对现有生产系统的功能改造及新建的生产系统都会带来影响，具体说明如下：l 查询n 对于生产系统未提供的准实时跨系统数据查询应用，生产系统可通过与ODS界面集成方式提供该应用；n 对于生产系统已提供的跨系统数据准实时查询应用，生产系统有的数据由本系统提供，其他系统数据由ODS提供；n 生产系统需要查询跨系统数据且实时性要求高（ODS中的数据

41、还无法满足这种实时要求），由生产系统之间通过界面集成或者实时服务调用方式实现； l 报表n 基于单生产系统数据的实时性要求比较高的生产经营报表在各生产系统实现，其他生产经营报表提供在ODS系统实现。l 计算n 原则上批量的计算在ODS系统完成，事件驱动的计算在生产系统上完成。n 对于生产系统没有提供的基于跨系统或单系统数据的属性数据的批量计算，由ODS系统负责计算生成，之后同步计算结果到生产系统；n 对于生产系统已经提供的基于跨系统或单系统数据的属性数据的批量计算，在现有生产系统升级或者该功能需要改造时不再承担此功能，而由ODS系统负责计算生成，之后同步计算结果到生产系统；l 模型n ODS承

42、载企业级数据模型，生产系统升级和改造时，生产系统模型升级以ODS承载的企业级数据模型为依据；n 生产系统承载本系统数据域的企业级数据模型，生产系统逻辑模型和ODS逻辑模型一致，生产系统和ODS物理模型允许有差异。l 共享n 生产系统之间准实时共享数据的接口，改由通过ODS获取其他系统数据；生产系统之间的已有具有业务逻辑的实时数据共享接口，保留原有实现方式；n 对MSS系统需要获取BSS和OSS数据的情况，如果数据在ODS数据范围内，则从ODS上获取数据。注：对于生产系统间不带有业务逻辑交互的实时数据共享（如CRM向ISMP平台提供用户状态变更数据），随着ODS的演进过程及ODS共享数据的实时性

43、的提高，只要ODS提供共享数据的实时性能够满足外系统对数据实时性的要求，则外系统原来从数据的产生系统获取共享数据的方式需要改为从ODS获取需要的共享数据，以减少系统间网状接口，降低耦合程度，极大减少单一系统升级对其他系统的影响。4.2 ODS与EDW4.2.1 ODS和EDW对比分析ODS与EDW具有以下的共同之处：1 ODS与EDW都是中国电信EDA数据架构中的独立系统，两个系统都不是运营数据的产生系统，两个系统中的数据都是将各源生产系统的数据通过ETL等过程加载装入（EDW的大部分数据从ODS加载装入）；2 ODS中的数据与EDW中的数据一样都是分层存储的，都是既有细粒度的数据，同样也有根

44、据不同维度汇总的汇总数据；3 ODS与EDW上均可以提供基于跨系统整合后数据的报表类应用。在以上ODS与EDW的共同处基础上，ODS与EDW又具有以下显著的区别：ODS与EDW虽然都有细粒度的运营数据，但ODS中细粒度数据的时效性高，并提供给外系统共享，而EDW中的细粒度数据的实效性低，不提供给其它系统共享，只提供给本系统做数据挖掘等功能时使用。ODS与EDW虽然都有汇总数据，ODS中汇总数据的汇总维度相对少，而EDW中的汇总数据的汇总维度多。ODS提供的报表内容主要是对面向生产运营过程数据的统计与监控，不会对这些信息做进一步的分析与挖掘，而EDW中的报表内容主要针对跨系统的数据做深层次的分析

45、与挖掘，着重趋势分析并提供评估与决策功能。ODS与EDW区别的详细对比分析如下表所示:分类ODSEDW使用对象一线的生产和管理人员。专业分析人员和企业中高层管理人员。系统功能数据整合，为生产系统提供数据共享；查询功能；例如客户消费数据查询等；报表功能：报表内容主要面向生产数据的统计与监控；数据质量审计和监控管理。报表功能：报表内容主要是面向分析与挖掘，主要支持多个维度的主题分析；趋势分析与问题发现；客户消费行为分析；提供评估与决策功能。数据来源ODS的运营数据来源是生产系统；ODS的部分分析结果数据来源EDW。EDW运营数据主要从ODS获取；ODS没有提供的运营数据直接从源系统中提取。数据获取

46、性能和及时性ODS支持OLTP类型的数据更新，数据更新时间短，性能与及时性都高于EDW。EDW从数据存储机制、索引等方面保持较好的批量加载速度，但数据实时更新性能与速度差，数据更新时间不足以支持要求及时的报表和事件监控需求。数据架构ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织数据； ODS主要提供细粒度运营数据，也存在部分粗粒度汇总数据，但维度相对EDW简单；ODS提供当前数据的统计与监控。EDW按关注对历史数据的深层次分析与挖掘为主的分析视角主题域方式来组织数据； EDW主要提供多层粗粒度汇总数据，且分析维度相对ODS更多；EDW提供历史数据的展示和分析。数据存储时间汇

47、总数据保存3年；三户数据长久保存；详单数据保存13个月（如果ODS承担清单查询数据提供，则ODS需要保存6个月的清单）；其他整合层数据保存13月。汇总数据保存5年；三户数据长久保存；详单数据保存2年；其他数据保存3年。数据共享ODS可直接为生产系统提供运营数据的准实时共享服务EDW不为生产系统提供此类数据共享服务。技术特征ODS主要实现大并发量数据访问；数据库优化同时侧重索引和分区技术；支持OLTP类型和OLAP类型的数据操作。EDW主要实现小并发量数据访问；数据库优化主要侧重分区技术；支持OLAP类型的数据操作。系统的可靠性ODS参与运营，必须保证可靠性。数据仓库可以允许有更多的脱机时间。系统开放性因为需要与大量不同硬件、数据库配置的系统相互交换数据，ODS要求比较高的系统开放性。EDW一般只获取数