中国移动省级NG2BASS3‘0规范培训技术规范元数据管理分册.ppt
中国移动省级NG2-BASS3.0规范培训-元数据管理分册2023年2月14日星期二,目 录,修订背景,实现两级经分元数据信息互通，保障一、二经指标口径一致，使各省上报重点一经接口的真实汇总过程透明化，在发生数据质量问题时两级系统有共同的沟通平台，并防范部分省公司干扰指标真实性。,经过NG1-BASS2.0元数据管理模块的建设，各省在元数据管理和应用方面积累了一些具有推广价值的经验，同时也发现了一些存在问题,一级经营分析系统数据质量依赖于省级经营分析系统上传的接口数据质量，需要加强两级经营分析系统的数据理解一致性和重点接口的数据处理过程规范性；,为提升经分系统数据质量，需要建立经分与数据源系统的协同管理机制；,经营分析系统的发展对提出元数据管理模块提出新的要求，需要增强元模型管理、元数据获取能力和对外服务能基础能力，以更好支持经分建设和应用。,修订目标和思路,修订目标,建立经营分析系统核心元模型，规范数据处理过程的结构化描述实现两级经营分析系统元数据互通，促进重点接口数据处理过程规范化为经营分析系统基础技术模块提供支撑，扩充元数据服务接口服务经营分析系统数据质量管理子系统，为源系统联动机制提供基础支撑,修订思路,以CWM为基础面向经营分析系统建设和管理需要进行元模型细化和扩展，针对关键元数据对象建立核心元模型，实现两级元数据互通增强SQL脚本解析，提升数据处理逻辑过程的展现能力建立维表库管理、接口管理机制，支撑数据质量的源系统协同机制提供数据封装和数据地图访问服务接口，增强元数据对外服务能力,目 录,元数据管理模块在经营分析系统中的定位,本期修订内容,本期修改内容,本期新增内容,经营分析系统核心元模型两级经分元数据互通维表库管理接口管理数据地图展现数据封装元数据客户隐私信息元数据,元数据变更管理数据源接口元数据维度数据辅助安全管理,元数据服务接口（二期）SQL脚本自动解析（二期）,二期建设内容,目 录,3.1 元数据获取层,元数据获取新增SQL解析二期内容建设 在原有SQL脚本自动解析一期建设基础上，规范数据处理元数据的结构化描述、细化描述粒度、丰富解析效果展现层次，对SQL解析中的关键问题提出处理方法要求：数据处理过程元数据的生成 SQL脚本对象结构化描述以ClassifierMap对象描述SQL脚本的数据转换处理逻辑以RelationalOperator对象描述SELECT子句的关系代数操作以FeatureMap对象细化描述SQL脚本的关系操作数据处理过程日志规范要求SQL脚本的上下文关系处理要求多路径问题和信息丢失问题处理要求,二期建设：SQL脚本解析,日志规范要求细化,运行日志的输出形式：日志文件日志表,日志内容中要求包含：提交到数据库执行的SQL脚本创建数据库链接的相关参数文件导入导出操作不要求包含游标操作信息,二期建设：SQL脚本解析,脚本程序描述和 SQL片段描述,关系代数操作及其明细的描述,数据转换处理单元描述,脚本程序：TransformationTaskSQL片段：TransformationMap,SELECT/COMBINATION/INSERTALL/MERGE/RENAME投影操作/交并差操作/改名操作,二期建设：SQL脚本解析,SQL脚本上下文信息处理,多路径和信息丢失问题处理,要求能够处理如下上下文相关类型：改变数据库连接临时表的处理命名空间的处理SQL脚本循环执行,问题自动处理能力：将脚本多次运行日志自动合并对导入导出命令自动解析export/import/unload/load辅助人工处理能力：游标处理，可提供告警功能手工补充相关的元数据。,3.2 元数据存储层,元数据存储新增内容包括：经营分析系统核心元模型数据封装元数据增强内容包括：维度元数据的存储：对维度元数据的属性要求进行细化，支撑维表库管理应用数据源接口元数据的存储：对接口元数据的属性要求进行细化，支撑接口管理应用,CWM作为数据仓库领域的元模型标准，在元数据的集中管理、元数据互操作和元数据交换方面发挥重要作用。但是CWM作为一个国际性、厂商无关、平台无关的规范，本身只提供一个公共的元模型框架，将数据仓库领域的公共特性纳入元模型中，而不追求对物理实现的精确定义。经营分析系统核心元模型以CWM元模型为基础扩展而成，是面向两级经营分析系统元数据互通的实际需要对关键元数据对象进行精确定义的元模型规范。,新增：经营分析系统核心元模型,派生,新增：数据封装元数据,数据封装元数据主要包括数据封装服务开发生成的逻辑模型，以及逻辑模型与数据仓库/数据集市物理模型的映射关系。数据封装元数据包括四类：逻辑模型实体、逻辑模型字段、映射关系组、映射关系,逻辑模型实体元模型,逻辑对象名称逻辑对象描述,逻辑模型字段元模型,字段名称字段描述字段类型字段长度是否为PK是否关联字段,关系组标识关系标识源对象目标对象关系类型是否主关联,3.3 元数据功能层,元数据功能层新增内容包括：基于元数据的多层级数据地图展现元数据服务接口二期建设内容增强内容包括：元数据变更管理：增加大版本管理功能，支持批量元数据定版；支持版本差异分析；支持元数据生成修订记录功能,新增：数据地图展现,作为元模型规范化的延伸，统一图形展现方式，消除图形表达的语义理解差异。解决图形展现缺乏层次控制、布局凌乱、难于看懂的现状。图形展现包括：作业层图形展现SQL语句层的图形展现和布局,作业层展现,数据处理逻辑层展现,SQL语句层展现,数据处理逻辑层明细展现,数据处理逻辑层的图形展现数据处理逻辑明细层的图形展现,二期建设：元数据对外服务接口,一期建设中，已实现元数据封装原语定义和基础技术能力建设本期建设，重点增加元数据封装接口应用功能，包括：数据封装元数据访问服务接口 读取物理模型元数据 写入数据封装元数据数据地图访问服务接口 关系分析图形接口 包含分析图形接口,3.4 元数据应用层,元数据应用新增内容包括：两级经分元数据互通维表库管理接口管理元数据应用增强内容：辅助安全管理,新增：两级经营分析系统元数据互通,通过实施两级经营分析系统的元数据互通，使各省经营分析系统数据处理过程对集团透明化，促进集团对各省营分析系统的数据处理过程的理解，进一步了解各省接口开发方案、新接口改造的实际进度并加强管理，有助于两级经营分析系统数据质量的整体提升。,数据仓库数据处理过程源系统接口源系统维度,互通内容,互通元数据维护互通元数据转换接口校验结果处理,功能要求,XML文件基于互通元数据接口标准,互通接口,新增：维表库管理,维表库管理是指基于元数据系统，对数据源系统维表库、各省经分系统之标准维表库和集团一经维表库分别进行管理，从而建立一套标准的维表库体系。实现标准维表库与源系统维表库之间的关联管理，旨在有效处理源系统维表库与标准维表库之间的维度数据统一，促进经营分析系统与源系统协同。,维表目录管理,维表登记管理,维表数据管理,维表关系管理,维表分类定义目录调整,维表登记维表结构定义维表分类整理,维表数据基本维护管理维表数据导入/导出,维表映射关系 维表映射 字段映射 数据映射 维表引用关系 接口引用 事实表引用,维表同步机制、维表变更日志管理、维表信息公告发布,新增：接口管理,省级经营分析系统与BOSS、CRM等系统和一级经营分析系统以数据接口形式进行大量数据交互。基于元数据进行接口管理，对于接口数据规格、数据内容以及接口管理过程进行规范管理，建立接口元数据维护机制，提高接口元数据质量，为源系统变更协同管理和两级经营系统元数据互通奠定基础。,接口管理范围,接口元数据获取接口元数据管理、维护查询分析变更管理对外服务接口,功能要求,增强：辅助安全管理,增加客户隐私信息元数据管理，支撑经营分析系统安全管理,提供客户隐私信息的基本配置和存储：定义是否为隐私信息：附加隐私标识定义所属的隐私类别：为个人客户隐私、集团客户隐私或集团客户成员隐私信息。定义具体的隐私属性：如，手机号码、地址、客户姓名等。,提供客户隐私信息服务接口：获取隐私信息相关的技术实体：输入：需要查询的隐私标识、隐私类别或隐私属性等参数；输出：元数据实体，如数据库表名和字段名，以及相关技术元数据属性。获取技术实体的隐私信息定义：输入：技术元数据实体信息，如数据库表名；输出：该实体的隐私标识、隐私类别和隐私属性等客户隐私信息定义信息。,目 录,附件一：CWM元数据模型结构,CWM模型是OMG组织定义的数据仓库和相关系统的国际元数据标准，CWM标准的目的在于使数据仓库和商业智能软件的元数据在分布异构的数据分析工具、数据仓库平台、元数据存储等系统之间进行。,CWM元模型可用于描述数据加工链路中各种实体的平台无关的公共特性，但是对于特定应用场合，CWM元模型可能会缺乏实际应用所必须的某些信息的描述能力，这时需要对CWM元模型进行扩展。CWM提供了两种扩展机制：子类扩展机制TaggedValue和Stereotype扩展机制,附件一：CWM元数据模型扩展机制,从核心包扩展而成的XML元模型,Stereotype类和TaggedValue类扩展机制,经营分析系统元模型主要包括四个层面：基础层元模型获取层元模型数据层元模型访问层元模型。,附件一：CWM和经分系统元模型的对应关系,附件一：经分核心元模型对CWM的扩展内容,从Transformation包的TransformationTask类派生出TransformationTask类和TransformationMap类，用于描述脚本程序和SQL脚本；从Transformation包的Transformation类派生出ClassifierMap类，用于描述脚本程序或者SQL脚本中的转换处理逻辑；表级数据处理逻辑到字段级数据处理逻辑的臃肿的映射关系，建立直接从ClassifierMap到FeatureMap的映射；改进Transformation包的输入输出，ClassifierMap对象和FeatureMap对象的输入输出不仅限于数据实体，也可以是其他ClassifierMap对象和其他FeatureMap对象；针对SQL脚本的关系代数操作，从CWM核心包的ModelElement类派生出关系型操作类RelationalOperator及其子类，用于对SQL语句中的连接、选择、投影、改名、交并差、分组和排序等关系操作进行结构化描述。,谢谢！,
