1 《政务数据平台 主题数据库建设基本要求》标准草案（报挂网0704）.docx

ICSCSSDB52贵州省地方标准DB52TXXXX-2022政务数据平台主题数据库建设基本要求（征求意见稿）XXXX-XX-XX发布XXXX-XX-XX实施贵州省市场监督管理局发布前言II1范围12规范性引用文件13术语和定义14总体要求25建设主体26总体框架37建设流程48建设内容59数据安全6-Z-&刖百本文件按照GB/T1.1-2020标准化工作导则第1部分:标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利O本文件的发布机构不承担识别专利的责任。本文件由贵州省大数据发展管理局提出。本文件由贵州省大数据标准化技术委员会归口。本文件起草单位：贵州中软云上数据技术服务有限公司。本文件主要起草人：。政务数据平台主题数据库建设基本要求1范围本文件规定了政务数据平台主题数据库建设的术语和定义、总体框架、建设流程、建设内容和数据安全。本文件适用于指导政务数据平台主题数据库建设规划、实施、应用与安全。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T38664.2-2020信息技术大数据政务数据开放共享第2部分：基本要求DB52/T1123-2016政府数据数据分类分级指南DB52/T1540.3-2020政务数据第3部分：数据清洗加工规范DB52/T1541.2-2020政务数据平台第2部分：数据归集规范DB52/T1541.3-2020政务数据平台第3部分：数据存储规范DB52/T1540.2-2021政务数据第2部分：元数据管理规范3术语和定义以下术语和定义适用于本文件。3. 1政务数据平台governmentdataplatform依托政务云计算平台搭建，承载政务数据并支撑数据统筹存储、统筹治理、统筹应用和统筹安全的基础信息技术平台。来源：DB52/T1541.3-2020,3.13.2主题数据库thematicinformationdatabase针对特定应用主题将存在内在逻辑关联关系的各类数据有序汇聚形成的指定数据库。来源：DB52/T1541.62021,3.8贴源层operationaIdatastore存储由源系统采集而来、未经处理的原始数据。来源：DB52/T1541.220203.4标准层standarddatamodeI存储经过清洗加工后符合质量要求的可复用的标准化数据。3.5主题层datamart存储整合后面向业务、应用的数据集合。来源:DB52/T1541.220203.6结构化数据structureddata一种数据表示形式，按此种形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。来源：GB/T35295-2017,2.2.133.7非结构化数据unstructureddata不具有预定模型或未以预定方式组织的数据。来源：GB/T35295-2017,2.1.253.8元数据metadata关于数据或数据元素的数据（可能包括其数据描述），以及关于数据拥有权、存取路径、访问权和数据易变性的数据。来源：GB/T35295-2017,2.2.74总体要求4.1 主题数据库建设安全应符合GB/T38664.2-2020的要求。4.2 主题数据库建设过程中不应造成数据的缺失和遗漏，确保数据完整性；4.3 应如实准确的处理数据，不应虚构或篡改数据；5建设主体DB52TXXXX-XXXX主题数据库是围绕经济社会发展的同一主题领域，由多部门通过整合共享数据形成。主题库规划建设主要由该领域行业部门牵头，统筹负责主题数据库建设、目录编制及主题数据资源归集、主题数据库数据维护管理工作。6总体框架主题数据库建设依托于贵州省政务数据平台进行，基于贵州省数据共享交换平台数据区进行数据采集汇聚，利用大数据治理技术进行数据的统一标准化和整合，按不同主题域进行分类归集，基于归集后的数据为各政府单位提供数据服务。运维保障体系服务及应用 数据融合 数据治理 数据采集查询与比对个性化数据服务服务数据存储数据库建模增量数据 更新全量数据 更新库表采集场景核查比对朋务数据更新数据分类分级元数据管理数据修正数据过滤同步作业配置文件采集主题库监控可视化同步数据监控数据资源建设部门内部数据源外部厅局数据源I接口采集其他数据源图1主题数据库建设总体框架包含以下层级：a）数据资源：主题数据库建设的数据来源，提供主题数据库建设所需的各行业主管部门的原始数据资源；b）数据采集：支持文件、库表、接口等结构化及非结构化数据类型的采集，做到数据采集的记录监控，对采集异常情况及时预警；c）数据治理：对贴源层采集的原始进行质量检测、数据转换、数据加工处理操作，形成处理后的标准化数据；d）数据融合：对处理后的标准化数据基于唯一主键进行数据融合、数据计算等操作，并按不同主题域归集统一存储于数据资源池的已建数据库中，形成主题数据库；e）服务及应用层：基于形成的主题库提供数据服务和数据应用，全面满足各类单位和组织的数据需求。支持基于主题库的查询与比对服务、个性化数据服务、场景核查比对服务、监控可视化展现。f）安全保障体系：根据国家标准信息安全技术网络安全等级保护基本要求（GB/T22239-2019）,提供全面的安全监控和管理。g）运维保障体系：提供智能数仓平台全面的运维管理体系，提供可视化监控和智能运维支撑。7建设流程主题库建设流程如图2所示：主题数据库建设流程图技术服务单位牵头建设郃门I数据提供部门（省/市州）I省大数据主管部门注：上图中虚线表示子流程与主流程或平台的交互关系图2主题库建设流程图a）牵头建设部门制定总体建设规划，牵头目录编制工作;b）数据提供部门配合主题数据库目录的编制工作，按照目录提供数据资源；c）省大数据主管部门对编制的目录进行审核，协调解决相关政务部门在主题数据库建设及运行过程中出现的问题；d）目录审核通过后，牵头建设部门发布数据目录；e）各部门根据目录将数据汇聚至贵州省数据共享交换平台，主题数据库建设部门通过平台对数据进行归集、治理和存储，形成主题数据库。f）牵头建设部门将主题数据资源存储在共享资源池内，通过贵州省数据共享交换平台与全省政务部门实现共享。具体数据处理步骤如下：a）将原始数据通过文件导入、库表映射、接口访问方式进行数据采集汇聚，对数据不进行任何处理地采集到政务数据平台的贴源层中；b）对贴源层中的数据进行清洗加工、标准化处理，按照行业主题数据进行质量管理、元数据管理操作，使其满足政务数据平台使用的质量要求以及行业主题数据的规范，清洗加工后的数据存放到政务数据平台的标准层中；c）对标准层中的数据按不同行业主题进行个性化面向应用、业务的整合，最终数据存放在政务数据平台的主题层中；d）当原始数据发生更新时，应依照a,b,C的步骤对更新数据进行采集，清洗，整合。8建设内容8.1 数据采集数据的采集应按DB52T1541.2-2020第&3章节规定的采集方法进行，采集更新遵循DB52T1541.2-2020第11章节有关规定进行。8.2 数据清洗应按照DB52/T1540.3-2020规范进行数据清洗，得到标准化数据。8.3 数据融合按照业务分类对上一步清洗后的数据进一步清洗加工、分类分级和整合计算并加载到主题数据库，按照全量、增量、实时增量等方式保障数据同步更新，并基于构建的主题库将结果数据进行共享，具体如下：a）数据库建模：1）表设计原则：基于数据仓库模型对事实表和纬度表进行设计，遵循3NF设计原则；2）字段设计原则：每个表中都应该添加3个有用的字段:时间戳、记录者、记录版本标记；一一对地址采用多个字段，例如分为省、市州、区县、街道 选择数字类型和文本类型需尽量充足。3）键选择 选择业务唯一标识id作为表主键，主键不具有可更新性 为关联字段创建外键，外键需总是关联唯一的键字段b）数据分类分级:按照DB52_T_1123-2016规范要求对政务各领域数据进行分类分级，详见规范中5.2章节及规范中附录A。C）数据整合：以业务应用为导向，根据业务过程中相关标准规范及数据编码，将不同数据资源进行关联整合；根据库表类数据资源之间关联关系，对库表数据联合分析，将联合结果生成整合后结果表。数据整合类型包括以下两类：D数据转换-合并：标准层中的多个字段，经过算术运算或逻辑运算后，形成主题数据库中的一个字段。也包括字符型字段值的连接；拆分：是指标准层中一个字段经算术或逻辑运算后，对应到主题数据库中的多个字段，或该字段为字符型字段值拆分成若干个子串后，每个子串对应于主题数据库中的一个字段。2）数据整合将不同数据资源进行关联整合，根据库表类数据资源之间关联关系，对库表数据联合查询。d）数据存储按DB52/T1541.3-2020第3部分数据存储规范，将整合后数据加载至主题数据库进行持久化存储。C）数据更新:对数据来源建立数据更新机制，保障数据及时和准确。8.4数据服务及应用主题库需基于贵州省数据共享交换平台进行存储和管理，通过贵州省数据共享交换平台进行对外共享服务和应用的建设，推动全省跨层级、跨地域、跨部门的政府数据共享服务。主要服务及应用应包含以下内容：a）查询与比对服务：此类接口主要是查询与比对主题库数据，可根据需求，提供标准的查询与比对服务，实现主题库基础服务能力。b）个性化数据服务：根据需求单位的需求清单，按照需求数据字段进行数据接口封装,以数据接口方式对外提供数据。c）场景核查比对服务：根据需求单位的核查比对需求，通过共享交换机制进行一事一议调度通过后，采取库表方式进行大批量的核查比对和反馈数据，支撑大量数据的核查比对需求。d）主题库监控可视化：围绕于主题库主题业务、数据汇聚、数据更新、数据共享、数据应用等维度基于贵州省数据共享交换平台建立直观的监控可视化，支持各政务部门快速掌握主题库数据及服务能力。9数据安全9.1 技术防护安全9.1.1 对敏感数据进行加密传输，并对数据进行对账防止数据被篡改，保障数据一致。9.1.2 不同的网络之间采用符合规范的网络安全隔离措施，确保不同安全等级的网络区逻辑隔离，并通过网闸设备的“数据摆渡”功能实现了不同安全域之间数据的安全交换，满足相应网络管理要求。9.1.3 数据存储在相应的安全网络环境内，对数据存储介质有对应的安全产品，能够对数据进行安全防护、安全审计等操作。9.1.4 定期进行漏洞扫描服务、安全渗透测试、代码审计服务、安全加固服务、安全监测等安全检测和修复升级工作。9.2 人员管理安全9.2.1设立安全小组明确分工，严格落实安全主体责任。9.2.2建立7*24日常安全运维监测管理制度，保障系统安全运行。9.2.3对项目实施重点参与人员进行背景审查，需要对不合适参与的人员做工作调整。按照人员岗位和接触数据内容的程度，将人员分为核心、重要和一般涉密人员。对核心人员和重要人员进行重点涉密管理。对项目参与的人员签订安全责任承诺书，安全责任落实到具体实施人员。