TGDMA6-2018科技大数据平台数据仓库建设规程编制说明.docx

科技大数据平台数据仓库建设规程团体标准编制说明科技大数据平台数据仓库建设规程标准起草小组科技大数据平台数据仓库建设规程团体标准编制说明一、基本背景党中央、国务院高度重视大数据技术产业创新发展。2015年8月，国务院印发的促进大数据发展行动纲要（国发201550号）（以下简称纲要）要求稳步推动公共数据资源开放，加快建设国家政府数据统一开放平台。2018年1月23日中央全面深化改革领导小组第二次会议会议审议通过科学数据管理办法，强化、加深各级科技主管部门对科学数据是国家科技创新发展和经济社会发展的重要基础性战略资源，是信息时代传播速度最快、影响面最宽、开发利用潜力最大的科技资源这一认识。为推动我省大数据发展和应用，加快建设数据强省，省政府陆续出台了广东省人民政府办公厅关于印发广东省促进大数据发展行动计划（2016-2020年）的通知（粤府办201629号）明确广东要建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，提升政府经济管理和社会治理能力，促进大数据产业创新发展，推动我省经济发展动力转换、结构优化和转型升级。2015年底，国家科技部启动国家科技管理信息系统互联互通工作，广东省科技厅作为其试点单位之一，成为全省科技数据上报以及国家科技数据服务下放的枢纽，该项工作将为我厅共享国家科技部和全省科技系统数据提供全面、及时、有效的科技数据服务。与此同时，广东省网上办事大厅、电子政务数据交换平台和大数据开放共享工作进一步推进。结合我厅所建设的科技大数据平台工作持续推进，我们编写了广东省科技大数据平台数据仓库开发标准。二、编制思路和原则本规范适用于广东省科技厅大数据平台项目数据仓库建设（包含数据仓库的前期建设过程及后期的维护、扩展）。本标准的编制遵循以下原则：1 .数据仓库中文编码字符集，国家标准GB18030-2005信息技术中文编码字符集是我国继GB/T2312-1980和GB/T13000-2010之后最重要的汉字编码标准，是我国计算机系统必须遵循的基础性标准之一。GB18030-2005信息技术中文编码字符集是我国自主研制的以汉字为主并包含多种我国少数民族文字（如藏、蒙古、傣、彝、朝鲜、维吾尔文等）的超大型中文编码字符集强制性标准，其中收入汉字70000余个。2 .数据仓库信息安全技术按照GB17859-1999的五个安全保护等级的划分,根据数据库管理系统在信息系统中的作用，规定数据库管理系统所需要的安全技术的各个安全等级的要求，用于按等级化要求进行的安全数据库管理系统的设计和实现，对按等级要求进行的数据库管理系统安全的测试和管理有用。3 .数据库SQL语言标准描述GB/T12991.1-2008其他部分中所使用的概念性框架，规定了SQL语法和SQL实现的处理语句的结果。4 .本标准XML查询语言是一种在可扩展标记语言（XML）文件中定位和过滤元素（数据域）和文本的方法。XML文件用于在用户计算机和网络之间传送数据。XQL提供一种在一个或多个XML文件数据中查找或选择特定项目的方法。它基于可扩展样式语言所采用的典型语法，并设计成它的一种扩展。5.对象链接嵌入数据库OLEDB是微软的战略性的通向不同的数据源的低级应用程序接口0LED8不仅包括做软资助的标准数据模日开放教据岸连通性（0DB80的结构化问题济官（SQL）能力，还具有面向其他非SQL数据类型的通路。三、编制过程（一）成立标准起草小组，制定工作方案自2018年1月起，在广东工业大学牵头组织下，成立了由广东金科信息网络中心有限责任公司、广东省科技创新监测研究中心、广东精点数据科技股份有限公司、广东金科信息网络中心有限责任公司等单位专业人员组成本标准的起草小组，制订工作方案，明确目标要求、工作思路、人员分工和工作进度等，开始标准的起草工作。（二）收集相关资料，开展调研起草小组针对本标准中要求、事项进驻、服务组织、服务模式、交通评价等方面的问题，进行了相关资料的收集整理工作，检索了有关国家标准、行业标准和地方标准，查阅了大量有关的资料，并对这些标准和资料进行了系统的研究分析。为了解实际情况，借鉴已有的经验，起草小组展开了一系列的调研，包括赴河源市、佛山等地进行政务大数据实地调研。在调研基础上进行深入研究分析，形成本标准编制的基本思路。（）标准起草起草小组在收集资料和实地调研基础上，经过深入的分析研究，并联系咨询行业内专家，确定了本标准的结构框架，进行标准的编写，并进行多次内部研讨和修改，于3月形成了标准征求意见讨论稿。（四）标准研讨4月初，来自广东工业大学、广东金科信息网络中心有限责任公司、广东精点数据科技股份有限公司、广东省科技创新监测研究中心等起草小组单位专家对本标准进行逐条详细研讨。会上，专家们认为科技大数据平台是政务大数据的一种创新模式。为应粤府办（2015）50号文的精神和要求，建议将标准名称更名为科技大数据平台业务规范。这样更贴切、更突出了“公共数据资源开发，加快建设国家政府数据统一”的目标。同时，研讨会上提出多条合理性修改建议,通过完善并形成了标准公开征求意见稿。（五）标准公开征求意见5月，在全省广泛征求意见，范围包括各地以上市标准化主管部门、广东省科技创新监测研究中心等。总共收到13个单位16条修改意见，起草小组经过反复研讨和修改，最终形成了本送审稿。（六）标准审定2018年5月25日召开审定会，来自佛山市南海区编办、广东省信息中心等单位的7位专家对标准送审稿进行了评审，起草小组根据专家提出的意见和建议，对标准送审稿进行的修改完善，形成了标准报批稿。四、主要内容本标准规定了广东省科技厅大数据平台（下文简称“科技厅”）数据仓库开发过程中各环节应遵循的流程及标准，供科技厅基于数据仓库的信息中心负责人及相应开发/运维厂商共同使用。1规范了引用的文件GB18030-2005信息技术中文编码字符集GB/T20273-2006信呼吁息安全技术数据库管理系统安全技术要求GB/T12991.1-2008信息技术数据库语言SQL2、规定了术语与定义其中包括了对科技平台数据仓库的建模名词和说明，又对其中的缩略语做了解释。3、建模方法和标准定义了数据仓库的数据模型，旦数据仓库逻辑数据模型遵照第三范式进行设计，确定采用IDEFIX符号体系的实体-关系模型。4、确定了主题域的标准划分主题域分别为人员、单位、科技项目、科技业务、资质认定、科技奖励等主题域。五、标准特点本标准从数据仓库架构、数据仓库各阶段的标准方面入手，剖析数据仓库在设计阶段、开发阶段、运维阶段三个阶段的各种问题和处理解决方案。明确了建立数据仓库所用的术语和定义，并建立了以第三范式为基础的数据逻辑模型，以及IDEFlX符号实体-关系模型。划分主题域分别为人员、单位、科技项目、科技业务、资质认定、科技奖励等主题域，使得对各种项目的脉络关系更为清晰。六、结语广东省科技厅作为其试点单位之一，成为全省科技数据上报以及国家科技数据服务下放的枢纽，该项工作将为我厅共享国家科技部和全省科技系统数据提供全面、及时、有效的科技数据服务。与此同时，广东省网上办事大厅、电子政务数据交换平台和大数据开放共享工作进一步推进。结合我厅所建设的科技大数据平台工作持续推进，科技大数据平台数据仓库建设规程标准的制定具有充分必要性。