智慧水利数据质量规范.docx

ICS27.140CCSL67团体标准T/CASEMSXXXX-XXXX智慧水利数据质量规范Smartwaterresourcesdataqualityspecification（征求意见稿）XXXX-XX-XX发布XXXX-XX-XX实施中国中小企业协会发布目次前言II1范围12规范性引用文件13术语和定义14数据质量管理2I1概述2I9框架25数据质量描述34I描述要素34i）定量元素44B非定量元素56数据质量识别6A1定量的数据质量信息6Rt）非定量的数据质量信息77数据质量评价77I概述77i）评价方法771评价流程和步骤88数据质量控制9R1控制规则9Rf）控制方法109报告数据质量信息11Q1概述11Qi）数据质量报告11=一1刖百本文件按照GB/T1.1-2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。本文件由武汉中地云申科技有限公司提出。本文件由中国中小企业协会归口。本文件起草单位：武汉中地云申科技有限公司。本文件主要起草人：赵引秀等。智慧水利数据质量规范1范围本文件规定了智慧水利数据质量规范的术语和定义、数据质量管理、数据质量描述、数据质量识别、数据质量评价、数据质量控制、报告数据质量信息。本文件适用于智慧水利数据采集、传输、维护和使用过程中的质量管理。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T336742017气象数据集核心元数据3术语和定义下列术语和定义适用于本文件。11智慧水利smartwaterconservancy以智慧城市为代表的智慧型社会建设中产生的相关先进理念和高新技术在水利行业的创新应用，是云计算、大数据、物联网、传感器等技术的综合应用。数据质量dataquaIity数据的一组固有特性满足要求的程度。注：固有特性一般指永久性的特性。数据质量管理dataquaIitymanagement指导和控制某机构数据质量的协调活动。a4质量测量quaIitymeasurement对质量定量元素、子元素的评估。质量结果qualityresult数据质量测量得到的一个值或一组值，或将这些值同规定的一致性质量等级相比得到的评价结果。质量范围quaIityscope报告质量信息的数据的覆盖范围或特征。3 7完全检查compIeteinspection质量范围内所有个体都进行的检查。取样检查SamPlinginspection从质量范围内的整体中抽取若干个体进行的检查。数据集dataset可以标识的数据集合。来源：GB/T336742017,3.14数据质量管理4 1概述智慧水利数据质量管理主要是对数据质量进行规范和控制，要求智慧水利项目的数据质量管理必须识别相应产品规范或用户需求中的质量信息，在元数据、质量评价报告中形成正确的质量描述，并在这些规范上的质量结果均为“合格”。5 ）框架数据质量管理框架见图Io迸人数据应用环境图1数据质量管理框架5数据质量描述41描述要素5.1.1 数据质量用以下两个元素来描述：a）质量定量元素；b）质量非定量元素。5.1.2 每个数据质量定量元素可细分为多个数据质量定量子元素。每个数据质量定量子元素用多个数据质量定量子元素描述项描述。5.1.3 通过数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项，描述数据资源满足相应规范中预先设定的标准的程度，并提供定量的质量信息。5.1.4 数据质量非定量元素提供非定量的质量信息。5.1.5 数据质量描述框架见图2。图2数据质量信息框架43定量元素5.2.1构成数据质量定量元素用来描述数据集的定量质量信息，用来表达符合数据规范的程度。包括但不限于以下元素：a）完整性：特征、特征属性及特征关系存在或不存在；b）逻辑一致性：数据结构（包括概念的、逻辑的或物理的数据结构）、属性及他们之间的相互关系符合逻辑规则的程度；c）位置精度：特征的位置精度；d）时间精度：时间属性及特征之间的时间关系的精度；e）专题精度：定量属性的精度、非定量属性的正确性、特征分类的正确性及特征之间相互关系的正确；f）附加数据质量定量元素：用户可根据需求设置，以便描述无法用以上定量元素描述的定量的数据质量信息。5.2.2子元素5.2.2.1数据质量定量子元素与数据质量定量元素相对应，用来描述数据集的定量质量信息。包括但不限于以下子元素：a）完整性的子元素：1）多余：数据集中有多余数据;2）缺少：数据集中缺少应有的数据。b）逻辑一致性的子元素：1）概念一致性：符合概念模式规则；2）值域一致性：值在值域范围内；3）格式一致性：数据存储与数据集物理结构的一致性；4）拓扑一致性：数据集拓扑关系的正确性。c）位置精度的子元素：1）绝对精度：坐标值与其可接受的坐标值或真值之间的接近程度；2）相对精度：特征相对位置与其可接受的相对位置或真值之间的接近程度；3）栅格数据位置精度：栅格数据位置与其可接受的值或真值之间的接近程度。d）时间精度的子元素：1）时间测量精度：时间测量的正确性；2）时间一致性：有序事件或有序序列的正确性；3）时间正确性：数据在与时间有关的方面的正确性。e）专题精度的子元素：1）分类正确性：特征或其属性的分类相对于分类标准的正确性；2）非定量属性正确性：非定量属性的正确性；3）定量属性精度：定量属性的精度。5.2.2.2对任意数据质量定量元素，可新建附加数据质量定量子元素。5.2.3子元素描述项对每个可用的数据质量定量子元素，应记录其质量信息。每个数据质量定量子元素的完全的质量信息，用下列7个数据质量描述项来描述：a）数据质量范围；b）数据质量测量；c）数据质量评价过程；d）数据质量结果；e）数据质量值类型；f）数据质量值单位；g）数据质量日期。耳3非定量元素5.3.1数据质量非定量元素用来描述数据集的非定量的质量信息。包括但不限于以下元素：a）目的：描述数据集的创建原因和其预定的使用目的；b）用途：描述使用过该数据集的应用。数据生产者或其它数据使用者用“用途”来描述数据集的使用情况；c）数据志：数据志描述数据集的历史，即数据集从搜集、获取、汇编到现状的整个生命周期。数据志包含两部分：描述数据集起源的源信息；描述数据集生命周期中的事件或转换的处理步骤或历史信息（包括连续性或周期性地维护数据集的处理过程）。5. 3.2附加数据质量非定量元素描述以上数据质量非定量元素没有描述的非定量的质量信息。6数据质量识别A1定量的数据质量信息5.1.1 识别可用的数据质量定量元素对可用于数据集的所有数据质量定量元素加以识别。判断这些元素是否适用于某一特定类型的数据集。注：数据质量定量元素可用性由数据规范来决定。5.1.2 新建附加数据质量定量元素若本文件所列的数据质量定量元素未能充分描述数据质量的某一方面，则应当命名并定义新的数据质量定量元素。附加数据质量定量元素的命名和定义，应作为数据集质量信息的一部分。5.1.3 识别可用的数据质量定量子元素对可用数据质量定量元素的所有数据质量定量子元素加以识别，判断这些元素是否适用于某一特定类型的数据集。每个可用数据质量定量元素至少包含一个可用数据质量定量子元素。注：数据质量定量子元素的可用性由数据规范来决定。5.1.4 新建附加数据质量定量子元素若本文件所列的数据质量定量子元素未能充分描述数据质量的某一方面，则应当命名并定义新的数据质量定量子元素。附加数据质量定量子元素的命名和定义，应作为数据集质量信息的一部分。5.1.5 数据质量定量子元素描述项使用6. 1.5.1数据质量范围6.1.1.1.1 对每个可用数据质量定量子元素，应识别至少一个数据质量范围。数据质量范围可以是数据集系列、数据集或数据集内具有相同特征的部分数据。若数据质量范围无法识别,则默认为该数据集。注：数据质量范围的确定参照数据规范及数据质量非定量元素提供的非定量质量信息。6.1.1.1.2 在同一数据集内，质量也可能有所不同。故对每个可用数据质量定量子元素，应当识别多个数据质量范围，以便更全面地描述定量的质量信息。数据质量范围应被充分描述，下列可被用来描述数据质量范围：a）层次：数据集所属的数据集系列、数据集或数据集内具有某些相同特征的一小部分；b）数据项类型：特征类型、特征属性及特征间的相互关系；c）特定数据项：特征实例、属性值及特征间的关系实例；d）地理范围；C）时间范围：时间帧及时间帧精度。6.1.5.2数据质量测量每个数据质量范围有一个数据质量测量。数据质量测量应简要描述并命名（若名称存在）应用于该数据质量范围所规定的测试类型,并应当包含边界或限制参数。数据集的质量应当由多个测量来衡量。注：单一测量不能充分评价数据质量，也不能为数据集的所有应用提供单一测量。6.1.5.3数据质量评价过程每个数据质量测量有一数据质量评价过程。数据质量评价过程应当描述（或引用文档描述）数据质量范围内的数据质量测量方法，并包含该方法报告。6.1,5.4数据质量结果6.1.5.4.1每个数据质量测量有一个数据质量结果。数据质量结果应为以下两者之一：a）将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合；b）将所得到的值或值的集合，用可接受的指定一致性质量等级，评价这些值或值的集合得到的结果。该数据质量结果为“通过”或“不通过”。6.1.5.4.2这两种类型的数据质量结果都应被提供。6.1.5.5数据质量值类型每个数据质量结果有一个数据质量值类型。注：“通过”或“不通过”的数据质量类型为“布尔变量”。6.1.5.6数据质量值单位每个数据质量结果有一个数据质量值单位（若存在）。6.1.5.7数据质量测量日期每个数据质量测量应有一个数据质量测量日期。69非定量的数据质量信息6.2.1识别可用的数据质量非定量元素6.2.1.1数据集目的应明确，用途应清晰，数据志应完整。6.2.1.2数据集的数据志应是可用的，或者报告数据志，或者报告缺少数据志的原因。6.2.1.3数据质量范围所限定的数据集内，当一部分数据的数据志与其它部分的数据志不同时，应提供其数据志，作为非定量的数据质量信息完整记录的一部分。6 .2.2新建附加数据质量非定量元素若本文件所列的数据质量非定量元素未能充分描述非定量数据质量的某一方面，则应命名并定义新的数据质量非定量元素。附加数据质量非定量元素的命名和定义，应作为数据集质量信息的一部分。7数据质量评价7 1概述数据质量评价过程是产生和报告数据质量结果的一系列步骤。质量评价过程可用在静态数据集上,也可用在动态数据集上。8 3评价方法7.2.1数据质量评价方法分类数据质量评价方法分为：a）直接评价方法：通过比较数据与内外部参考信息来确定数据质量;b）间接评价方法：使用与数据相关的外部信息推断或估计数据质量。7.2.2直接评价方法直接评价方法可分为：a）自动评价方法或手工评价方法；b）完全检查方法或取样检查方法：1）完全检查方法：测试数据质量范围内的所有数据项；2）取样检查方法：测试数据质量范围内的部分数据项，取样方法、取样率及取样过程应在数据质量评价报告中报告。注：使用取样检查方法时，应分析数据质量结果的可靠性，特别是在使用小样本或非随机取样时。7.2.3间接评价方法间接评价方法所依据的外部知识包括但并不限于：数据质量非定量元素、数据集的其他质量报告、关于产生该数据集的数据的质量报告。注：仅当直接评价方法不可用时，才用间接评价方法。73评价流程和步骤1. 3.1过程流评价与报告数据质量结果的过程流见图3。图3评价与报告数据质量结果的过程流7. 3.2评价步骤评价步躲见表Io表1评价步骤步骤动作描述1识别可用的数据质量定量元素、数据质量定量子元素及数据质量范围按第6章识别数据质量定量元素、数据质量定量子元素及数据质量范围。若产品规范或用户需求有测试需要，重复该步2识别数据质量测量对每个测试，识别数据质量测量、数据质量值类型及数据质量值单位（若存在）：选择并运用数据质量评价方法对每个被识别的数据质量测量，选择数据质量评价方法4决定数据质量结果结果为：定量数据质量结果、数据质量值或数据质量值集合、数据质量值单位及数据质量日期5决定一致性若产品规范或用户需求中已指定一致性质量层次，将其与数据质量结果相比较后可决定一致性。一致性数据质量结果（“通过”或“不通过”）是定量数据质量结果与一致性质量层次比较后的结果8数据质量控制A1控制规则8.1.1数据质量描述测试套件“数据质量描述测试套件”用来测试对数据集的质量描述的正确性。对数据集的质量描述都必须通过该测试套件的所有测试。测试一：组件测试a）测试目的：证实质量组件都在质量描述中；b）测试方法：1）检查质量描述，证实数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述项已被用来描述定量的质量信息；2）检查质量描述，证实数据质量非定量元素已被用来描述非定量的质量信息。测试二：正确性测试a）测试目的：证实质量描述的正确性；b）测试方法：1）检查质量描述，证实其数据质量定量元素及数据质量定量子元素在本文件中，或是用户附加的以便用来描述不在本文件中的数据质量组件或方面；2）检查质量描述，证实本文件中的数据质量定量子元素描述子已被用来描述定量的质量信息；3）检查质量描述，证实其数据质量非定量元素在本文件中，或是用户附加的以便用来描述不在本文件中的非定量的数据质量信息。测试三：定量的质量可用性测试a）测试目的：证实定量质量描述的可用性：b）测试方法：识别产品规范中与定量质量相关的语句并用它们来识别可用的数据质量定量元素及其可用的数据质量定量子元素。比较这些数据质量定量子元素与质量描述中所用的数据质量定量子元素，确保该数据集可用的所有数据质量定量子元素都已被识别并被用在质量描述中。测试四：非定量的质量可用性测试a）测试目的：证实非定量的质量描述的可用性；b）测试方法：证实可用的数据质量非定量元素被用来描述非定量的质量信息。测试五：排斥性测试a）测试目的：证实质量描述中的附加元素是排斥性的，证实关于附加元素的信息已被充分提供；b）测试方法：1）检查所有附加数据质量定量元素，证实每个都描述了本文件中数据质量定量元素没有描述的定量质量信息；2）检查所有附加数据质量定量子元素，证实每个都描述了本文件中数据质量定量子元素没有描述的定量质量信息；3）检查所有附加数据质量非定量元素，证实每个都描述了本文件中数据质量非定量元素没有描述的非定量质量信息。测试六：数据质量定量子元素描述子使用正确性a）测试目的：证实数据质量定量子元素描述子使用正确；b）测试方法：比较本文件及每个可用数据质量定量子元素（包括附加数据质量定量子元素）所提供的质量信息，证实数据质量定量子元素描述子的使用符合本文件。测试七：在元数据中报告数据质量信息a）测试目的：证实质量描述已在规范中报告；b）测试方法：1）证实定量的质量信息已按规范报告；2）证实非定量的质量信息已按规范报告。测试八：用“数据质量报告”报告定量的质量信息a）测试目的：证实定量质量描述已用“数据质量报告”报告；b）测试方法：证实定量质量信息已用符合报告数据质量信息要求的“数据质量报告”报告。8.1.2数据质量内容测试套件8. 1.2.1测试目的：保证纳入“智慧水利”的数据内容的质量。8.1.2.2测试方法：任何纳入“智慧水利”的数据应符合给定的数据规范，并提供一致性数据质量报告，且在这些数据规范上的数据质量结果均为“合格”。ft5控制方法数据质量控制总体上可分为三个步骤：a）生产者自查：数据集生产者自查认为数据及其质量描述完全符合“数据质量描述测试套件”“数据质量内容测试套件”的所有要求，才能将其提交给第三方检查。b）第三方检查：第三方检查认为数据集生产者提交的数据及其质量描述完全符合“数据质量描述测试套件”“数据质量内容测试套件”的所有要求，才能将其提交给项目组检查。否则，详细指出错误，将材料返回给数据集生产者修改。c）项目组检查：项目组检查认为数据集生产者提交的数据及其质量描述完全符合“数据质量描述测试套件”“数据质量内容测试套件”的所有要求，才能将其纳入“智慧水利数据”。否贝h详细指出错误，将材料返回给数据集生产者修改。9报告数据质量信息O1概述9.1.1 定量数据质量信息应按相应规范要求报告，还应以“数据质量报告”报告。9.1.2 非定量数据质量信息应按相应规范要求报告，无需以“数据质量报告”报告。9.1.3 当多个数据质量结果被综合成单个数据质量结果来报告数据集质量时，综合数据质量结果应包含在“数据质量报告”中，其数据质量结果类型为“综合”。O1数据质量报告数据质量报告主要内容见表2。其中：a）编号：给表中每个条款编号；b）名称：报告条款名称；c）定义/内容：定义或描述条款内容；d）条件：描述报告该条款的必要条件，或需要该条款的条件。其含义如下：1）必选：必须有该条款；2）条件：规定条件被满足时必须有该条款；3）可选：该条款是可选的。表2数据质量报告主要内容编号名称定义/内容条件1质量报告报告章节必选1.1报告名称报告名称必选1.2报告范围该报告所评价数据集的范围可选2数据质量测量报告章节必选2.1数学描述数据质量测量的数学描述必选2.2数据质量测量值数据质量测量值必选2.3数据质量测量值单位数据质量测量值单位必选2.4可靠度计算的或估计的数据质量测量的可靠性或可信度可选2.5可信度单位可信度单位可选3一致性的可信度报告章节可选3.1一致性结果可信度一致性结果的可信度必选3.2一致性结果可信度单位一致性结果可信度的单位或值类型必选3.3参考文档一致性评价所参考的文档信息可选4质量评价方法信息报告章节必选4.1方法类型质量评价方法类型（直接、间接）必选4.2检查策略所用检查策略信息（完全、取样）必选5数据质量评价方法报告章节必选5.1假定开发和应用该数据质量评价方法的隐含假定信息可选5.2处理算法为确定该数据质量结果，怎样处理了数据必选5.3参数信息数据质量评价方法所用参数信息可选5.3.1参数定义所用参数定义必选5.3.2参数值所用参数值必选表2数据质量报告主要内容（续）编号名称定义/内容条件5.3.3参数单位参数单位必选5.4完全检查方法完全检查方法信息用完全检查方式时必选5.4.1完全检查过程完全检查过程详细描述必选5.4.2数据项描述怎样定义数据项必选5.4.3参考文档完全检查所参考的文档可选取样方法取样方法信息用取样方法时必选5.5.1取样方法类型取样方法类型必选5.5.2取样过程取样过程详细描述必选5.5.3取样比率样本占群体的比率用划分时必选6综合质量报告章节有综合质量时必选6.1综合质量值综合质量值必选6.2综合质量值单位综合质量值单位必选6.3综合方法综合方法详细描述必选6.4时间综合时间可选6.5综合质量报告综合质量评价报告可选7其它报告章节可选