基于WISKI时间序列概念的流量计算解决方案.doc

关于水文时间序列数据的探讨许云 Xu Yun（浦东新区水文水资源管理署，上海 200129）摘要： 水文业务工作中接触的是大量的时间序列数据，例如水位、雨量、流量、过水面积，它们都是在时间尺度上均匀或不均匀分布的时间数据点对，包含着丰富的信息。WISKI是KISTERS公司基于时间序列进行水文水资源信息管理的软件，在WISKI实现对时间序列数据模型构造的基础上，以流量计算的解决方案为例，把水文参数作为时间序列考虑，进行在时间序列数据层面上的管理是本文探讨的内容。关键字：时间序列数据；流量；自动测报1 概述1.1 时间序列数据（Time Series Data）时间序列数据和普通的数据不同，它的每个数据具有时间标注，每个数据都具有时间的各项特征，如数据的时间先后顺序、不同时间的数据具有不同意义、数据的历史意义等。水文中的时间序列数据还有其丰富的属性，例如所属流域、河道、地区、测站和参数分类等。水文工作中大量的参数是时间序列数据，例如水位、雨量、高低潮位、日平均水位等，从数据的时间间隔上这些数据可以分为等距和不等距的；从数据的加工过程上可分为原始的、修正（整编）的和统计分析的；从采集方式上，有水文调查、人工采集、自动采集和模型推演等。水文时间序列数据的日常管理，主要涉及3个方面的工作，首先是数据质量管理，例如合理性分析、数据插补修正等；然后是获得可用的参数时间序列数据，有些数据是直接经过质量管理得到的，例如得到潮位序列，有些需要计算间接得到的，例如过水面积、流量；其次是特征提取和统计分析，例如获得时段极值、求和、月年统计等，最终是获得通过整编审核的报表。这些工作中，操作对象、中间过程和结果都是时间序列数据。 时间序列数据的最简信息就是时标和数据（Time,Data），代表某一时刻的数据。事实上单一数据包含的信息不止于此，可能还包含其来源属性、质量属性、环境属性等，这些数据属性在我们后期的水文分析和数据应用方面是有较大意义的。1.2 WISKI时间数据序列的管理WISKI是德国KISTERS公司的水文水资源信息管理平台，其强项是对时间序列数据的管理。在WISKI中水文数据是通过测站、参数、时间序列数据进行组织的（见图1）。测站保存站点的各种属性，例如所在流域、河道、站点考证信息、参数配置等等；测站的信息中参数数据是非常重要的部分，它用来通过自动或手动方式来监控和测量水文数据。每个参数例如水位、流量、降雨，包含自己的单位和描述信息，从而自动的进行数据的不同方式采集处理。WISKI把所有的测量数据作为时间序列保存。每个时间序列对应一个特定参数，还对应到一个特定测站。这种情况下每个时间序列都是唯一性的，类似与计算机目录定位的绝对地址。每个唯一的序列有自己特定一些属性信息，例如时间间隔和单位。图1时间序列数据分为三个类型，源数据序列（Origin TS）、产品数据(Production TS)、导出数据(Derived TS)。源数据序列一般保存人工采集导入和自动测报采集的原始数据，为确保该类型数据安全，数据设置只读；产品数据一般是源数据序列的拷贝，一般对数据的常规维护都是在这种序列上进行的，相当于我们水文工作中经过检查修正的原始数据，更多时候这种时间序列是在数据序列计算的过程中出现；导出数据序列一般是通过一些标准方法计算的统计序列，例如日月年特征值等。由此可见源数据序列只保存最原始的数据，产品数据这种类型对应我们前面提到的水文工作中质量管理和可用数据的获取两部分工作，而导出数据包含数据序列的特征提取和统计分析部分。WISKI提供一个功能强大的图形控件用来处理时间序列数据，可以针对以上数据类型进行图形化的数据修改、标记、分析、显示等操作，见图2图WISKI操作的对象是时间序列，是把特定的参数数据作为一个整体来对待，不是针对某个时段，例如一潮、一日或一月等。在时间序列基础上的操作， WISKI提供了整套的操作方法，本文暂称其为“动作（ Action）”。基本动作的种类主要有四种，标准函数操作，例如copy、int()、movingmax()等；公式计算，例如加常数；标准程序，例如Check of Completeness(完整性检查)、Distance Check（时距检查）等；嵌入程序，使用Basic程序，利用丰富的函数库，自定义动作。WISKI动作是连接不同时间序列数据的纽带，我们可以根据工作的需求，灵活的应用动作直接对特定时间序列数据进行整体操作。这些动作在系统中基本是以配置的方式进行，类似于EXCELL中数据关联计算的配置，所不同的Excell针对的是单个数字，而WISKI针对的是某个时间序列数据。WISKI的时间序列数据的概念中包含丰富的信息，针对每个点数据，包含质量标签等信息，例如某一时刻的水位（Time,Stage），在WISKI中为（Time,Stage,QualityFlag），这些附加信息描述该数据的质量情况。数据的质量标注（QualityFlag）还有运算的规则，经过时间序列数据的衍生，这些质量信息也会经过运算传递到终端的数据序列中，这种作法对我们后期水文资料的应用是有益处的。2 流量计算的例子流量（水量）计算是个综合性比较强的例子，这个例子不仅包含多个时间序列的归并计算，还包含数据从质量管理、可用参数获取和特征值提取统计的全过程，可以比较好的反映时间序列层面上数据处理的特点和优点。流量（水量）计算是多个时间序列进行归并计算的典型例子，通常我们采取的手工表格计算方法，此外计算机编程来解决的方法也比较普遍。下面以某站（以下简称LX站）侧面安置定点式多普勒流速仪断面的流量计算为例子，说明WISKI时间序列数据概念下的解决方案。2.1 流量计算的起算参数LX站点具备断面、水位、多普勒流速仪指标流速数据序列，断面平均流速和指标流速有稳定一致的函数关系。水位为5分钟间隔的实时测报数据。多普勒流速仪指标流速时间序列数据分为2段，第一段为实现自动测报前的每隔5分钟定制测量的数据，后一段是最小时间间隔1秒的不等时距测速数据，为实时测报数据，两种需要合并为一个数据序列。计算流量需要的过水面积数据序列是水位即时数据的函数。2.2 流量（水量）计算的数学模型由于采取的是自动测报这种方式采集的数据，数据量大，除非我们采用摘录数据方式可以用人工计算，更多的我们需要进行一定的程序开发来解决流量的计算问题。不管是手工、编程还是WISKI下的二次开发，计算的数学模型是基本一致的。从常规意义的流量计算角度来说，需要以下计算的数学模型：2.2.1 指标流速到断面平均流速的计算V指标2=V径向2+V法向2 V指标：指标流速，是某段水柱的流速V径向、V法向：ADCM流速分量V断面=fv(V指标)= k2V指标2+ k1V指标+b0V断面：断面平均流速fv ： 断面平均流速与指标流速函数关系k2、k1、b0 ：采用2次回归时的系数2.2.2 断面水位到过水面积的计算A过水=fA(sg)A过水：特定水位时的过水面积fA ： 水位面积计算关系，是断面湿周的面积分sg：特定时刻水位2.2.3 流量（水量）的计算Qi = V断面* A过水Qi：特定时刻断面流量Fi=(Qi+Qj) /2*(tj-ti)Fi ：相邻2个时刻的水量Qi、Qj：相邻2个时刻的断面流量ti、tj：相邻2个时刻F=FiF:测验期间的水量2.3 wiski时间序列概念下的实现方案WISKI没有提供流量计算的解决方案，但是它建立了时序数据的计算平台和一系列的运算动作，使流量实时计算方案的实现成为可能。下文时间序列数据的表述采用WISKI的描述形式，基本结构为“站名.参数.时距.类型”，例如LX.SG.5.O。在这个例子中我们有以下时间序列数据用于起算：LX.SG.5.O ： LX 站的5分钟等距的水位原始数据序列(O为Origin)LXD.SL.Vh.5.O ： LX 站流量启用初期的5分钟等距的ArgonautSL指标流速原始数据序列（D为Deploy）LXA.SL.Vx.1s.O ： LX 站采用自动测报获取的最小间隔秒的ArgonautSL指标流速径向分量的原始数据序列（A为Auto）LXA.SL.Vy.1s.O ： LX 站采用自动测报获取的最小间隔秒的ArgonautSL指标流速法向分量的原始数据序列（A为Auto）具体实现方案的配置框图见图图该方案的实现全部是通过在WISKI中配置完成的，没有进行程序代码的开发工作，一个普通的水文工程师只要掌握方案的框图，了解WISKI的常规操作，就可以完成这部分工作。下面详细介绍方案的配置过程。2.3.1 断面平均流速的计算指标流速的来源分为个，一是原始的指标流速分钟序列LXD.SL.Vh.5.O，可以直接使用；二是通过自动测报传输的不等距分量序列LXA.SL.Vx.1s.O和LXA.SL.Vy.1s.O。LXA.SL.Vx.1s.O和LXA.SL.Vy.1s.O由于是源数据序列，所以通过拷贝动作（copy）生成LXA.SL.Vx.1s和LXA.SL.Vy.1s，生成这两个序列的目的是便于人工检查时可以对原始数据进行修正和质量标注。下一步通过开平方根的计算动作（含流向判断）求矢量序列LXA.SL.Vi.1s，虽然已经是指标流速，但是时距依然保持秒不等距特性。对LXA.SL.Vi.1s序列进行时距转换动作操作，结合历史数据序列LXD.SL.Vh.5.O的拷贝动作，可以把两种不同来源的数据整合为指标流速分钟序列LX.SL.Vi.5最后代入我们已有的断面平均流速和断面指标流速的率定公式，使用公式的动作，把LX.SL.Vi.5计算为下一序列LX. V.5，即LX站的分钟间隔的断面平均流速时间序列数据。2.3.2 水位到过水面积水位源数据序列LX.SG.5.O同样经过拷贝动作，生成LX.SG.5，目的也是在日常工作中方便对水位数据的维护。WISKI中测流断面的数据是保存在测站的属性中的，我们可以用其内置计算过水面积的标准程序动作，从水位序列方便的生成分钟间隔的过水面积序列LX.A.5。2.3.3 流量（水量）的计算在经过上两步的计算，已经获得LX. V.5和LX.A.5，分别是分钟间隔的断面平均流速和过水面积时间序列，这一步的操作就是对这两个数据序列进行求积的动作，得到LX.FQ.5，即LX站测流断面分钟间隔的流量序列。水量参数往往是我们最终需要的结果，根据前面提到的计算模型，我们利用LX.FQ.5，对这个时间序列用公式result=movingaverage(1,-1,0)*300操作，其含义就是对数据序列1（配置为LX.FQ.5），取其前一个（-1），到本处数据（0）进行平均，然后求5分钟的的积，就可以得到每单个分钟时段的水量序列LX.WQ.52.3.4 导出数据(Derived TS)的计算在有了水量序列LX.WQ.5后，可以用WISKI提供的标准动作，计算日月年的统计数据，实际是求和动作，例如日、月、年的通量LX.WQ.DayTotal、LX.WQ.MonthTotal、LX.WQ.YearTotal。实际上水位、流速等数据都可以生成相应的导出数据，例如水位LX.SG.5可以生成日最大LX.SG.DayMax、日平均LX.SG.DayMean等时间序列，这些导出数据的生成在保证产品数据的质量情况下，是比较简单的。3 探讨水文多数的参数都是时间序列数据，水文时序数据的的处理常常是分时段的处理，甚至是进行离散类型的摘录数据处理，这主要是受旧有的采集和计算手段限制。把参数在时间序列数据的概念上进行考虑，把整个序列作为处理的对象，这种理念为我们目前对水文数据的处理提供了启示。3.1 水文时间序列数据的组织水文参数的时间序列数据除了其内在包含的时间、量值、数据质量、单位等信息外，它还由诸如流域、地区、河道、站点、参数等信息所限定，如何组织这些信息，使任何的时间序列数据被唯一的索引，是实现水文参数在时间序列数据层面上进行处理的关键问题。在WISKI中水文数据是通过测站、参数、时间序列数据的层级进行组织，不同层级包含不同属性，例如在测站属性中可以包含地理坐标、所属流域水系、类别、沿革、管理等，通过类似的方式组织时间序列数据，不仅唯一定位了某个时间序列数据，还把时序数据背后的信息有机的组织起来。这种数据组织方式下的水文信息管理系统的设计，是实现在时间序列数据层面上水文数据处理的基础。3.2 水文时间序列数据处理的开放性我们在实际工作中使用的水文数据处理软件，大多是完成固定的工作，例如提供数据生成报表。这些工作往往是在系统开发的需求阶段就被固定下来的，中间过程难以控制，新的需求需要新的开发。数据的处理软件封装了几乎所有的水文计算模型和大量数据处理功能，但用户无法按照特定需求进行定制的操作或修改，这种封闭的设计，原因在于缺乏对时间序列数据特性的模型构造，缺乏时间序列数据层面的操作手段。在前面流量自动测报的解决方案中，我们看到几乎所有的操作对象都是针对某个时间序列的，生成的也是时间序列数据，例如过水面积数据序列由断面和水位序列生成、流速的历史序列和实时序列被合并为单一流速序列。整个方案的计算流程中，中间计算的过程数据序列都是对用户开放的，我们不仅可以配置、生成，还可以查看、应用。在流量自动测报的解决方案中，所有的“动作”都是可以通过配置来实现的，其过程更类似于EXCELL的联动计算。这使用户对一个工作需求的关注重点，已不在于如何通过程序设计去实现它，而是寻找一种解决方案的设计。实现水文时间序列数据处理的开放性，首先在于系统设计的对象是时间序列数据，而不是离散数据或者数据序列片段；其次在于，系统除了实现常规的计算函数，还要包含针对时间序列这种特定对象的操作工具，例如时间序列间的操作、时间序列的内部操作、时间序列操作的规则等。3.3 水文时间序列数据的质量信息在前面的例子中，虽然没有涉及到关于质量信息的问题，但是实际的数据计算过程中是包含这部分处理的。尤其是自动测报的流速数据，存在通讯故障或人为干扰造成的数据插补和修正情况，类似的问题在多数的自动测报系统中是普遍存在的。水文数据在采集过程中包含着丰富的数据质量信息，例如数据的缺漏、数据的可靠性、数据的准确度、数据序列的完整性等。这些信息往往经过数据的整编，难以传递到后期的水文分析和其它应用工作中，而原始数据的质量信息，往往直接影响到后期数据应用的可信度。水文数据的质量信息在数据的采集和处理中，是需要关联到这个数据上的。我们可以把常规的时间序列的保存形式（Time,Data），改变为（Time, Data,QualityFlag），考虑到其它环境信息，我们甚至还可以扩展这个数据的结构。这种扩展的数据结构，不仅保存数据和数据的时间属性，还包含其它诸如数据质量的信息。包含质量信息的水文时间序列数据，需要具备对质量信息进行处理的模式和方法。数据的质量往往是描述性的量，例如优良、可疑、缺失、估计等，这种数据的运算是可以通过一定规则来解决的。在统计信息中的数据的质量，常常还和上一级时间序列数据的完整性相关，例如在求日平均水位序列中，可能我们未必会得到规定的采集间隔一日内所有的数据，在不完整的数据量下计算的结果还存在一个数据完整性的指标，同时还包含前面提到的描述性的质量信息的含量比例信息。时间序列数据的质量信息，在整合入时间序列中的数据点后，还要有一整套的运算方法来处理，否则也是难以在时间序列的运算过程中传递的。3.4 源数据、解决方案、报表源数据是所有数据序列的来源，在WISKI系统中此类序列被明确标识为“.O”，O是“源”英文Origin 的缩写，例如LX站的水位原始数据序列为LX.SG.5.O。它规定源数据序列是只可导入和手工删除的，数据进入系统不可修改。这样的规定体现了设计人员对原始数据的“尊重”。原始数据常常有一些不可避免的错误或者问题，数据处理人员根据收集到的情况和个人的经验进行修正，但是可能存在由于获得信息的不准确带来的错误判定，通过对源数据的保护，可以保存原始数据的特征。有时对源数据的处理中，不同的处理人员可能处理的观点和方法是不同的，在源数据被保护的基础上，我们可以生成不同结果的产品数据序列(Production TS)，这种情况是比较多的。在前面流量计算的解决方案中我们看到，对水文参数的处理，就是对水文时间序列数据的组织和流程设计的过程。不管做什么样的计算，首先需要保证原始序列的正确，然后要考虑的是解决方案的设计，而解决方案的实现，在WISKI中是相对容易的部分。由此可见，原始数据序列的处理是整个时间序列数据计算流程中最重要的环节，解决方案的设计是一个“创意”，解决方案的实现只是不同动作或配置的累加。报表在水文日常整编工作中是个重点，从水文时间序列数据的计算模式上看，报表也只是一个从不同时间序列中提取相关数据的动作。在WISKI中，我们可以通过不同的方案得到常规报表中需要的所有数据，这些数据可以通过BASIC的嵌入程序，生成特定的格式，联接到预先制作的报表模版中，从而获得常规意义的报表。以这种方式出报表，在我们的标准报表的规定和格式有变化时，一般的技术人员是可以进行修改实现的。由此可见，报表的生成只是一个解决方案，是一系列动作的结果；报表已经不是整个水文时间序列数据处理的最终目标，对原始数据质量的关注显得更加重要。 3.5 灵活性实用性从流量实时计算的角度看，不管是手工计算、某个流量软件的解决方案、还是WISKI系统上二次开发类型的方案设计，都是对流量数学模型的计算模拟，从这方面说是一致的。WISKI这种类型的软件特点在于，建立了时间序列数据计算管理的平台，而不是直接实现某个用户需求，使用户可以方便的进行自定义的操作，这种操作基本不需要编程。用户不仅可以按照水文相关标准完成各种类型的计算和报表的编制生成，还可以根据需要完成个性化的工作任务。比如特定滑动时段雨强曲线、内河水位15分钟均线、结合在线流量和在线污染物监测进行污染通量时间序列计算等等。随着自动测报手段的不断更新，水文、水质、气象等领域数据的采集会更多、更快、更准，客观上需要寻找一种有效的数据管理方式；不同参数的组合计算、参数的深度计算或个性化的处理，越来越显的重要，例如提到的污染物通量的实时计算等，采用时间序列数据的理念建立参数的信息管理平台，可以满足这种需求，对比目前常见的针对项目的开发方式，可以减少了重复投资和开发。4 结语多数的水文参数都是时间序列的数据，尤其是自动测报技术的日益普及，面对大量采集的信息，如果加以组织，如何进行管理，时间序列数据处理的理念对我们是一个启示。水文数据的质量信息是数据本身重要的属性，这些属性通过保存、计算和“传递”，进入水文计算、水文模型、支持系统等领域，是有较大意义的，我们需要从技术层面上保留这部分信息。随着水文信息化技术的不断提升，水文数据的采集、传输、处理、分析等过程上都有了较大改变，这需要对工作的对象、工作的过程、工作的目标进行重新的思考，避免大量水文水资源管理系统的重复开发。参考文献：1 GB50179-93,河流流量测验规范S2 WISKI技术手册3 S. E. Rantz and and others. Measurement And Computation Of Streamflow作者简介：许云(1973-)，男，新疆石河子人，上海市浦东新区水文水资源管理署工程师，双学士，主要从事水文测报、水文分析Discussion about hydrologic time series dataXu Yun(Shanghai Pudong New Area Hydrology and Water Resource Administration ,Shanghai 200137,China)Abstract: In hydrological routine work, lots of kinds of time series data exists ,such as water level, precipitation, discharge, cross section area based on different water level, all of which are data with point pairs based on equidistant or non-equidistant calendar axis on temporal scale and contain abundant hydrologic information. WISKI is a water resource information based on time series management software produced by KISTERS company. The topic in this paper is discussion on how to make a application on WISKI time series. A kind of discharge estimation solution is presented as a example which built on the foundation of time series model construction realized by WISKI and transforms hydrologic parameters into time series as a kind of consideration.Key words: time series data, discharge, telemetry