海量实时数据服务平台.docx

《海量实时数据服务平台.docx》由会员分享，可在线阅读，更多相关《海量实时数据服务平台.docx（93页珍藏版）》请在三一办公上搜索。

1、海量实施数据服务平台海量实时数据服务平台目 录1.总则42.规范性引用文件43.术语和定义44.技术要求75.附则356.附录1通用规约357.附录2 IEC104规约约定518.附录3 E语言格式539.通用应用编程接口（UAPI）53前 言为规范海量实时数据服务平台技术标准和要求，指导XXXX公司海量实时数据服务平台建设、改造和运行管理工作，根据国家和行业有关标准、规程和规范，制定本规范。本规范由中国XXXX公司有限责任公司标准化委员会批准。本规范由中国XXXX公司有限责任公司信息部提出、归口管理和负责解释。本规范起草单位： 本规范参加单位：本规范主要起草人：海量实时数据平台技术规范1.

2、规范性引用文件下列文件中的条款通过本部分的引用而成为本规范的条款。凡是注日期的引用文件，其随后所有的修改单（不包括勘误的内容）或修订版均不适用于本规范，凡是不注日期的引用文件，其最新版本适用于本规范。ISO/IECTR13335:2000 信息技术安全技术IT安全管理指南 GB/T20270 网络基础安全技术要求 2. 术语和定义本文档在描述过程中涉及相关术语、编写语等，为使读者方便了解相关术语意义，有助于该规范的描述，此处对相关术语做统一的说明。2.1 应用程序接口APIAPI (Application Program Interface)应用程序接口，由可执行应用组件提供而供给其他应用组件

3、使用的公用函数集。2.2 公共信息模型 CIM公共信息模型(Common Information Model，CIM )是一个抽象模型，它提供一种标准化方法，把各种资源描绘为对象类、属性、行为以及它们之间的关系，它是一种可扩展的数据模型，用于在管理环境中以一致和统一的方式在逻辑上组织管理对象。2.3 组件接口规范CIS组件接口规范(Component Interface Specification，CIS) 是在CIM基础上定义的，规定组件（或应用程序）为了能够以一种标准方式和其它的组件（或应用程序）交换信息和/或访问公开数据而应该实现的各种接口。当前CIS标准规定了DAF（数据访问设施）、G

4、DA（通用数据访问接口）、HSDA（高速数据访问接口）、TSDA（时序数据访问接口）中的所有接口服务，包括近100个方法。2.4 通用数据访问GDAGDA (Generic Data Access)通用数据访问，包含了用于访问基于CIM层次信息结构的公共数据的API服务。换句话说是，客户可以访问由另一个组件（应用或数据库）维护的数据，或者一个系统所维护的数据，不需要了解此系统用于内部数据存储的逻辑模式，CIM的知识已经足够。2.5 可缩放矢量图形SVGSVG (Scalable Vector Graphics)可缩放矢量图形，是由W3C组织推出的最新一代矢量图形标准，是一种开放标准的文本式图形

5、描述语言。2.6 WebService Web Service 是一种新的web应用程序分支，它们是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Web Service是一个应用组件，它逻辑性的为其他应用程序提供数据与服务。各应用程序通过网络协议和规定的一些标准数据格式（Http，XML，Soap)来访问Web Service,通过Web Service内部执行得到所需结果。Web Service可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Web Service应用程序可以发现并调用它部署的服务。2.7 XML可扩展标记语言XML（Extensible Ma

6、rkup Language）即可扩展标记语言，它与HTML一样，都是SGML(Standard Generalized Markup Language,标准通用标记语言)。Xml是Internet环境中跨平台的，依赖于内容的技术，是当前处理结构化文档信息的有力工具。扩展标记语言XML是一种简单的数据存储语言，使用一系列简单的标记描述数据，而这些标记可以用方便的方式建立，虽然XML占用的空间比二进制数据要占用更多的空间，但XML极其简单易于掌握和使用。2.8 XML SchemaXML Schema语言也被称为XML Schema Definition (XSD)（XML Schema定义）。X

7、ML Schema是以XML语言为基础的，它用于可替代DTD。一份XML schema文件描述了XML文档的结构。2.9 简单对象访问协议SOAPSOAP（Simple Object Access Protocol）简单对象访问协议，简单对象访问协议（SOAP）是一种轻量的、简单的、基于 XML 的协议，它被设计成在 WEB 上交换结构化的和固化的信息。 SOAP 可以和现存的许多因特网协议和格式结合使用，包括超文本传输协议（ HTTP），简单邮件传输协议（SMTP），多用途网际邮件扩充协议（MIME）。它还支持从消息系统到远程过程调用（RPC）等大量的应用程序。2.10 XSLT扩展样式表转

8、换语言XSLT是扩展样式表转换语言（Extensible Stylesheet Language Transformations）的简称，这是一种对XML文档进行转化的语言，XSLT中的T代表英语中的“转换”（transformation）。2.11 服务在SOA架构中，服务是最核心的抽象手段，它具有明确的功能，通常封装着业务功能或者数据。一个服务包括接口（Interface）、契约（Contract）和实现（Implementation）三个部分。服务的接口和契约采用中立、基于标准的方式进行定义，它独立于实现服务的硬件平台、操作系统和编程语言，这使得构建在不同系统中的服务可以以一种统一的和通

9、用的方式进行交互。2.12 企业服务总线企业服务总线(Enterprise Service Bus) ，以下简称ESB,是一种在松散耦合的服务和应用之间标准的集成方式，提供简单、快速、基于标准的多点集成，类似硬件中的总线结构。2.13 WS-SecurityWS-Security 定义了一个用于携带安全性相关数据的 SOAP 标头元素。如果使用 XML 签名，此标头可以包含由 XML 签名定义的信息，其中包括消息的签名方法、使用的密钥以及得出的签名值。2.14 WSDLWSDL(Web Services Description Language)：WSDL即Web服务描述语言，它从句法层面对W

10、eb服务的功能进行描述，包括4个不同的粒度：数据类型(DataType)、消息(Message)、方法(Operation)和访问端口(PortType)。WSDL只提供了Web服务的接口描述，对服务的行为约束和属性描述缺乏进一步的支持。 2.15 E语言XX系统数据标记语言E语言规范（以下简称“E语言”）是在IEC 61970-301XX系统公用数据模型CIM（Common Information Model）的面向对象抽象基础上，针对CIM在以XML方式进行描述时的效率缺陷所制定的一种新型高效的XX系统数据标记语言。2.16 104规约国际电工委员会制定的IEC60875-5-104规范，

11、最新的版本是2000版。用于适应和引导XX系统调度自动化的发展，规范调度自动化及远动设备的技术性能。我国电力行业在2002年发布了DL 634.5104-2002协议，而且注明是和IEC60870-5-104（2000）是等同采用。本规范中提到的104规约是IEC60870-5-104（2000）。3. 技术要求3.1 功能规范海量实时数据平台的功能架构主要包括数据接入、数据处理、数据加工、数据存储、元数据管理、访问服务、支撑工具以及平台管理八大部分。如下图所示：图3功能架构3.1.1 元数据管理海量实时数据平台元数据管理功能主要包括：测点管理、电网模型数据管理、量测管理功能。3.1.1.1

12、测点管理测点管理功能主要负责测点的增加、删除、修改、查询以及导入/导出，具体说明如下：1）增加测点：支持增加单个或批量测点的功能，增加测点时输入测点的属性，并根据规则检查测点属性的完整性和合法性；2）删除测点：支持删除单个或批量测点的功能；3）修改测点：支持修改单个或批量测点的属性的功能，修改测点时也要检查测点属性的完整性和合法性；4）查询测点：支持单个参数的条件查询以及多个参数组成的组合条件查询；5）导入测点：支持以固定格式（XML，CSV等）批量导入测点功能，导入时根据规则配置检查测点属性的完整性和合法性；6）导出测点：支持以固定格式（XML，CSV等）导出测点功能。测点属性主要包括：测点

13、名称、类型、数据精度、刷新频度、变换方式、限值、测点来源等。测点属性的完整性检查主要是检查必填属性是否为空等。测点属性的合法性检查包括：格式、字符长度、逻辑关系等方面的检查。3.1.1.2 电网模型数据管理海量实时数据平台遵循ECIM和IEC61970/61968标准，提供统一规范的设备模型视图。海量实时数据平台管理的电网模型数据包括：发电设备、输电设备、配电设备、变电设备、表计信息、用户及拓扑模型等数据。主要功能包括：1）提供符合CIM规范的电网模型视图。模型层次包括组织、控制区域、电压等级、设备容器、设备以及设备的量测，形成一个完整的树状的电网模型视图；2）支持从企业数据仓库导入电网模型数

14、据，包括全部导入和增量导入，导入时自动检查模型数据的完整性，并实现模型的拼接。3.1.1.3 量测管理量测是建立测点与电网设备的测量关系。通过量测管理，提供符合ECIM标准的数据视图，为企业级应用开发提供支撑。海量实时数据平台量测管理应该遵循广东电网公司实时数据量测编码规范，并对来自不同业务系统的量测进行编码映射，实现量测编码统一。主要功能包括：1）增加量测：增加测点或者增加电网模型设备时自动匹配生成量测；2）删除量测：删除测点或者删除电网模型设备时自动删除关联的量测；3）修改量测：支持量测属性的修改，通过修改关联测点或者关联设备参数改变测点与设备的关联关系；4）查询：支持通过设备查找量测，也

15、可以通过测点查询量测；支持查询某个设备关联的所有测点以及某个测点所属的设备；量测属性主要包括：量测名称、类型、关联测点、关联设备等；3.1.2 数据接入海量实时数据平台提供规范的数据接入功能，将各业务系统实时数据接入到海量实时数据平台。3.1.2.1 接入规约海量实时数据平台应支持统一的数据通信协议，以规范不同业务系统的数据接入，为方便现有业务系统的接入，应支持通信协议的扩展。海量实时数据平台应至少支持以下的通信协议：1）通用规约：通用规约是海量实时数据平台为实现各业务系统实时数据的高效、统一接入而制定的通信报文传输格式。具体规约定义参见附录1。2）104规约：电力通信标准规约，具体定义参见附

16、录2。3）E语言：遵循IEC61970/61970规范的XX系统数据标记语言，具体参见附录3。3.1.2.2 接入的业务系统海量实时数据平台接入的各业务系统及接入规约选择如下表所示：表1：海量实时数据平台接入业务系统业务系统数据量接入频率通信规约XXXX公司总部SCADA/EMS业务系统全部实时数据3秒通用规约，IEC104，E语言。计量自动化业务系统全部实时数据15分钟通用规约省公司SCADA/EMS业务系统全部实时数据3秒通用规约，IEC104，E语言。计量自动化业务系统全部实时数据15分钟通用规约设备远程监测系统设备监测业务系统全部实时数据3秒通用规约覆冰监测业务系统全部实时数据15分钟

17、通用规约变压器绝缘油监测业务系统全部实时数据日通用规约变压器中性点直流分量监测业务系统全部实时数据3秒通用规约雷电定位系统业务系统全部实时数据有雷击时自动上送通用规约电能质量检测业务系统全部实时数据3秒通用规约地市局SCADA/EMS业务系统全部实时数据3秒通用规约，IEC104，E语言。DMS业务系统全部实时数据15分钟通用规约，IEC104，E语言。计量自动化业务系统全部实时数据15分钟通用规约注1：海量实时数据平台接入个业务系统全部实时数据。注2：接入频率是各业务系统数据处理和刷新的频率。随着智能电网建设，特别是配电自动化建设的深入，DMS系统采集的数据频率将更高，海量实时数据平台应该能

18、支持最高的接入频率。注3：与各业务系统通信规约推荐采用通用规约，海量实时数据平台应该支持104规约和E语言格式以及与业务系统协商的其它规约。3.1.2.3 接入配置管理海量实时数据平台从各业务系统接入实时数据，这些业务系统是海量实时数据平台的数据源。接入配置管理主要负责海量实时数据平台与各数据源系统间的通信参数的统一管理。主要功能包括：数据源系统的增加、删除、修改、查询等功能：1）增加：支持增加数据源系统的功能，增加时设置与数据源系统通信的参数；2）删除：支持删除数据源系统的功能；3）修改：支持修改数据源系统配置参数的功能；4）查询：支持查询数据源系统功能。数据源系统配置参数主要包括：通信协议

19、、通信方式、端口地址等。3.1.2.4 接入处理接入处理是指：根据接入配置，通过指定的通信协议和通信方式与数据源业务系统进行通信，接收源业务系统的实时数据，并把接收到的数据转换为海量内部数据格式。接入处理功能主要包括：1）根据配置，与各源业务系统建立通信链路；2）按照通信协议，与源业务系统进行通信，接收实时数据；3）对接入的数据进行格式转换。4）在数据接入过程中，对于配置参数的修改应该能自动适应，不应该由于通信参数的变更而重新启动接入进程。3.1.2.5 接入监控管理海量实时数据平台提供接入监控功能，实现数据接入的可视和可控。主要功能包括：1）提供界面以方便实时监视链路的连接状态、数据流量、连

20、通时刻、数据包信息等；2）提供界面以方便进行连接状态、运行时间、停运时间、数据流量等的统计和查询；3）提供界面以方便对通讯链路进行运行、停止等控制操作；4）接入源业务系统、网络通道等状态异常时提供报警功能。3.1.2.6 接入异常处理接入异常处理是为解决与源业务系统在接入过程中由于异常情况（如果网络中断等）而导致数据丢失的问题，并对异常情况提供统计分析功能为平台系统运营维护提供参考。接入异常处理功能主要包括：1）对于接入源业务系统运行异常情况，在异常情况恢复后，提供补录机制，保证数据不丢失；2）提供接入异常信息的查询、统计等功能。 查询内容包括：发生时间、原因等； 统计功能包括：异常发生频率统

21、计等。3.1.3 数据处理海量实时数据平台应该对采集到的各类数据进行过滤、转换等规范化处理并对数据的质量进行检查分析。数据处理功能主要包括：数据过滤、数据变换、数据质量处理等。3.1.3.1 数据过滤数据过滤功能主要包括：模拟量过滤处理和状态量过滤处理。1）模拟量过滤处理判断模拟量数据是否在合理值范围内，如果超出合理值范围，则根据配置进行过滤处理并产生告警。2）状态量过滤处理进行状态量变化检测，有几种情况： 收到的数据值与之前的一致，自动过滤新收到的数据。 根据配置规则断定是状态抖动，则进行防抖处理，处理方式包括：丢弃和报警。 对于正常的状态量变化，产生告警。3.1.3.2 数据变换数据变换功

22、能主要包括：模拟量变换和状态量变换。1）模拟量变换为了方便其他应用使用数据，根据配置规则，进行模拟量变换处理。如：量程转换或者单位转换。2）状态变换由于信号采集设备或者源业务系统原因，可能导致状态量的值与实际相反。海量实时数据平台提供状态变换处理功能，根据配置对状态量进行变换处理。3.1.3.3 数据质量处理数据质量处理主要目的是保证海量实时数据平台的数据在被其他应用使用时的真实性和可理解性，保证数据能够与实际对应并被数据使用者理解。海量实时数据平台数据质量处理包括以下几个方面：1）数据质量标识，海量实时数据平台提供统一的数据质量规范和转换规则，如下表所示：表2数据质量规范数据类型数据质量描述

23、模拟量Good（好）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标志为“good”，则存入平台的数值被标记为“good”Questionable（可疑）如果实时数据平台监测出采集通道没有异常，但长期没有接收到数据或者该数据源的原数据质量为“questionable”，则数值将被标记为“questionable”，由客户端来决定是否使用被标记为“questionable”的数据Invalid（无效）如果实时数据平台发现采集通道异常或者采集通道正常，但该数据源的原数据质量为“invalid”，数值将被标记为“invalid”。此标记用来提示客户端此数值可能是不正确的，不应被使用Over

24、HighLimit（越上限）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标记为越上限、越上上限，则实时数据平台的数值标记为越上限OverLowLimit（越下限）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标记为越下限，越下下限，则实时数据平台的数值标记为越下限ManReplaced（人工置数）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标记为人工置数，则实时数据平台的数值标记为人工置数状态量Good（好）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标志为“good”，则存入平台的数值被标记为“good”Questionable（可疑）如果实时数

25、据平台监测出采集通道没有异常，但长期没有接收到数据或者该数据源的原数据质量为“questionable”，则数值将被标记为“questionable”，由客户端来决定是否使用被标记为“questionable”的数据Invalid（无效）如果实时数据平台发现采集通道异常或者采集通道正常，但该数据源的原数据质量为“invalid”，数值将被标记为“invalid”。此标记用来提示客户端此数值可能是不正确的，不应被使用TripAccident（事故跳闸）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标记为事故跳闸，则实时数据平台的数值标记为事故跳闸ManReplaced（人工置数）实时数

26、据平台如果没有检测出通道异常且外系统提供的数据质量标记为人工置数，则实时数据平台的数值标记为人工置数电度量Good（好）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标志为“good”，则存入平台的数值被标记为“good”Questionable（可疑）如果实时数据平台监测出采集通道没有异常，但长期没有接收到数据或者该数据源的原数据质量为“questionable”，则数值将被标记为“questionable”，由客户端来决定是否使用被标记为“questionable”的数据Invalid（无效）如果实时数据平台发现采集通道异常或者采集通道正常，但该数据源的原数据质量为“invali

27、d”，数值将被标记为“invalid”。此标记用来提示客户端此数值可能是不正确的，不应被使用ManReplaced（人工置数）实时数据平台如果没有检测出通道异常且外系统提供的数据质量标记为人工置数，则实时数据平台的数值标记为人工置数计算量Good（好）实时数据平台如果没有检测出通道异常且计算量的各原始值的数据质量标志都为“good”，则存入平台的计算量被标记为“good”Invalid（无效）如果实时数据平台发现采集通道异常或者采集通道正常，但该数据源的原数据质量为“invalid”，数值将被标记为“invalid”。此标记用来提示客户端此数值可能是不正确的，不应被使用ComponentAbn

28、ormal（分量异常）实时数据平台如果没有检测出通道异常且计算量的各原始值的数据质量标志不都为“good”，则存入平台的计算量被标记为分量异常。对于分量异常的计算点使用者可以根据提示查看具体是哪个原始点的数据质量有问题实时数据管理平台在没有检测到数据通道异常的情况下，外系统数据质量除了“good”、“Questionable”、“越上限”、“越上上限”、“越下限”、“越下下限”、“人工置数”、“事故跳闸”七种情况外，其他的数据质量在实时数据管理平台可以转换为“good”，也可以根据实际应用进行相应转换。数据质量采用4字节的整数来进行管理，并且规定了系统定义的数据质量以及自定义的数据质量。系统定

29、义的数据质量采用高6位定义了上述七种数据质量，其余的留给应用系统自定义使用。按照不同数据质量的聚类分组，其中，“Good”、“Questionable”、“Invalid”作为一组，使用2位表示；“OverHighLimit”、“OverLowLimit”作为一组，采用2位表示；“TripAccident”作为一组，采用1位表示；“ManReplaced”作为一组，采用1位表示。数据质量定义如下所示。Good=0x80000000HQuestionable=0x20000000HInvalid=0x10000000HOverHighLimit=0x08000000HOverLowLimit=0

30、x04000000HTripAccident=0x02000000HManReplaced=0x01000000H2）支持多种数据质量检查及处理方式，如下表所示：表3数据质量处理方式检查类型说明处理方法数据完整性检查数据完整性检查主要判断是否有丢失数据的情况。应该支持一下几种完整性处理方法：1）通知数据接入模块进行数据补录；2）采用相应的计算算法进行数据补齐。3）对于通过计算补齐的数据，修改质量标识，置为计算。数据有效性检查根据数据的有效范围，突变范围等属性，判断数据的有效性。对于无效数据，修改质量标识，置为无效。数据实时性检查检查数据是否超过配置的时间限制没有更新。对于超过配置时限没有更新的

31、数据，修改质量标识，置为可疑。数据真实性检查根据配置规则，进行电网运行状态辨识，发现可疑的数据。对于可疑数据，修改质量标识，置为可疑。数据越限检查根据测点限值配置判断实时数据是否越限，并确定越限的级别。对于越限数据，设置越限标识；恢复到正常状态时清除越限标识。3.1.4 数据加工数据加工是根据具体需求基于现有的实时数据进行计算、统计等生成更加有价值的信息，供其它业务应用和分析辅助决策类应用使用，数据加工包括计算引擎、计算规则库管理、统计服务三部分的内容。 3.1.4.1 计算引擎计算引擎通过时间、优先级等配置策略，执行对应的计算算法，生成计算结果，并作为测点的结果值和状态转存到数据库中。海量实

32、时数据平台计算引擎应该支持分布式计算功能。部署在一个服务器上的计算引擎作为一个计算节点，多个计算节点协同工作组成计算集群，正常情况下，各计算节点分别承担部分计算任务，实现负载均衡，当某一个节点故障后，其它节点自动分担计算任务。主要功能包括：1）支持多种计算类型：周期计算、分量变化时触发计算、定时计算、人工启动计算；2）计算引擎包括：变量类型定义、变量作用域、运算符结合律和优先级、语法、流程控制、系统函数、自定义函数、宿主程序的接口等内容；3）计算引擎的处理过程包括：编辑、语法错误检查、伪编译、执行等；4）脚本编辑：提供脚本编写工具，采用IDE的方式，支持语法颜色敏感。5）公式计算异常处理。对于

33、公式计算过程中出现计算错误的处理，采用默认值的方式进行设定，当公式计算错误后，如果设定默认值，则获取默认值，如果没有默认值，则写入异常。3.1.4.2 计算规则库管理计算规则库管理负责对计算测点的计算规则进行管理。主要功能包括：1）提供方便、友好的界面供用户离线或者在线定义计算量和计算公式；2）支持常用的函数计算库，支持加、减、乘、除、三角、对数等运算，也可进行逻辑和条件判断运算。3）支持的数据类型、运算符、标准函数和语句如下： 支持海量实时数据平台统一的数据类型定义，如下表所示：表4数据类型类型编号类型名称类型描述1无符号char型1字节无符号数2无符号短整型2字节无符号数3短整型2字节有符

34、号数4无符号长整型4字节无符号数5长整型4字节有符号数6浮点型4字节浮点型7字符串以/0结尾的字符串 支持的运算符o 算术运算符：包括+、-（减）、-（负号）、*、/、%（整除） ；o 逻辑运算符：&、|、 ！ ；o 关系运算符：、=、=、!=、=、；o 其他运算符： （)；o 选择运算符：？ 。 支持的标准函数o 指数、对数函数：包括exp，log，log10，pow，sqrt；o 三角运算和反三角运算：包括sin、cos、tg、ctg、arcsin、arccos、arctg、arcctg；o 绝对值函数abs、fabs；o 字符串函数 strcmp、strcpy、strcat、strlen

35、；o 积分函数、求平均值函数。 支持的语句o 表达式语句；o 循环语句：do.while、for、while等；o 条件判断语句：if、switch.case等；o 控制执行顺序的语句：break语句和continue语句。4）提供公式编辑模板，支持自定义函数，提供常用的专业计算公式计算库： 负载率计算 总加计算 变压器档位计算 负荷超欠值计算 功率因数计算 母线功率、电量平衡率计算 用户可自定义的其他计算功能5）支持调用海量实时数据平台统一的UAPI接口函数。3.1.4.3 统计服务数据统计功能的主要作用是：根据配置，获取所需要的数据，进行统计计算，并将结果保存在实时数据库或者关系数据库中。

36、数据统计的周期包括：年、月、周、日、小时以及自定义的任意时间段，如峰、谷、平时段以及节假日等。数据统计服务包括模拟量统计和状态量统计。1）模拟量统计 平均值、最大、最小值以及最大值时刻、最小值时刻统计； 越限次数统计，以及累计越限次数统计； 越限时长统计，累计越限时长统计； 合格率统计； 累计值统计。2）状态量统计 开关等设备变位次数统计； 开关等设备合/分闸持续时间自动进行统计。3.1.5 数据存储海量实时数据平台需要存储的数据包括：从各业务系统接入的实时/准实时数据，SOE数据、报警事件数据以及配置数据，模型数据、图形数据等。数据存储功能主要包括：支持多种存储方式、数据压缩处理、数据转存与

37、备份。3.1.5.1 支持多种存储方式海量实时数据平台采用实时数据库和关系数据库以及文件相结合的方式实现数据的存储。1）实时数据库压缩存储由于实时数据库产品相对于关系型数据库具有读写性能高、空间占用率低的优势，实时、准实时数据采用实时数据库进行压缩存储；2）关系数据库存储 报警事件以及SOE记录等，存储到关系库中； 雷电监测数据，储存到关系库或者特定格式文件中； CIM模型数据以及图形数据存储到关系数据库中； 实时数据平台的平台管理配置信息，存储在关系型数据库中。3）文件格式存储实时数据平台支持文件格式存储，按照不同文件格式或应用类型，以目录形式保存在磁盘上。3.1.5.2 数据压缩处理数据压

38、缩处理主要是针对实时数据库存储，以减少磁盘存储空间。实时数据库提供两种压缩算法：有损压缩和无损压缩。有损压缩是根据实时数据的特征，在不影响整体精度和性能指标的情况下，而采取的一些特殊的舍点算法；无损压缩一般以通用压缩理论为基础，采取哈夫曼算法等经典的压缩算法。无损压缩算法的压缩率比有损压缩的算法要低很多。实时数据库产品本身带有压缩算法。针对测点精度的需要，可设定采用无损压缩或者有损压缩，并设定压缩精度。电量数据、用电信息采集等数据以及累计值数据不进行有损压缩处理。3.1.5.3 数据转存与备份海量实时数据平台历史数据管理主要包括历史数据的备份、转存等工作。由于数据库产品以及应用容量限制，历史数

39、据不可能无限制存储。通过配置存储策略，对过期的数据进行转存等操作，实现数据循环存储，避免由于存储满而导致新的实时数据无法存储而丢失或者系统故障。历史数据的备份和维护操作可以定期自动执行，也可以手动执行。3.1.6 数据访问海量实时数据平台提供遵循ECIM标准以及IEC61970/61968标准的数据访问服务，支持CIS、UAPI、Webservice等接口规范。主要功能包括：数据查询和订阅服务以及访问服务监控等。3.1.6.1 查询服务海量实时数据平台对外提供实时/历史数据的查询功能，内容包括：1）实时数据查询：当前实际测点以及派生虚拟测点的断面实时数据查询；2）历史数据查询：实际测点及派生虚

40、拟测点的历史数据查询，包括：单数据历史数据查询、支持指定间隔历史数据查询、支持拟合数据（插值）查询、支持断面历史数据查询。3）历史统计数据：各遥测数据的最大值、最小值、平均值，以及最大最小发生时间统计；开关刀闸以及其他遥信信号量的历史统计查询；4）报警事件及SOE记录查询：提供对报警事件记录以及SOE记录的分类检索和查询统计。3.1.6.2 订阅服务海量实时数据平台对外提供数据订阅服务，根据应用订阅要求，按约定的频率、方式、地点、传送约定的数据。海量实时数据平台支持以下订阅方式： 1）实时数据订阅：最新数据变化时发送到订阅方;2）事件信息订阅：当有最新事件信息时，发送到订阅方；3）历史时间段内

41、数据订阅：对订阅方提供的起止时间，按时间节奏发送数据到订阅方； 2）历史时间段内事件数据订阅：对订阅方提供的起止时间，按时间节奏发送事件信息到订阅方。3.1.6.3 访问监控海量实时数据平台提供数据监控功能，主要包括：访问服务监控和访问异常处理。1）访问服务监视：对访问实时数据平台的客户端数量、数据流量、访问测点规模等信息的监视与查询浏览功能；对不同访问方式下用户数量及数据流量的监视统计功能；2）访问异常处理：对于外部数据统计查询导致异常情况提供告警信息，并可限制或停止具体客户端的访问服务。3.1.7 平台管理平台管理为海量实时数据平台的基础功能，对整个平台系统进行管理，主要包括：配置管理、权

42、限管理、资源监视、日志管理、备份和恢复等功能。3.1.7.1 配置管理配置管理主要负责海量实时数据平台中服务器、应用组件等的增、删、改、查等。配置参数包括：服务器配置参数包括：接入服务器、数据库服务器、应用服务器等服务器的IP地址、名称等参数。应用组件配置参数包括：海量实时数据平台应用程序模块运行需要的配置，如数据库连接串等。3.1.7.2 权限管理海量实时数据平台权限管理遵循XXXX公司信息安全防护管理规范，通过省公司权限管理平台进行统一权限验证，用户权限主要包括：访问权限、编辑权限等。用户权限由系统管理员（SA）进行维护，用户登录成功后，根据自身拥有权限可进行相应的操作。3.1.7.3 资

43、源监视海量实时数据平台资源监视功能主要包括：包括操作系统资源和平台运行状态监视。1）操作系统监视：主要监视内容包括： CPU、内存、交换区的使用率、空闲率； 磁盘IO、网络IO的繁忙情况： 关键进程、宕机进程、消耗CPU最多的进程等； 通过以上内容的监控，及时消除潜在的隐患或故障，保证操作系统和海量实时数据平台的高可用性。2）平台运行监视 测点分布监视：实时/历史数据库服务器现有测点规模、分布、以及剩余容量的监视。当剩余容量低于设置的限值时，提供报警功能； 服务器通讯监视：实时/历史数据库服务器的实际物理地址、通道、端口状态监视； 通讯异常告警：当数据库、服务器或者通讯状态等出现异常情况时提供

44、报警功能； 数据库启动、停止监视：监视数据库启动、停止状态，状态发生变化时提供报警功能； 检查磁盘存储空间使用情况：根据数据平台历史存档文件生成速度和磁盘使用情况，估算磁盘能够存放的历史数据时间跨度，若发现磁盘剩余空间不足，提供报警功能。3.1.7.4 日志管理日志管理功能主要是帮助平台运维人员更好的管理和维护平台，日志可以分为系统运行日志，操作日志等。系统运行日志主要是系统各模块运行时根据配置自动产生的记录信息，操作日志是用户通过界面进行操作的记录，包括配置参数修改、数据增、删、改、查、导入、导出，节点主备切换等。日志管理功能应包括日志查询、删除以及导出等功能。1）日志查询：支持按时间段或者

45、类型以及他们组成组合条件查询日志。2）日志删除：为了控制日志记录占有过多的存储空间，海量实时数据平台提供自动删除和手动删除日志功能。 自动删除是根据配置策略，在系统运行中自动对满足删除条件的记录进行删除操作。 手动删除是提供工具供用户进行删除日志记录操作。3）日志导出：支持固定格式（如CSV,XML等）导出日志的功能。3.1.7.5 备份和恢复在平台系统运行过程中，有时会出现硬件故障、管理员误操作等意外，从而导致数据损坏等情况发生。海量实时数据平台应提供数据备份和恢复功能，以确保数据安全。1）备份的内容 配置数据：设备、量测及测点配置数据等。 历史数据：保存在实时数据库或关系数据库中的测点历史

46、数据。 图形数据：WEB展示用的接线图，潮流图等图形画面数据。 软件程序：海量实时数据程序文件，包括：数据接入、数据处理、数据存储、数据访问以、平台管理以及支持工具等。 操作系统：操作系统配置信息、程序文件以及日志等。2）备份管理 能够实现自动备份和手动备份二种功能。 备份方式：有完全备份和增量备份二种方式。完全备份是备份全部内容，增量备份只备份从上次备份以来的所有变化。完全备份的数据可以单独用来恢复系统，但要将增量备份恢复，必须从之前的完全备份开始逐步恢复。 备份方法：对于实时库数据备份，采用实时库自带备份功能备份，备份策略可人工设定；对于关系库，采用关系库自带的导出工具备份；对于文件，采用压缩等方法备份；操作系统备份一般采用克隆镜像的方法。 备份情况监视：显示备份进度以及内容信息。 备份异常处理：备份过程中出现异常给出详细提示。3）恢复管理 数据恢复：包括配置数据、历史数据、图像数