基于网格计算的电力系统分布式监控的实现.docx

基于网格计算的电力系统分布式监控的实现黄 琦本项目由Intel (US) Semiconductor RFP-HPC 大学计划资助。 秦开宇汪文勇四川×成都×电子科技大学自动化工程学院×610054摘要：本文提出一种基于网格计算的电力系统监控的基础平台。该平台很好地利用了网格计算的分布式信息处理能力来处理广域电力系统的监控问题。设备终端的数据采集计算设备被虚拟化为各种异构数据库。网格节点内部通过驱动程序来实现对各异构数据库的统一访问。本文采用了虚拟数据库技术，基于网格计算开发平台Globus®来实现。实验室测试结果表明，该平台能够较好地完成系统数据的监控任务。网格计算为电力系统分布式监控提供了一种有效的模式。关键词：网格计算；电力系统运行与控制；分布式处理；监控；虚拟数据库1. 概述电力工业正经历着有史以来最深刻的变革。从上世纪90年代起，电力工业的改革引发了电力系统在运行、规划、控制及其本身架构等方面的变革。首先，在撤销管制规定(Deregulation)后，电力系统运行与竞争性的电力市场并行。第二，大型电力网络的互联形成了国家级甚至国际电力网络。第三，根据可持续发展战略的要求，不同容量和不同特性（如分布式发电）的各种发电设备被接入电力网络。大规模互联电网对远程通信基础平台体系、控制技术和控制策略和措施提出了更高的要求1，来避免和控制大规模灾变性故障的发生。在未来的电力工业中，由于竞争的日益激烈以及体制的改革（导致运营的私有化），电力系统势必在大多数情况运行在极限情况下。系统运行在极限点附近，并且能够对大规模能量交易做出快速反应，同时要维持系统安全性和足够了鲁棒性这些要求，是互相矛盾的，需要电力系统运行，调度和规划之间较好地配合才能实现。由于电力系统日益膨胀成为一个巨型系统以及跨电网输电的增加，系统脆弱性也增高。因此，需要发展新的方法、程序、指南以及高性能软件产品来帮助规划部门和调度部门处理电网运行和控制中的意外事故23。电子科技大学电力自动化工程研究中心在Intel (US) Semiconductor RFP-HPC 大学计划的资助下，开展将网格计算应用于电力系统方面的研究。该项目分为两部分：第一部分为基于网格计算的电力系统监控模型及其实现技术；第二部分为基于网格计算的电力系统分布式并行计算及其实现技术。这两部分工作合在一起形成电力系统网格计算平台PSGrid®。该平台可以提供基于分布式、广域环境下的数据存储、管理、查询，和基于网格的大规模数据挖掘，以及电力系统大规模计算等功能，为电力系统运行、数据管理和决策提供服务。目前，该平台已基本完成底层平台的组建工作，包括虚拟数据库、计算池(Computing Pool)、资源管理与动态分配，以及图论分割和稀疏数值计算库等。下一步的工作主要集中在该平台下实现电力系统实际运行中所需要的功能，如：大范围内数据预测、调度、潮流计算、动态仿真和状态估计等。本文主要讨论第一部分工作。2. 网格计算及其在电力系统中的潜在应用价值所谓网格计算45，就是将分布的计算资源有效地组织起来协同工作、形成一个集成的计算与资源环境。基于网格计算的平台体系将大大地优于传统的体系，因为网格计算可以联合分布计算和集中超级计算的优势。网格计算为市场参与者提供了一种廉价而高效的解决方案来参与竞争与合作，从而提供更加可靠、廉价和持续性更好的电力供应。粗略的研究表明，网格计算将为电力系统带来无穷的好处678。现代电力系统运行与控制演变成一个涉及大量数据和信息计算的应用工程。电力系统正变成为一个数据密集型(data-intensive)、信息密集型(information-intensive)、通信密集型(communication-intensive)和计算密集型(computing-intensive)的大型系统。一个大型电力系统的计算需求如图 1所示。这样在地域上分布的系统很难在不采用分布式处理技术来实现对其运行的有效控制。而现代大型电力系统所需要处理的计算，往往是将大量数据集中存放在某几台计算机上，再由高性能计算机按串行算法的程序进行运算或集中并行处理，这样一方面对数据的安全性提出了较高的要求，一旦存放数据的计算机崩溃，将可能无法再进行数据的运算，同时运算时使用高性能计算机，花费较大。另一方面，据统计，一个企业里面80%的计算机有50%的资源（计算能力，存储空间等）在65%的时间里面是闲置的。这势必造成计算机资源的大量浪费。而网格技术正好可以将现有的计算机、数据库、和网络联合在一起，组成一个大系统，为用户提供高质量的计算服务。对于最终用户或应用程序来说，网格看起来就像是一个巨大的虚拟计算机系统，而这个虚拟计算机系统拥有一个庞大的虚拟数据库。因此用户只需要关注自己所需要的服务，而不需要关心服务所需要的数据的存放位置。图 1 电力系统计算需求到目前为止，网格计算还主要停留在应用于科研领域。采用网格计算来实现的电力系统决策基础平台的潜在的优越性，提供了对于该领域进行系统研究的动机。初步的研究表明，网格计算展示了其在未来电力系统中得到广泛应用的巨大的潜力。尤其是电力系统的监测与控制均是在分布式环境下完成的，而网格计算提供了很好的处理分布式信息的能力。因此，本文提出采用网格计算来实现电力系统监测和控制过程中数据和信息的传输、存储、管理和访问，等等。通过这样的方式，还可以很容易地实现分布式条件下的数据挖掘（如负荷预测、线损数据挖掘等）。3. 基于虚拟数据库的电力系统系统分布式监控系统的设计与实现3.1. 电力系统监控模型电力系统涉及大量电力设备之间的相互作用，因此，电力系统的运行、控制和规划需要大量的实时运行数据（状态变量）、设备状态、能源供应、以及经济结构和市场信息等。电力生产多年来形成了一套“分级管理、分层控制、分布处理”的体系。电力系统的监控无一例外都是各级调度中心向设备终端发送控制命令并向设备终端获取状态数据和运行数据，如图 2所示。这些控制命令和数据的实时性要求与具体应用有关，在实际应用中通常采用具有优先级的通信来控制。在电力系统的层次性控制结构中，调度中心向设备终端发送控制命令来改变电力系统运行状态，以达到控制的目的。同时调度中心需要设备终端的运行状态和数据，基于此来做出控制策略或调度策略。因此，在如图 2所示的电力系统调度结构中，控制命令是下行数据，而监测数据是上行数据。对于互联的电力大系统，为了保证安全稳定性，调度中心对整个系统的全局掌握是很有必要的，因此，整个电力系统的数据需要及时、准确地送到需要的地方。实际上，现代计算技术应用于电力系统运行、规划与控制，都是建立在能够得到海量的电力系统数据基础上的。因此，电力系统监控中，如何获得数据是一个重要的问题。如何在较广域的空间范围内组织、管理和存储如此大量的数据、并能够提供高效的访问机制，这对于电力系统整个系统的高效率运行起着至关重要的作用。图 2 电力监控系统层式结构图 3 电力系统分布式监控系统平台3.2. 电力系统分布式监控平台总体设计由于计算机技术的发展和普及，在现代电力系统的监控系统中均是在每一个设备前端安置一台计算机或类似计算机的设备对其进行监测和控制。这台计算设备可以独立运行，即有自己的处理器、内存和存储设备，同时可以管理自己的数据（通过数据库或数据文件）。本文的思想是将这些计算设备作为一个网格计算的节点。由许多类似的前端计算设备相互连接，并通过服务器，就形成数据网格(Data Grid)。如果对该数据网格进行一定的处理，则可以将分布在各零散区域的数据形成一个庞大的虚拟数据库。因此，这里主要讨论该采用虚拟数据库来实现电力系统广域范围内的监测与控制任务。整个系统的总体原理如图 3所示。该系统由通过远端数据服务器或其他各种接入方式连接进互联网（实际运行中一般为电力专网）的数据服务组成。该系统需要一个虚拟数据库服务器。该服务器处理以下任务：Ø 接受远端服务器的注册请求并保存其注册信息Ø 实时接收远端服务器发送来的更新信息，并可以显示更新Ø 接受前端数据查询请求，并将查询任务分发到各远程数据服务器Ø 提供目录服务和数据结构的转换该系统向终端用户提供Web门户(Portal)来访问系统内的资源，在此基础上，用户可以通过应用程序来使用从网格上获得的数据，整个系统原理如图 4所示。系统从上到下分为设备层（即电力设备）、终端层（即RTS）、资源层（即电力系统数据）、网络层（即广域网）、网格计算层、服务层和应用层。本系统的设计方法是利用Globus平台对于资源的管理，通过虚拟数据库技术来实现电力系统资源的开放式分布访问。图 4 基于网格的电力系统应用平台3.3. 虚拟数据库技术电力系统的资源（数据）分布在整个电网，形成层状数据库、网状数据库和数据文件等。这些数据源的区别在于它们的数据组织方式、使用的符号集以及数据的存取和查询机制。这些区别为不同数据源的数据集成带来了困难。如何为用户提供统一的、开放的访问接口来访问分布的、异构的电力数据，是本文需要解决的重要问题。访问这些分布的异构数据的挑战在于需要将数据抽象化，并提供高效的访问机制。网格技术提供了应对这些挑战的解决方案，它提供了一种基础设施，允许安全地访问任何信息源，而不需要关注其位置和数据的类型。网格的信息基础设施是访问异质文件、数据库、存储系统等的基础设施，并支持在计算处理和大规模协作过程中实现数据共享。这样的基础设施允许对跨越异质硬件和软件资源的数据库、文件、存储设备等进行管理。这样需要首先将数据虚拟化。从访问的角度来说，一种数据大致可以用三个特征来描述，即数据（元数据）、文件系统和储存介质（以及位置），因此，虚拟数据库涉及三个层次的虚拟化，即数据的虚拟化、文件系统的虚拟化和存储介质的虚拟化。这样，最终为用户提供一个巨大的全局虚拟数据仓库供访问，如图 5所示。图 5 虚拟数据库原理虚拟数据库（VDB：Virtual Database）技术使外部数据源成为内部关系数据库系统的外延。使用VDB技术，应用程序可以提供对分散在各类原始数据源中的数据进行访问的服务。VDB收集、组织并集成来自这些源的数据，并且为应用程序提供单一、规范的RDBMS的数据外貌（appearance）。同时，虚拟数据库技术可以更好地利用存储资源。实现虚拟数据库的关键技术可以归纳为以下几点：Ø 元数据管理和信息服务；Ø 高效的数据访问机制；Ø 目录服务和复制管理；Ø 高速数据传输机制；Ø 资源调度优化与远程执行；Ø 较好的安全机制。3.4. 平台搭建及功能模块设计图 6 虚拟数据库访问方案设计系统的实现是在Globus平台下开发数据管理服务，通过JAVA的JDBC访问数据源。由Globus下的消息机制负责将数据库操作任务（查找、删除、更新）分配到每一节点，JAVA程序中充分利用Globus提供的消息机制（NOTIFICATION），将编写的数据库服务发布到每一个节点计算机上，并在每一台计算机上编写侦听程序（LISTENER），当有用户在某一节点上提交任务的时候，每一个节点通过侦听程序接收到任务发送请求，将任务发给本地数据库服务，并将结果返回给申请服务的节点，这样实现对广域环境下各节点数据库的并行操作。图 7所示为该平台的服务器结构。运行环境为RedHat linux 9.0操作系统。系统结构模块包含数据库模块、Globus网格平台模块、shell模块和界面模块4部分。其中，Globus网格平台模块包含3个系统功能模块，分别是条件查询服务模块、触发器事件服务模块和静态设备数多线程查找服务模块。该服务器同时提供Web Portal服务，终端用户和应用程序可以通过Web接口访问和查看网格上的数据。前面提到对数据需要进行三个层次的虚拟化。其中数据的虚拟化，主要采用元数据来表达，并通过本地数据管理服务负责向外部请求解释数据的含义；文件系统的虚拟化，主要通过目录服务(LDAP)来实现数据文件或数据库在广域环境下的访问；存储介质的虚拟化主要通过采用当地数据驱动(JDBC和ODBC)配合当地数据语义解析器来实现异构数据的访问。图 7 虚拟数据库总体结构设计同时，系统还提供了动态事件监视器，该功能模块监视数据的变化和系统内设备状态的变化，并给每一个事件给定一定的级别，用户可以选择性地在动态事件簿中显示系统内的变化（如设备的状态、操作员添加记录等等）。数据发生变化后，通知应用程序自动更新。最后，在Linux环境下搭建Tomcat服务器，采用JBuilder工具设计开发jsp格式的Web界面。系统的各功能模块挂载在Globus下，形成一个独立的服务。3.5. 运行与测试结果为了测试该系统的运行性能，我们搭建了如图 8所示的测试平台。它主要由实验室内部的高性能计算节点（模拟实际运行中的数据服务器）。实验室共采用了4台这样的高性能计算节点。该高性能计算节点接收数据采集模块送来的数据，将其导入数据库存放。同时，某电力企业为我们开通了一个其运行数据库的端口，可以通过广域网访问。在实际测试过程，我们也尝试将其中的计算节点放置在不同的网关范围内，模拟广域网的运行情况，得到了基本相似的运行性能。图 9所示为一动态监视设备运行状况的界面。对于监控而言，系统对该项目中数据种类进行了划分。主要需要区分静态数据和动态数据。提供的电力系统监控数据种类如下：Ø 设备数据，包括设备的性能参数和运行状态Ø 运行数据，即实际的测量数据Ø 生产管理数据，包括部门的人事数据、库存数据等图 8 测试平台图 9 设备运行数据动态显示4. 结论与展望网格计算通常被认为是一种构造“便宜的”、能够处理异构和分布计算的“超级计算”手段。因此，网格计算为现代电力系统提供了一个理想的解决方案。考虑到更大规模电力系统追求更高的经济性、安全性和鲁棒性，以及不断增加的平台体系之间的互相影响和相互依赖性，这一目标提供了较好的科技研究前景。本文介绍了一种基于网格计算的电力系统监控的基础平台的实现和设计。该平台采用了虚拟数据库技术，基于网格计算开发平台Globus®来实现。设备终端的数据采集计算设备被虚拟化为各种异构数据库。网格节点内部通过驱动程序来实现对各异构数据库的统一访问。该平台很好地利用了网格计算的分布式信息处理能力来处理广域电力系统的监控问题。围绕该平台的设计思想，本文搭建了实验室测试平台，结果表明，该平台能够较好地完成系统数据的监控任务。网格计算为电力系统分布式监控提供了一种有效的模式。本文所介绍的结果只在实验室进行了测试，下一步的工作将集中在将这一设计实用化方面。为此，特别需要在用户界面和一些辅助功能方面进一步开发，如：大范围内数据预测、调度、潮流计算、动态仿真和状态估计等。同时，将进一步将PSGrid®的架构扩展到分布式并行计算，来实现基于网格的分布式并行计算。这些工作将在进一步的论文中报告。参考文献:1. 黄琦, 秦开宇, 蔡荣海. “数字化电力系统中的通信基础平台体系设计.” 电力系统通信，Vol. 26(2), 2005, Pp: 33-372. LU Qiang. “Digital Power System.” Proceedings of 3rd world congress on Intelligent Control and Automation, 2000, Pp:2274 823. Chen-Ching Liu. “Strategic power infrastructure defense (SPID): a wide area protection and control system.” IEEE/PES Transmission and Distribution Conference and Exhibition 2002: Asia Pacific. Vol. 6, 2002, Pp: 5005024. I. Foster and C. Kesselman, Eds., The Grid: Blueprint for a New Computing Infrastructure. San Mateo, CA: Morgan Kaufmann, 1999.5. 肖连兵，黄林鹏. “网格计算综述.”计算机工程，Vol.28 (3)， 2002. Pp: 1-46. M. Irving, G. Taylor, P. Hobson. “Plug in to grid computing.” IEEE Power and Energy Magazine, Vol. 2 (2), 2004, Pp: 40 447. 张伟, 沈沉, 卢强. 电力网格体系初探(一)电网监控从集中计算到分布处理的发展. 电力系统自动化, 28(22),2004, Pp: 1-58. 沈沉 王继业. “网格技术及其在电力系统中的应用.” 中国电力, Vol. 37 (5), 2004, Pp: 77 809. Luis Ferreira, Joachim Dirker, Olegario Hernandez, Carlos Alexandre, Queiroz, Alex Microsystems, Volker Rohleder. 信息网格，第 2 部分: 蓝图与层次。作者简介： 黄琦（1976-）男，贵州遵义人，博士，副教授，目前主要从事电力系统控制、电力系统自动化、电力系统监控、电力系统通信、电能质量管理以及分布式发电方面的研究。Email: hwong秦开宇（1967-）男，四川遂宁人，博士，教授，目前主要从事通信测试和数字化电力技术方面的研究。Email: kyqin汪文勇（1969-）男，四川简阳人，教授，电子科技大学信息中心主任。目前研究方向为计算机网络和网格计算。Email: wywang联系作者：黄琦，四川.成都.电子科技大学自动化学院（610054）电话：028-8320-7016Email: hwong