面向网格的空间科学虚拟观测台体系结构研究与原型实现开题报告.ppt

面向网格的空间科学虚拟观测台体系结构研究与原型实现,报告人：,Outline,研究背景相关理论发展与研究现状研究内容与方法研究计划与流程参考文献,1.研究背景,空间科学数据应用环境发展的驱动力空间科学应用环境研究的发展路线当前研究热点VO,空间科学数据应用环境发展的驱动力,国际日地空间物理大观测台、国际SuperDARN地球两极电离层雷达观测计划、日不落联合观测计划.空间科学数据资源丰富度成倍增长日地系统研究，需要利用空间科学数据资源，了解源于太阳而最终影响地球的空间三维全球结构和灾害性事件过程的时序因果关系。仿真、模式运行与大规模计算成为分析、发现和预测空间科学问题的主要手段，需要空间科学数据应用环境进行支撑服务。,空间科学数据应用环境发展路线图,国际空间科学数据应用环境发展热点虚拟观测台,Our Definition(Physics Perspective)虚拟观测台是“依赖于人类掌握的最新空间科学知识，面向天、地基观测产生的海量空间科学数据资源，采用先进的信息技术，以解决海量空间科学数据协同处理、分布式集成与互操作、智能化科学应用、日地空间系统可视化虚拟表达等核心问题为目标的空间科学数据应用环境。,NASAs VO Definition(Software Perspective)“A Virtual Observatory(VO)is a suite of software applications on a set of computers that allows users to uniformly find,access,and use resources(data,software,document,and image products and services using these)from a collection of distributed product repositories and service providers.A VO is a service that unites services and/or multiple repositories.”,世界各国的虚拟观测台,空间科学虚拟观测台的提出与发展,概念提出,2003年：由16国组成的国际虚拟天文台联盟(IOVA)提出建立国际虚拟天文观测台,国际大地测量学与地球物理学联合会，发展地学空间科学的虚拟观测台成为核心任务。,国际发展,2001年，NASA发起“Live With Sun”项目。2004年确定空间与太阳物理虚拟观测台框架。2007年，NASA将基于虚拟观测的数据应用环境列为日地空间物理长远发展纲要之一。,数据现状,“神舟系列”、“风云系列”、“嫦娥系列”、“双星计划”、“天宫系列”等重大工程，推动空间科学数据的海量增长,概念引入,国内发展,在e-Science驱动下，“十五”、“十一五”开展的“空间环境基础数据库”、“空间环境数据共享平台”、“空间物理交互数据资源”等项目在推动空间科学发展上成效显著。,空间科学虚拟观测台发展的领头羊NASA,NASA在“与日共存计划”按照先学科后集成的路线，率先启动空间科学各分支学科的VO项目（Sun-Earth Connections VxOs）,空间科学公共数据模型,DataGrid,核心描述属性,标准描述属性(SPASE/PDS),物理数据实体(只到文件粒度),2.相关理论发展和研究现状,典型体系结构典型服务模型,体系结构,Data Grid,近年来，虚拟观测台成为国内外学科数据环境建设的主流，其核心是分布式的面向服务的数据网格技术。当前其体系结构主要分为4类：,VO典型体系结构,VO数据中心：数据中心是一个数据中心联盟。数据中心的功能是，发布数据资源，提供数据资源的物理存储；VO设施中心：设施中心是一个为VO提供集中式的资源注册、数据模型和标准、认证机制和VO技术的社区支持；VO技术中心：技术中心是一个分布式的组织，它可以协调学科工具、VO系统的工作流，使之服务于研究；,服务模型,3.研究内容和思路,体系结构研究现存问题解决思路原型实现设计数据库设计核心服务设计,3.1现存问题,3.2解决思路,层次划分服务模型拓扑结构,3.2.1层次划分,应用层,服务层,资源层,1,2,3,虚拟观测和学科应用,面向服务的中间件集合,分布式数据资源的汇聚,面向数据互操作与资源共享的资源层,采用三层式的公共数据模型：物理数据实体+标准描述属性+核心描述属性:物理数据实体底层物理数据访问和应用标准描述属性支持国际数据资源的互操作的统一协议核心描述属性快速的数据资源发现,资源的互操作问题,剥离资源注册发布和资源存储访问，可以异地注册，异地发布、异地访问、异地存储；支持整合在线资源和离线资源；支持整合访问协议异构的分布式在线资源；,资源的共享与融合问题,资源存储与访问服务,三层式的公共数据模型,面向资源同步发现与系统健壮性的服务层,节点和服务剥离，1个节点可以有1个，也可以有多个服务；服务可以部署在任何地方；节点之间地位平等；新节点作为一个整体加入，能够快速通过节点审核和认证，成为分布式拓扑中的一个成员节点；单节点上新资源的加入，能够通过收割同步机制，把属性信息快速报告到其他节点；在任何一个节点上，都能够发现全局的所需的数据资源；,资源的全局同步与发现问题,对数据和服务做冗余和副本备份；当某节点的服务崩溃时，系统透明切换该服务的访问负载到另外一个节点的同类服务副本上。,系统健壮性问题,冗余和透明切换服务,资源注册和发布服务资源审核服务资源发现服务同步收割服务,面向虚拟观测的应用层,通过科学数据的管道（Pipeline）技术和学科应用服务API接口的标准化，粘合分布在各节点的服务,数据资源和学科应用的无缝链接,科学数据的可视化表达基于数据的知识发现科学算法、模式的集成应用科学数据的解析、阅读和转换,虚拟观测与学科应用,学科应用服务,层次划分总结,学科应用服务,资源注册发布服务资源审核服务资源发现服务同步收割服务冗余和透明切换服务,资源存储和访问服务三层式公共数据模型,1,2,3,应用层,服务层,资源层,3.2.2核心服务,我的思路基于空间科学公共数据模型的特点，在网格经典服务模型的基础上，进行重新打散、组合和增加，合理的划分虚拟观测台的服务层次和对应的服务功能。,核心服务总结,3.2.3拓扑结构,3.3.原型实现的初步设计,数据库设计资源注册发布服务资源发现服务资源存储与访问服务同步收割服务服务透明切换学科应用服务,数据库设计,资源注册发布服务,分布注册中心审核分布发布,资源发现服务,资源发现服务与资源存储访问服务,基于核心描述属性的资源发现服务,资源发现服务与资源存储访问服务,基于标准描述属性的资源发现服务,资源发现服务的改进,检索接口重点涵盖电离层、热层和中间层的物理现象、基础物理性质和通用数据测量标称的专业术语通过引入术语字典作为检索的辅助索引，并把索引作为检索的“二级缓存”，在检索时先在“二级缓存”寻找，如不能击中目标，而再进入传统检索模式。从统计学的角度，高频检索请求往往占使用中90%的检索。,与资源审核发布结合的同步收割服务,服务透明切换,学科应用服务,基于空间事件关联的数据发现科学数据阅读解析和转换 支持本地数据资源解析支持网格中跨节点的资源解析支持复杂模式下的TXT输出支持CDF V3.0，V2.0的不同版本标准间的相互转换支持cdf、fits、netcdf、hdf4的相互转换 科学数据可视化,5.研究计划与流程,调研并总结虚拟观测台研究现状、相关理论、关键问题,结合空间科学公共数据模型，确立体系结构的概念结构和设计原则,从层次划分、核心服务、拓扑结构3个方面分析和设计VO的体系结构,针对核心服务的划分及其功能定义对核心服务进行具体设计,在Linux+java web+mysql环境下实现核心服务，并进行组装部署和联调,总结实验结果，讨论遗留问题，完成毕业论文,时间节点和安排,6.参考文献,1 Todd King,Jan Merka,Raymaon Walker,Steven Joy,Tom Narock.The architecture of a multi-tiered virtual observatory.Eearth Sci Inform,2008,1:21-28.2 Alasdair J.G.Gray,Norman Gray,Iadh Ounis.Finding Data Resources in a Virtual Observatory Using SKOS Vocabularies.Eearth Sci Inform,5071/2008:189-192.3 David Schade,Pat Dowler,Daniel Durand,Luc Simard,Norm Hill,Severin Gaudet.The Canadian Virtual Observatory Project.2004,31-36.4 王亮，陈未如，胡静涛.具有自主计算特征的新型网格体系结构研究.计算机工程与应用 2008，44（35）：105-124.5 周维，阎保平.网格环境下数据库系统的整合研究.2006，32(13)：61-626 杨德婷，南凯，阎保平.基于网格服务的数据发布系统.2006，32(13)：97-995 王意洁，肖侬，任浩，卢锡城.数据网格及其关键技术研究.计算机研究与发展 2002，39(8)：943-947.6 胡春明，怀进鹏，孙海龙.基于Web服务的网格体系结构及其支撑环境研究.软件学报 2004，15(7)：1064-1073.7 崔振州.中国虚拟天文台系统设计.中国科学院研究生院博士学位论文.,Thank You,