虚拟天文台数据访问客户端设计与实现课件.ppt
虚拟天文台数据访问客户端设计与实现,杨阳指导老师：赵永恒研究员、崔辰州副研究员,2023/3/28,硕士论文答辩,2,主要内容,论文研究的背景 论文研究的主要内容GUI客户端命令行客户端系统应用：科学应用范例系统集成与部署总结与展望,2023/3/28,硕士论文答辩,3,主要内容,论文研究的背景 论文研究的主要内容GUI客户端命令行客户端系统应用：科学应用范例系统集成与部署总结与展望,2023/3/28,硕士论文答辩,4,论文研究的背景,虚拟天文台-天文观测技术和计算机技术发展的产物-通过先进的信息技术将全球范围内的研究资源 无缝透明连接在一起形成的数据密集型网络化 天文研究与科普教育平台。-特征：整合天文服务资源 联合不同的天文数据 提供各种天文服务 资源共享促进天文学的研究和普及2002年6月成立国际虚拟天文台联盟（IVOA）,2023/3/28,硕士论文答辩,5,论文研究的背景,中国虚拟天文台（China-VO）-2002年诞生，同年10月加入IVOA-发展：VO-enable LAMOST e-science-天文应用工具：SkyMouse：桌面天文信息搜索 FitHAS：FITS文件头入库 VO-DAS：异地异构海量数据访问,2023/3/28,硕士论文答辩,6,论文研究的背景,VODAS（Virtual Observatory Data Access Service）-天文数据：分布性、异构性和海量的数据访问-2006年5月提出设计VO-DAS-在虚拟天文台环境下、在网格中间件 OGSA-DAI的基础 上设计开发一套符合国际虚拟天文台联盟标准的数据访 问系统-目的：实现异地异构海量数据资源的访问-功能：交叉证认和联合查询 星表、图像、光谱 一次访问上百万条记录 多种数据存储格式：CSV、ASCII、VOTable,2023/3/28,硕士论文答辩,7,论文研究的背景,-VO-DAS的服务发布接口 四大类接口：RMI：资源元数据接口 DQI：数据查询接口 DAI：数据存取接口 MI：管理接口接口仅供程序使用，一般用户难 以直接访问,VO-DAS体系结构,1）VO-DAS必须要有与之相适应的客户端供用户访问异地异构海量数据资源,2023/3/28,硕士论文答辩,8,论文研究的背景,VO-DAS客户端-数据访问客户端的现状 美国Open SkyQuery：只提供Web客户端、同步查询 一次访问最多5000条记录 SDSS的casjob服务：只提供异步查询，分配给用户的空 间有限，非异地查询功能 查询方式 访问数据量 数据资源 用户群,2）基于VO-DAS的客户端要解决目前存在 的这些问题,2023/3/28,硕士论文答辩,9,论文研究的背景,-VODAS的三种客户端：GUI：图形界面，易学易用，适合初级用户 命令行客户端：命令行方式，适合高级用户 Web客户端：不需安装客户端即可使用 扩大了VO-DAS的用户群，发挥了VO-DAS的能力,2023/3/28,硕士论文答辩,10,主要内容,论文研究的背景 论文研究的主要内容-GUI客户端命令行客户端-系统应用：科学应用范例-系统集成与部署 总结与展望,2023/3/28,硕士论文答辩,11,GUI客户端,特点：所有的操作以图形界面的方式与用户交互 适合低频率的数据访问 适合小数据量的查询 可与其它VO工具交互协同操作,2023/3/28,硕士论文答辩,12,GUI客户端-,总体结构,GUI客户端设计图,2023/3/28,硕士论文答辩,13,GUI客户端-设计,工作流程：异步方式、同步方式-异步方式,客户端请求连接,获取元数据,提交异步查询,读取系统信息,监控处理,任务完成，下载数据,写磁盘操作,退出,异步方式工作流程,2023/3/28,硕士论文答辩,14,GUI客户端-设计,-同步方式,客户端请求连接,获取元数据,提交同步查询,读取系统信息,等待数据返回,与其它VO工具交互,数据分析处理,同步方式工作流程,2023/3/28,硕士论文答辩,15,GUI客户端-设计,-两种方式异同 同：查询任务描述（ADQL）数据存储格式（ASCII、VOTabl、FITS、GZIP）异：查询请求方式 结果数据处理 异步 直接保存 同步 保存/互操作,2023/3/28,硕士论文答辩,16,GUI客户端-设计,结果数据处理（同步）-PLASTIC（Platform for Astronomy Tool InterConnection）天文桌面应用工具之间的通讯协议 解决VO工具之间的互操作问题 PLASTIC HUB PLASTIC MESSAGE,2023/3/28,硕士论文答辩,17,GUI客户端-设计,-结果数据处理时序,VO-DAS与TOPCAT交互操作示意图,2023/3/28,硕士论文答辩,18,GUI客户端-设计,监控模块-实时监控服务器的作业，从而对客户端信息进行处理-流程,监控流程控制图,2023/3/28,硕士论文答辩,19,GUI客户端-设计,获取元数据-元数据是描述数据的数据-给用户编辑查询任务提供参考-过程 请求数据资源（GetAllResource）解析返回的资源XML字符串 请求表信息（GetMetaTable）解析返回表的XML字符串 请求表列信息(GetMetaColumn)解析表列的XML字符串-树形结点方式显示,2023/3/28,硕士论文答辩,20,GUI客户端-实现,主界面,ADQL编辑区,元数据显示,监控,GUI客户端主界面,2023/3/28,硕士论文答辩,21,GUI客户端-小结,GUI客户端是VODAS客户端的一种形式设计遵循初级用户简单易用的原则以图形界面的方式实现：元数据获取、同步/异步查询 结果数据处理（同步）、监控处理（异步）,2023/3/28,硕士论文答辩,22,主要内容,论文背景和意义 论文的主要内容GUI客户端命令行客户端系统集成与部署系统应用：科学应用范例总结与展望,2023/3/28,硕士论文答辩,23,命令行客户端,特点：所有的操作以命令的方式与用户交互 可以嵌入用户自己的程序中 适合高频率批量的数据访问,2023/3/28,硕士论文答辩,24,命令行客户端-设计,总体结构：Linux或Windows环境下的shell或bat命令 后台调用服务器接口的java程序,2023/3/28,硕士论文答辩,25,命令行客户端-设计,命令行客户端设计图,2023/3/28,硕士论文答辩,26,命令行客户端-设计,工作流程-异步方式,发起异步请求,连接服务器,获取任务状态,提交任务,获取结果数据地址,下载数据,异步方式工作流程,2023/3/28,硕士论文答辩,27,命令行客户端-设计,-同步方式,发起同步请求,连接服务器,等待结果数据,提交任务,返回结果数据,同步方式工作流程,2023/3/28,硕士论文答辩,28,命令行客户端-设计,命令部分-与用户直接交互的部分-分别用Shell脚本和批处理环境实现一套操作命令-实现流程：,命令实现流程,2023/3/28,硕士论文答辩,29,命令行客户端-设计,后台部分-接收前台提交的数据，按照服务器接口标准予以转换，并调用服务器接口。与GUI客户端的异同：同：对服务器接口的操作必须经由连接生成Session 异：命令行用户每请求一次，连接一次；GUI用户则 只连接一次 命令行服务器地址等配置信息存放于文件；GUI 则不是。命令行以XML文本显示元数据信息；GUI以树形结 构显示,2023/3/28,硕士论文答辩,30,命令行客户端-实现,后台程序实现 实现一组支持客户端的请求操作,2023/3/28,硕士论文答辩,31,命令行客户端-实现,命令接口,2023/3/28,硕士论文答辩,32,命令行客户端-实现,应用：asyn.sh f adqlSample 0 ftp:/vodas:vodas159.226.169.222/test/vodas.dat Session,2023/3/28,硕士论文答辩,33,命令行客户端,2023/3/28,硕士论文答辩,34,命令行客户端-小结,以命令的方式提交用户请求适合高级用户海量数据的查询要求实现包含两部分：前台命令、后台程序,GUI与命令行比较,2023/3/28,硕士论文答辩,35,主要内容,论文背景和意义 论文的主要内容GUI客户端命令行客户端系统应用：科学应用范例系统集成与部署 总结与展望,2023/3/28,硕士论文答辩,36,科学应用范例,目的：用星流的运动轨迹研究银河系的引力势 在星流的运动轨道上，我们选取一类距离最容易确定的恒星即BHB星（蓝水平分支星）来估算引力势。确定包含BHB星所在的A型星区域。由于A型星中的BHB星会受到BS星（蓝离散星）的干扰，然后就需要分离出BS星来得到BHB星。将这些BHB星用工具将其可视化即可估算出BHB星的运动轨迹，从而可以进一步分析出银河系的引力势。,2023/3/28,硕士论文答辩,37,科学应用范例,应用步骤：）构造ADQL表达式，在GUI客户端查找包含BHB星所在A 型星 2）确保TOPCAT运行并启动内置PLASTIC 3）将查询返回结果直接发送到TOPCAT 4）在TOPCAT中构建表达式从A型星中筛选出BHB型 5）求出BHB星的距离，进行坐标转换 6）可视化3D图，估算运动轨迹。从而进一步求出银河系的引力势,2023/3/28,硕士论文答辩,38,科学范例GUI客户端同步查询结果,2023/3/28,硕士论文答辩,39,科学应用范例,科学范例3D可视化,2023/3/28,硕士论文答辩,40,主要内容,论文背景和意义 论文的主要内容GUI客户端命令行客户端系统应用：科学应用范例系统集成与部署 总结与展望,2023/3/28,硕士论文答辩,41,系统集成与部署,-数据结点配置工具-VO-DAS系统的集成,2023/3/28,硕士论文答辩,42,数据结点配置工具,传统的数据资源共享方式专业性强而繁杂数据结点配置工具解决数据资源的共享问题,2023/3/28,硕士论文答辩,43,数据结点配置工具,总体结构,数据结点配置工具模块图,2023/3/28,硕士论文答辩,44,数据结点配置工具,工作流程,初始化,资源部署,访问数据库,元数据显示,配置元数据,生成文件,2023/3/28,硕士论文答辩,45,数据结点配置工具,OGSA-DAI资源部署-ANT：Java工程自动化构建、部署工具-OGSA-DAI使用ANT实现资源部署 命令行 图形界面-java编程调用ANT实现OGSA-DAI图形界面的资源部署过程,2023/3/28,硕士论文答辩,46,数据结点配置工具,数据库访问-JDBC：Java数据库连接应用程序接口简称，提供一套 数据库编程API-实现访问已部署资源的数据库的元数据,客户端/服务器的应用,2023/3/28,硕士论文答辩,47,数据结点配置工具,元数据配置,元数据文件,2023/3/28,硕士论文答辩,48,数据结点配置工具,主界面,数据结点配置工具主界面,资源部署,元数据显示,元数据配置,2023/3/28,硕士论文答辩,49,VO-DAS系统的集成,VO-DAS系统的组成,VO-DAS Data NodeVO Registry Storage ServerClient,VO-DAS系统关联图,2023/3/28,硕士论文答辩,50,VO-DAS系统的集成,部署步骤 1）VO-DAS Server：部署VO-DAS的gar包及其配置文件 2）Data Node：运行数据结点配置工具的jar包，经资源 配置并最终生成么metadata.xml文件 3）VO Registry：将metadata.xml文件的URL注册到VO Registry 4)Storage Server:支持AstroGrid提供的VOSpace，允许 指定FTP或GridFTP 5）Client：GUI，设置java_home并运行jar包 命令行，设置java_home和命令存放目录 Web客户端,2023/3/28,硕士论文答辩,51,VO-DAS系统的集成与部署-小结,数据结点配置工具：实现了便捷的数据共享方式VO-DAS系统集成：用户访问VO-DAS系统必不可少 的工作,2023/3/28,硕士论文答辩,52,主要内容,论文背景和意义 论文的主要内容GUI客户端命令行客户端系统集成与部署系统应用：科学应用范例 总结与展望,2023/3/28,硕士论文答辩,53,总结与展望,总结-客户端 GUI：适用初级用户低频率的数据查询 命令行客户端：适合高级用户高频率的数据访问-科学应用范例-VO-DAS系统的集成与部署 数据结点配置工具：生成数据结点，实现数据共享 VO-DAS系统的集成,展望-Web 客户端的设计-1.0版本的发布以及后续版本中功能和性能的完善,2023/3/28,硕士论文答辩,54,发表文章,VO数据访问服务客户端系统的设计与实现.杨阳,刘超,田海俊,崔辰州,赵永恒.天文研究与技术,in press,2008.异地异构天文数据资源的统一访问.刘超,田海俊,高丹,杨阳,路勇,崔辰州,赵永恒.天文研究与技术，in press,2008.,2023/3/28,硕士论文答辩,55,谢 谢！,
