科研项目立项论证报告基于云数据空间的航空航天多源情 报数据管理与共享关键技术研究.doc
《科研项目立项论证报告基于云数据空间的航空航天多源情 报数据管理与共享关键技术研究.doc》由会员分享,可在线阅读,更多相关《科研项目立项论证报告基于云数据空间的航空航天多源情 报数据管理与共享关键技术研究.doc(18页珍藏版)》请在三一办公上搜索。
1、 XX 科 研 项 目立项论证报告项目名称:基于云数据空间的航空航天多源情报数据管理与共享关键技术研究编报单位:二九年五月目 录1 立项的必要性 12 主要战术技术指标 12.1 主要功能指标 12.2 主要技术指标 13 技术可行性和先进性 13.1 技术方案或主要技术途径 13.2 主要技术难点分析 13.3 研制单位的能力分析 13.4 与国内外同类产品、技术对比分析 14 推广应用意向及前景预测 15 研制周期及主要工作节点 16 研制经费概算及年度拨款强度需求 11 立项的必要性随着信息技术的发展,航空航天情报数据量正在以指数级的速度迅猛增长,目前全球每年至少产生15TB的新数据。互
2、联网和通信设备的普及使人们能够很容易地实现数据的共享,数据库之间也因此建立起越来越密切的联系,所以如何在庞大数据量的背景下进行高效的数据共享也是当下面临的重要问题之一。具体地说,当用户需求某个主题的数据时,需要从数据库中进行检索,若这些数据存放于单一数据库中则对数据的获取难度并不高,但是当与此主题相关的数据同时存在于多个数据库当中,则获取难度大大增加。在传统的数据库模式下,解决这种问题具有非常大的难度。首先,由于不同数据库本身存在异构性,所以从不同数据库中提取数据之后的整合难度也会有所提升;其次,随着数据量的急剧增长,从不同数据库中查询的时间也会有所增长。此外,航空航天情报数据源分别存储在许多
3、不同部门的结点上,分散管理,这种分散的存储方案无法做到透明的数据共享、随着数据量的日益增长,需要不断地扩充已有存储资源,给系统管理和运行都带来很大的压力,同时也大大提高了系统维护成本。现代数据管理中的跨域、海量、异构、不确定性特点推动了数据管理范式从数据库范式向数据空间范式的转变,推动了计算机信息资源管理领域的新一轮革命。相对于传统数据库技术,数据空间技术具有先行支付的建设模式、模式在先而数据在后的数据模式、不确定性数据模型、不改变数据源中的数据格式、分布式“共存”存储模式等内在特征,而且这些内在特征也表现出了诸多外部特征,包括数据源的不确定性、数据管理和数据控制的不完全性、信息集成过程中信息
4、丢失较少、数据关联的复杂性和演化性、服务质量的不确定性和次优性。数据空间是与主体相关的数据及其关系的集合,数据空间中的所有数据对于主体来说都是可以控制的。主体相关性和可控性是数据空间中数据项的基本属性,一般所说的数据空间实际上是指主体数据空间,与之相对的是公共数据空间。利用这种模式可以解决分散、异构数据的共享和管理问题,也就是可以非常好地完成对不同数据库的数据查询和获取任务。除此之外,还具有相当好的数据延展性,能够适应未来的发展的需要。与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以
5、存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。可以通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。它具有传统存储方式不具有的诸多优点:比如硬件冗余、故障切换、存储设备的升级不会导致服务中断等等。而基于云存储的方式可以有利于综合管理,实现数据在云中的透明迁移,最大限度地减少系统扩展带来的影响,大大降低成本,节省资源。数据迁移到云存储或基于云构建,所有的数据存储在云中,这样,依赖云存储平台,能够提供统一的管理服务,减轻管理成本和投入此外,云存储服务强大的可扩展性,当数据存储需
6、求变更后,云存储服务则可以很方便的在原有基础上扩展服务空间,满足需求。而且这种变更对用户使用是完全透明的,大大减轻了系统管理和升级带来的压力。由此可见,结合云存储技术和数据空间理念,可以较好地解决航空航天情报数据特点给数据管理技术带来的挑战。因此,本课题以多源、海量、异构情报数据的科学管理需求为牵引,满足航空航天领域情报数据的深度挖掘和高效利用的需要,研究云环境下的数据空间技术,突破文件管理、语义检索、动态加载和数据划分中的技术难点,解决多源异构数据的获取、存储、组织、共享和利用问题,为航空航天各类情报信息系统和数据库纳入统一的云数据中心提供技术手段,从很大程度上提升情报信息的准确性和利用率,
7、保证情报服务的高效性、可靠性。2 主要战术技术指标2.1 主要功能指标2.1.1 研究目标以多源、海量、异构情报数据的科学管理需求为牵引,满足航空航天领域情报数据的深度挖掘和高效利用的需要,研究云环境下的数据空间技术,突破文件管理、语义检索、动态加载和数据划分中的技术难点,解决多源异构数据的获取、存储、组织、共享和利用问题,为航空航天各类情报信息系统和数据库纳入统一的云数据中心提供技术手段,以便从很大程度上提升情报信息的准确性和利用率,保证情报服务的高效性、可靠性。2.1.2研究内容本课题的研究内容可以分为关键技术研究和应用研究两大部分。1 关键技术研究1) 数据空间技术随着跨域、异构、海量、
8、不确定性等新的数据管理特性的出现,数据空间技术逐渐取代传统数据库技术,成为一种重要的数据管理手段。数据空间是与主体相关的数据及其关系的集合,主体是数据空间的所有者,可以是个人,也可以是一个组织。可以从时间、空间和内容三个纬度理解数据空间的主体相关性特点。从时间维度看,随着应用需求、成本、能力、进度的增强,公共数据空间中的数据项不断被纳入到数据空间的管理范围之内,数据空间具有动态管理不确定数据的能力;从空间维度看,数据源可以分布式存储在不同的网络环境中,数据空间支持跨域数据的集成管理;从内容维度看,数据源可以是结构化、半结构化、非结构化等多种格式数据,数据空间可以实现对异构数据的统一管理。情报信
9、息同样具有异构、海量、跨库、动态更新等特点,因此,本课题研究适用于情报信息的数据空间技术,主要包括数据空间系统框架、数据空间模型以及数据的管理(更新、查询、存储、索引等)。2) 云文件系统技术分布式文件系统有许多成熟而简单的架构方案,然而无法满足云存储和支持云计算系统的需求。这是因为面向云存储的分布式文件系统应该建立在超大规模的基础上,并且具有海量文件存储能力、高并发、低延迟的读写效率以及相当高的可靠性、稳定性和安全性。因此,面向云存储需求的应用目标为分布式文件系统的架构设计带来了新的挑战。本课题将研究面向云存储应用的分布式文件系统的特定需求,具体包括元数据的管理技术、文件的分块存储技术、用户
10、大压力下的访问数据支持与管理技术、存储和计算的对接结束、大文件与小文件读写的同时支持技术、节点失效的隔离技术等。3) 基于语义的检索技术传统的检索技术存在不少的问题,如信息丢失、返回信息太多、信息无关等,造成这些问题的主要原因是仅仅采用机械的关键词匹配来实现,缺乏知识处理能力和理解能力。情报信息系统以大规模的知识库为基础,它需要一个强大的推理系统支持。该系统可以在已知情报基础上,推理分析出没有明显表现出来的情报信息以及他们之间的隐藏关系。用户需要什么样的情报信息,就能通过形式化语义推理功能,动态检索到提供该信息的情报,以及相关的情报。这样就能够极大提高构件检索的查全率和查准率,并以目标情报信息
11、的入库、检索等工作奠定基础。4) 多源数据动态加载技术一般的检索系统通常对动态加载要求不高,通常允许检索的信息在时间上有一定程度的滞后,而且其数据源通常相对固定,数据源的动态性和信息的及时要求不高。而在情报系统中,系统所需的数据源通常是多变的,而且又必须提供最新的信息。因此,提供随时动态地加载新的数据源的能力是对系统的基本要求之一。解决系统的动态加载需要解决以下几个问题:一是数据源的抽象描述,即研究如何将情报系统中各种各样的数据源特征进行抽象,并在此基础上建立统一的描述模型和相应的配置支持,这是实现动态加载的基础。二是数据源动态适配技术,即研究系统在运行状态下如何将多种异构数据源动态接入到系统
12、中,并根据抽象描述文件加载相关的驱动,实现数据源的即插即用。三是动态数据源综合技术,即如何获取已连接的数据源的数据及元数据信息,并与当前其它的连接数据源进行整合,以便提将最新的信息提供给用户。5) 分布式数据的划分与处理通过对现有技术如Hadoop+, Twister, Haloop, HadoopDB,Spark及其最新语义计算技术的跟踪研究。不断改进MapReduce的框架,在MapReduce基础上增加索引层,研究低时延的多条件、多维度复杂分析的框架技术。2 应用研究 在上述关键技术研究的基础上,拟实施的应用研究包括:1) 基于云数据空间的情报数据存储与管理工具云数据空间的情报数据存储与
13、管理工具需要为系统提供存储管理服务和数据空间的管理服务支持。云数据空间的存储管理服务为用户提供云存储空间中情报源结点和应用服务器的部署、配置服务,包括结点的加入、修改、删除功能、配置信息更改以及各类信息的查看和统计等服务;此外,该部分还要为数据源的动态扩展提供相应的管理支持界面,包括配置文件的编辑、修改、导出、验证等功能。数据空间的管理与支持服务主要为语义匹配提供支持,除需要提供本体的存储等基础功能支持外,还需要为用户提供基于的本体构建界面,为系统的维护者提供本体的编辑、导出导入、认证、标注、浏览提供支持。此外,还需要提供关系映射支持界面,用户可以根据领域知识进行关系映射,实现对查询语义的动态
14、扩展和调整。2) 基于语义的航空航天情报智能检索工具智能检索工具不但应该支持自然语言检索,而且还应具有一定的推理能力,综合用户在每次检索结果选择的取舍,自我表现学习并进行推理,从而调整检索策略,完善检索效果。智能检索工具主要分为索引和检索两大部分。索引器的主要功能是基于航空航天情报领域知识库,抽取出反映情报形式和内容的信息作为索引项,描述情报及生成相应的索引表。检索器的功能将用户输入的信息的概念模型与索引库中的信息进行匹配,并且快速检出符合要求的文档,然后按照文档与查询的相关性对结果进行输出,并实现某种用户相关性的反馈机制。信息检索模型的检索器的核心技术,它决定了检索器的性能和特点。3) 基于
15、云数据空间的情报数据统一服务平台基于云数据空间的情报数据统一服务平台是面向不同用户建立的统一平台。主要服务功能包括: 用户注册、权限管理服务,为情报信息系统的用户,包括情报中心、各级指挥所不同的人员提供注册服务功能。不同的用户需要注册不同的信息,并具有不同的权限; 查询检索服务,不同的用户可以根据自己的权限对相关信息进行查询和检索; 情报信息展示服务,通过不同的方式展示查询结果,并可根据查询实现进一步查询的导航; 情报信息的维护服务,为情报信息的录入、修改提供报务支持; 本体的构建服务,为航空航天情报知识库的建设者提供本体编辑、导出导入、权威认证和本体标注和本体浏览器服务支持; 本体的管理服务
16、,一是提供在传统的数据库中存储知识的方法;二是通过图形用户界面,管理知识的储存、访问和获取。2.1.3成果形式1软件系统基于云数据空间的航空航天多源情报数据组织与共享系统软件(1套)2技术报告符合军用软件标准文档(1套)技术研究论与研究报告(1套)1) 航空航天情报信息数据空间研究报告2) 云文件系统技术研究报告3) 基于语义的检索技术研究报告4) 多源数据动态加载技术研究报告5) 分布式数据的划分与处理技术研究报告6) 基于云数据空间的航空航天多源情报数据组织与共享软件系统设计报告7) 基于云数据空间的航空航天多源情报数据组织与共享软件系统测试报告2.2 主要技术指标主要技术指标如下:(1)
17、 支持多于100个存储节点的有效;(2) 管理情报搜索准确率:90%以上;(3) 情报搜索率:1000010000000(条)/秒;(4) 查询分析结果的显示模式:图形显示和文本显示。3 技术可行性和先进性3.1 技术方案或主要技术途径3.1.1 主要技术途径 本课题拟采取以下的研究方法及途径: 密切结合空军情报信息系统的建设现状; 密切结合航空航天情报工作的实际; 基于软件工程、信息工程、数据库、海量信息处理、SOA与Web服务技术、语义Web、软件体系架构等方面的最新研发成果; 跟踪学习国内外先进的经验与方法,开展一些创新性研究。3.1.2 技术方案图1基于云数据空间航空航天多源情报组织与
18、共享系统总体设计基于云数据空间的航空航天多源情报组织与共享系统示意图如图1所示。本课题拟采用的具体实施方案如下:1 数据空间技术在数据空间模型方面,提取情报信息数据的共性,建立统一的数据表示方式,抽象出统一的数据源管理接口,满足跨库、异构数据的集成需求。在数据空间管理方面,一方面,研究数据空间监控引擎,监控数据空间外部数据源的变化以及数据空间内部数据的变化。根据不同的变化,对数据空间进行更新。通过并发控制、事务处理、版本控制等手段保证数据更新过程中引起的一致性问题。另一方面,研究数据的查询技术,通过基于语义的数据查询技术提高系统的查询能力和效率,通过查询转换实现多数据源的查询。在数据空间系统架
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 科研项目立项论证报告基于云数据空间的航空航天多源情 报数据管理与共享关键技术研究 科研项目 立项 论证 报告 基于 数据 空间 航空航天 多源情 数据管理 共享 关键技术 研究
链接地址:https://www.31ppt.com/p-3033527.html