数据汇集软件解决方案要点.doc
《数据汇集软件解决方案要点.doc》由会员分享,可在线阅读,更多相关《数据汇集软件解决方案要点.doc(32页珍藏版)》请在三一办公上搜索。
1、数据汇集软件系统解决方案北京金水信息技术有限公司北京北科博研科技有限公司2013年8月目录第一章水利普查项目概述11.1项目背景11.2项目难点11.2.1需求的逐步完善11.2.2业务面广、数据指标项多、审核周期长21.2.3省、地、县多级用户21.2.4集中部署与分级部署21.3系统组成31.4系统实施与效益4第二章数据汇集系统62.1建设目标62.2建设原则72.3总体架构92.4技术路线11第三章系统功能143.1总体功能143.2功能模块143.2.1数据采集143.2.2数据审核143.2.6汇总分析183.2.7方案制作193.2.8任务下发213.2.9数据管理223.2.10
2、系统管理22第四章系统优势274.1采用J2EE架构274.2可视化表单配置274.3解释性的公式审核284.4软件易学、易用、易管理294.5智能分析、深度挖掘294.6便捷打印、自定义报警30第一章 水利普查项目概述1.1 项目背景水利普查是国家基础水信息的基准性调查,也是一项涉及国情、国力情况的调查,是国家资源环境调查的重要组成部分。第一次全国水利普查包含河湖基本情况普查、水利工程基本情况普查、经济社会用水情况调查、河湖开发治理保护情况普查、水土保持情况普查和水利行业能力建设情况普查,以及灌区与地下水取水井两个专项普查。由于普查范围广、普查的对象众多、归口管理关系复杂、涉及指标多、数据量
3、庞大,要保证全国范围内普查工作的同步开展,对于如此大规模的普查工作,必须要采用科学的方法和先进的技术手段,建立完善的数据的采集、审核、汇总、上报机制,只有通过建设信息系统来实现分布式数据收集和海量数据的存储和管理,才能确保所有普查数据能有效、快速、安全地采集和汇集,从而减轻工作量,提高工作效率和普查工作质量。1.2 项目难点1.2.1 需求的逐步完善普查软件的开发是在业务需求逐步确认的基础上进行的。在软件开发中不可避免的会遇到需求的变化,变化并不是项目所害怕的,最怕的是跟不上变化的步伐。从普查软件的试点走到现在,实施方案经历了几个版本的更新,实施方案的更新从业务需求上主要表现为添加业务表单、删
4、除业务表单、增加数据指标、删除数据指标、更改名录逻辑等,每经历一次更新必会造成一系列连锁的指标修正、指标配置、配置审核、汇总更新等操作,这将增加软件在开发上、质量上和测试上的复杂度,无形中的延长了开发的开发周期。1.2.2 业务面广、数据指标项多、审核周期长普查软件涉及的业务面广、指标量多、审核周期长。水利普查业务共涉及八大类业务工程(23张清查表、38张普查表、3张台账表及相应的统计表),且每类业务工程中所涉及的系统逻辑均有所不同,需在软件中进行相应的业务处理,这将直接增加软件的复杂度。水利普查软件中共数千个数据指标项,在数据指标的类型、长度、精度及值域范围上根据实施方案的更新进行了反复的确
5、认和核对工作。审核周期长,对数据指标中所涉及数据审核项的迭代审核,为做到指标项配置无误,对此类审核做到多人迭代、交替审查。1.2.3 省、地、县多级用户普查软件是一个全国性的数据登记及处理软件,直接涉及全国31个省(自治区、直辖市)、345个地(市)级数据审查人员、3144个县的使用人员。使用人员多,分散广,信息化程度参差不齐,对软件的使用则要求相对就高,这就要求软件有良好的适用性、易用性和稳定性。1.2.4 集中部署与分级部署因属于全国性的普查,故软件在部署上采用集中部署与分级部署两种模式。若全部采用集中部署则需考虑到网络的带宽、服务器的性能、访问量的多少等因素,若在访问量加大的情况下势必存
6、在性能问题,而这些问题反映在软件上效果为反映速度慢、页面打不开等,因此需要辅以多种技术和业务手段进行控制,以达到预期的应用平衡和性能效果。若全部采用分级部署,则存在分散广的问题,对同一问题出现的频率高,对问题反馈响应比低等问题。1.3 系统组成水利普查数据处理系统由基层登记台账管理系统、普查数据处理上报系统、普查数据管理系统所构成。为各级水利普查数据的录入、编辑、审核和汇总以及数据管理、数据加工和信息发布等提供工作平台。其中:基层登记台账管理系统主要用于2011年清查登记阶段,各地用于开展清查数据处理和普查数据的预处理,用于数据录入工作;普查数据处理上报系统主要用于填表上报阶段,县、地级水利普
7、查机构开展表格数据处理和汇总上报;普查数据管理系统主要用于填报上报阶段,省、国家(含流域)级水利普查机构开展表格数据处理和汇总上报,以及平衡分析统计服务。图1.1 水利普查数据处理系统水利普查数据处理系统根据各级水利普查机构数据处理任务,分别部署到全国3433个水利普查机构,应用于清查登记、填表上报等不同阶段的水利普查数据处理工作中,全面支持水利普查数据处理工作的全过程。1.4 系统实施与效益根据各省(自治区、直辖市)和新疆生产建设兵团水利普查数据保密要求,其中28个省(自治区、直辖市)水利普查业务数据处理软件部署采取了在省级集中部署,其各地、县级水利普查机构通过计算机网络,远程开展联机数据录
8、入和处理工作,其余省级水利普查机构及其下级,采用了分散部署。无论采用集中或分散部署,不影响各级水利普查数据采集与处理的工作流程和责任主体,水利普查数据均维持相同的数据处理模式。无论采用集中和分散相结合方式部署的水利普查业务数据处理软件,还是全部分散部署的数据处理软件,均如期顺利完成了各自数据采集与数据处理任务,以及所有数据的逐级上报、汇总和审核等一系列工作,最终形成了国家级水利普查成果。通过水利普查数据处理系统完成了全国9900多万个水利普查对象的清查,900多万张普查表的填录,4亿多笔普查数据的采集、处理、审核和汇总。全面查清了我国水系的基本情况,掌握了水资源开发、利用和保护现状,摸清了经济
9、社会的用水状况及经济社会发展对水资源的需求,查明了水利行业能力建设及管理状况,收集整理形成了全面反映水资源及其开发、利用、治理、保护、监测和管理等方面基本情况的海量信息资源,形成了迄今为止最全面细致、系统权威的基础水信息体系,为全面建立国家基础水信息平台建立了坚实基础。第二章 数据汇集系统2.1 建设目标基于水利普查数据处理软件开发一套综合信息的数据汇集系统平台。系统目标包括:1.强大的数据集成系统提供关系型数据库数据集成器,用于将关系型数据库的业务资源采集入库。数据采集支持各种主流关系数据库,通过计划任务的方式运行,根据不同资源类型的实时发布要求,配置资源的采集同步频率。在数据采集的过程中,
10、支持数据的转换、合并、连接等数据处理。支持xml格式的数据导入导出。2.便捷的表单设计用户通过所见即所得的表单或表单设计工具,以简单的拖拉拽的方式完成大量表单或报表的编制工作。其中表单主要解决基础数据的采集、表单类的数据上报业务。3.智能的数据审核用户可以根据实际业务需求进行校核公式的配置,完成表内校验、表间校验、合理性校验、历史数据对比,并对审核结果进行快速定位及输出。其中具备网络环境的单位,能够直观的看到下级单位的数据填报情况及数据质量。4.灵活的数据汇总用户可以自由的选择单位和行政区划进行汇总。汇总指标之间可以通过计算公式完成表内、表间的指标计算,减少工作量,提升数据准确率。5.强大的统
11、计分析用户可以对已有数据进行简单数据查询、历年数据查询、单位对比查询、单位排序查询、高级汇总查询等操作;可以自定义完成各种统计报表,满足不同数据分析和处理需求,形成多维数据,并以报表、图表等形式展现,真正实现从数字上进行宏观决策和微观管理。6.灵活的综合管理服务通过该平台,用户可以很轻松地完成分级组织管理、用户管理、授权管理、日志管理、任务管理。用户可以根据自己的需要,定制业务处理流程,并通过任务下发和数据上报的方式完成网络环境、单机环境以及复合环境的协同。2.2 建设原则数据汇集系统的应用对象是需进行数据采集、管理、汇总应用的主管单位和下级单位;数据汇总系统对应的数据内容,不但需要能够处理业
12、务的结构化的报表数据,还能够处理工作计划、业务统计等非结构化的业务数据。 数据汇总系统应用的形式为网络表单,通过表单模板制作、样表生成、表单组合及下发、表单填写、表单审核、表单上报、表单管理等系列操作,完成汇总分析所需要的基础数据的采集工作。 数据汇集系统更加强调数据的审核、汇总和分析,为领导决策提供直接的客观依据。主要保证如下几点: 保证信息的时效性运用数据汇集系统实现在线填报、离线填报、数据导入工作,提高填报工作的效率,保证填报信息的时效性。 保障信息的安全性运用数据汇集系统在数据上报过程中实现数据的加密,充分保障汇总上报数据的安全性。 提高数据的正确性运用数据汇集系统,根据实际业务需求,
13、配置审核公式,所有上报数据先校核再上报,提高上报数据的准确性,确保汇总结果的正确性和可信度。 统一上报数据格式通过多种技术手段保证上报数据格式的统一,从而为上级单位节约大量的时间和精力,大大提高工作效率。 现实数据共享机制及关联通过技术手段,建立与各个业务系统之间的关联,自动共享业务系统中的数据,通过自动取数、自动填写报表的方式,减少人工操作可能产生的错误,同时提高数据的共享性和系统的关联性。2.3 总体架构数据汇集系统总体应用是多层次架构,分为综合管理、方案制作、任务下发、应用层次及成果展现。图2.1 系统总体架构综合管理主要是辅助用户完成用户、组织、权限及流程制定、报表打印等数据采集及填报
14、的准备工作。方案制作是指用户可以在系统内完成报表、表单模板设计及相关审核公式的配置工作。任务下发可以针对不同的报表及表单的填报应用下发多个任务,并下发给不同的下级单位。下级单位系统中进行任务导入后,即保持与上级单位报表、表单应用的一致性,无需进行二次配置。数据汇集系统从应用层次上可以划分为三个层次:数据采集层、数据汇总层、数据分析层。其中:数据采集层主要完成报表数据的采集工作,即通过浏览器本地填写、导入或者自动从业务系统中提取数据,然后保存、审核通过之后并上报。数据汇总主要完成下级单位报表数据的收集、整理,并按照上级单位的规定除上报汇总数据外,是否一起上报基础数据明细。数据汇总层对应的单位可以
15、有多个层次,也即对应于多个中间层单位,该类单位可以对下级单位上报的报表数据进行管理、查询、统计等操作。数据汇总层主要是帮助主管单位(也可以是中间层单位)完成数据的汇总、统计等设置的。具体而言,就是主管单位根据报表相关指标、关键字等,设置汇总统计条件,建置汇总统计模型,然后基于各下级单位上报的数据或者下级单位上报的汇总数据,形成汇总统计的结果。数据分析层是数据汇总系统的重点,主要是完成数据库到数据仓库的转换,并在数据仓库建置的基础上,完成多维数据分析以及数据的钻取、切片、旋转等功能。概括的讲,数据采集是基础,数据管理是桥梁,数据汇总是重点,数据分析是目的。数据采集、管理,其重点是在此基础上的汇总
16、和分析,主要目的是为领导的决策提供全面、准确、客观、科学的数字依据。数据采集、汇总、分析完成后数据汇总系统可将数据统计分析的成果通过分析示图、门户集成进行展现。2.4 技术路线为方便系统应用和软件管理,系统应用浏览器/服务器(B/S)体系结构,系统可以行政区划为单位各自独立运行,以逐级上报方式完成系统之间的数据交换。在技术路线的选择上,采用了符合SOA体系架构的设计思想及当前业界主流的J2EE技术路线,可以满足跨硬件平台、跨操作系统的要求。图2.2技术架构在技术体系中采用了WebService、AJAX、Hibenate、EXTJS、FLEX及持久层框架等核心技术,在保证技术先进性的同时兼顾了
17、技术的实用性。同时,采用组件式开发技术,使彼此独立的业务组件通过Webservice、XML等松耦合的通讯方式组织在一起形成完整的业务系统。采用数据访问对象(Data Access Object)来实现对数据库的存取,采用异步任务来处理长时间请求,采用O-R MAPPING技术保证公共数据库的可扩展性,采用XML和Webservice作为数据发布标准,采用元数据、数据映射、原生XML数据库等技术实现数据处理。Java技术由于其跨平台特性、面向对象特性、安全特性等,把数据库访问、企业级Java组件、命名和目录服务、动态页面生成、XML、事务服务等有机地集成在一起,并且提供集群等高级特性,使之特别
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 汇集 软件 解决方案 要点

链接地址:https://www.31ppt.com/p-3870680.html