高检电子检务数据交换平台设计方案.doc
《高检电子检务数据交换平台设计方案.doc》由会员分享,可在线阅读,更多相关《高检电子检务数据交换平台设计方案.doc(52页珍藏版)》请在三一办公上搜索。
1、高检电子检务数据交换平台设计方案第1章 业务现状与需求分析1.1 业务现状电子检务工程中的各系统之间均会存在相互的数据交换,且电子检务工程主要系统是两级部署四级使用,某些系统或个别检察院会三级部署四级使用,因此数据的整合将会存在检察院内不同系统之间数据整合、检察院与检察院不同系统数据交换、检察院与其他单位数据交换需求。1.2 业务理解检察院业务包含如下特点:l 业务分布广n 业务部门层级分布,业务职能林立设置n 案件广泛分布n 涉案人员广泛分布n 案件线索广泛分布l 协同性要求高n 内部各部门间共享协同n 上下级之间的共享协同n 与同级、跨级部门的共享协同n 与公众的共享交互l 案件复杂性n
2、案件类型复杂多样n 涉案人员及作案手段的复杂多样n 作案环节交错繁杂1.3 业务需求分析1. 检察业务系统的大统一,会推动和加快行业信息化建设的进程,加强信息化建设的标准化程度,但是如何兼顾各地的个性化需求,如何兼容各地域的现有系统和数据资源。2. 检察行业的数据分散而孤立,各业务应用软件相对独立,信息难以共享,重复录入现象严重,增加了基层检察院的工作负担。由于各业务系统的数据只能在自己的业务范围内流转,导致数据利用率不高,没有发挥应有价值。各检查机关单位通过信息化的协同能力较弱。并且不同层面信息其安全级别不同,如何将信息进行整合,为决策分析提供支持。3. 如何处理好下发系统间、下发系统与本地
3、现有系统间、内部系统与外部政法部门间业务协同的问题4. 法律法规、监管政策变化后,业务系统升级不及时,滞后于实际工作需要。1.4 技术需求分析1、各业务系统开发语言、架构、数据库等多种多样,不利于统一管理。2、缺少核心数据的管理,致使信息不统一,统计困难、数据不准确,需要人工比对增加工作量,影响电子检务公开工作开展。3、数据校验功能缺少或薄弱,数据质量不高。4、数据安全保护措施不完善,无法有效保护涉密及敏感信息。5、无法精准设置权限,不能更好的实现精细化管理和操作。第2章 数据交换平台设计方案2.1 平台架构设计根据本期项目的业务要求和应用特点,提出的数据交换平台方案,应立足为电子检务的信息资
4、源共享提供基础平台;同时,数据交换平台将考虑未来为更多数据共享提供支撑与整合。数据交换平台在设计实现上充分考虑了以下主要因素:首先其符合国家对交换信息资源交换管理的相关标准和规范;其次,符合国家对等保、分保规范的要求;再次,采用先进的技术设计实现,包括多层设计的中间件技术体系等;再次,吸收目前金蝶在政务资源交换与管理实施方面的经验和对一些技术实现的可行性验证,在平台设计上做到客观、实际、以满足业务应用需求为主导;最后,设计实现的方式完全基于金蝶现有集成中间件产品。2.2 平台功能架构设计电子检务数据交换平台总体架构在遵循国家电子政务总体框架的原则下,紧密结合省监狱管理局的实际情况,从结构上主要
5、分为以下三层:1. 基础设施层主要为目前省级统一的电子政务网络、信息安全等基础设施系统。2. 数据资源层包括各检务部门已有的业务系统数据库、基础数据库、前置交换库以及各类业务和信息资源。3. 共享交换层由统一管理子系统、统一监控子系统及数据交换子系统构建的统一共享交换平台作为支撑。基于信息资源的全面整合和共享以及共享交换平台,根据检务部门自身进行社会管理、宏观调控、公共服务、经济调节等方面履职的需要,向政务部门、企业和社会公众提供全方位多样化的政务应用。2.3 平台功能设计数据交换平台从功能架构上包含:数据交换子系统、统一管理子系统和统一监控子系统。2.3.1 统一管理子系统统一管理子系统中分
6、了四个功能模块:运行管理、日志管理、巡检管理、系统管理。运行管理:通过该模块可以监测平台各系统模块的运行情况,完成相关参数的配置管理,以及相应的系统运行控制。日志管理:采集来源于平台的运行日志、访问日志、交换日志,对这些日志信息进行统一展示和统计分析,为管理人员对整个平台的运行情况、使用情况的分析提供依据。平台预警:可以设定平台相关阀值,提供预警功能,可自动发送邮件、短信等。系统管理:完成系统用户、部门、角色的管理,以及相应的授权管理。2.3.2 统一监控子系统统一管理子系统中分了两大功能模块:交换统计模块、监控统计模块。l 交换统计模块主要包括:数据量专项统计、数据量多维统计、告警统计、异常
7、统计、操作统计、调度统计。数据量专项统计:系统提供数据源级、节点级、部门级、流程级、数据域级等多个层面的交换量统计,帮助用户从不同角度,进行数据交换业务的跟踪与监控。数据量多维统计:系统在专项统计的基础上,对数据进行多维化分析。可以进行自定义的组合条件的数据交换分析。并提供相关的可视化图表,使业务情况一目了然。告警统计:系统针对告警情况进行了统一的采集与分析,帮助用户找到业务瓶颈。从平台管理角度来发现问题与解决问题。异常统计:系统提供细粒度的异常统计功能,不仅仅提供异常数量与发生时间,而且能够提供问题原因以及处理建议。帮助用户快速消除业务异常。操作统计:系统对所有用户登录、业务操作均提供了记录
8、。为安全审计与用户行为分析提供了基础。调度统计:系统提供所有数据调度的统计功能,用户可以监控调度次数,调度成功次数,调度失败次数与失败原因等详细信息。帮助用户合理的调整调度频度。l 监控统计模块主要包括:资源状态监控、异常告警、错误分析、操作审计、异常审计。资源状态监控:系统提供资源状态的实时监控能力,包括数据源可用状态,节点在线状态,流程运行状态等,帮助用户实时跟踪资源情况,及时发现资源异常,避免业务错误。异常告警:系统可根据告警条件筛选出需要进行通知的告警信息,并按照预设的告警条件对用户进行通知,通知方式包括:站内短信、网页消息、短信、邮件等。错误分析:系统对底层错误进行了细致的处理,将网
9、络异常、数据库读写异常、线程数过多等问题进行了归类与分析,用户可以根据平台错误分析功能,了解到错误发生的位置,错误发生的原因以及得到错误的数据,使用户可以快速定位、分析与解决问题。操作审计:系统对平台用户的登录与业务操作内容均进行了详细的记录,平台管理人员可根据操作数据对用户行为进行细致的审计。异常审计:系统为所有异常情况提供了详细的记录,用户可根据异常数据对异常发生的原因进行详细的审计。2.3.3 数据交换子系统数据交换管理子系统在本方案中承载部级节点、外部委节点、省级节点逻辑上三级交换库之间的数据交换,同时也承载三级平台交换过程的数据管理。数据交换管理平台提供业务人员易用的web管理控制台
10、,能够对三级平台交换库之间的传输非常简易的配置,同时也可以按照集中方式统一管理、分域方式对以树形结构管理整体交换工程,例如:部级数据交换管理平台以分域形式可以管理省级到部级的整体数据交换过程,省级域数据交换管理平台能够管理其下属省份到省级域的数据交换过程。高效合理的管理方式是中组部数据交换与共享项目后期的组织保障。l 资源管理主要包括:数据源管理、节点管理、机构管理、业务域管理等功能。 数据源管理:数据交换子系统提供数据源管理功能,支持多种数据源接入,并统一管理,通过B/S页面实现对数据源的新增、修改,删除参与数据交换的相关的基础信息,以关系型数据库为例:定义数据源名称,数据库类型,数据库驱动
11、类名,连接URL,用户名,密码等信息。以供数据交换流程使用。数据交换子系统支持多种数据源接入,提供对数据源的全维度管理功能,对所有接入数据交换系统的数据资源进行统一的管理,所提供的功能包括但不限于: 关系型数据库(包括Oracle、DB2、SQLServer、Sybase、MySQL、PostgreSQL等主流数据库以及达梦、神通等国产数据库) 文件存储系统(包括文件夹) 文件传输系统(包括FTP/SFTP) 主流的分布式文件系统(包括HDFS、GlusterFS等)。 提供对数据源的查询、新建、修改、删除功能。 提供对数据源的分组管理功能。 针对于关系型数据库类型数据源,提供连接池参数的配置
12、,支持管理员依据项目实际情况对连接池配置调优。 节点管理:系统能够监控所有业务的节点的运行状态,并能够以拓扑图的方式,展现各节点之间的关系、IP地址以及所属部门等信息。降低维护人员的监控管理工作量。 支持外网、内网数据交换系统的对接,包括支持相互传递命令数据、业务数据以及配置数据 提供节点拓扑图形化管理,支持在统一的管理页面统一管理 支持注册、修改、删除交换节点 支持实时监控交换节点的在线、离线状态 支持按节点名称等条件的检索 机构管理:系统将用户的组织架构关系融入到平台管理之中,并将组织机构的节点、用户、数据等就行联系。使数据交换与用户现有业务保持一致。 业务域管理:系统创造性的按业务范围将
13、全局资源进行重新整合,形成业务域的概念。将跨节点、扩业务部门的资源重新整合,以业务维护重新划分为业务域,降低了跨节点、跨业务部门业务开发的复杂度。 映射模块管理:数据交换子系统提供对与数据交换相关的数据同步、上载等业务源与目标的映射关系管理,包括字段映射、抽取规则、数据转换逻辑、数据加载规则等。数据交换子系统满足业务需求提供多种功能,包含但不限于: 支持基于数据标准的建模工具 支持图形化拖拽方式的映射关系配置功能。 支持离线定义映射规则 支持字段的自动匹配。 支持在同一工具中管理分布式网络多个数据交换系统的映射模型。 提供抽取规则配置,配置对源端数据的抽取规则,支持抽取事务级别控制、多表关联、
14、增量抽取规则配置、去重以及查询条件等配置。 支持转换规则配置,配置对数据的转换处理规则,支持拆分、合并、类型转换、字符串截取、计算表达式、常量等转换规则配置。 支持自动加载规则配置,配置对数据加载策略规则,支持加载方式(Insert、update、delete、insert/updat、delete/insert,增量加载)配置。支持错误数据处理配置,支持出错终止与忽略错误数据继续执行的配置。 当数据标准结构发生变化时支持通过修改映射模型的方式调整,只需要重新发布映射模型,不需要修改交换任务等配置,不需要重启交换服务。 支持映射模型导出和导入 支持批量创建数据标准同构的数据映射模型 支持按名称
15、等条件的检索功能。 任务模型管理:数据交换子系统内置基于Quartz定时任务框架的企业级调度引擎,可以非常方便设定作业的调度任务,并交由运行服务器执行。数据交换平台管理监控平台提供可视化的界面配置即可完成复杂的调度设置,对于特定的调度计划,用户可以直接配置调度引擎表达式,调度引擎将解析调度表达式并按时按频率执行所调度的任务。另外,对于简单量小的调度任务,用户也可以借助于操作系统本身的计划任务来执行相关作业和转换,数据交换平台提供相关操作系统环境相关的处理脚本以便直接执行作业任务。并提供如下功能: 提供基于Web的图形化交换任务模型配置方式。以可视化流程的方式管理交换规则资源与监控数据流转 管理
16、数据交换的流程,配置串行、并行数据交换流程 支持执行数据同步、数据上载、传输等操作。 支持按名称等条件的检索功能。 支持配置执行映射规则、文件传输规则、数据库存储过程,JAVA程序等。 调度配置:数据交换子系统支持对数据交换任务的执行周期进行配置,并按配置周期触发交换任务,调度支持与一到多个交换任务关联,同时交换任务支持同时被一到多个调度触发执行。周期性执行的交换任务要求同时支持手动、实时接口触发的执行方式。数据交换平台提供多种调度方式、调度周期,包含但不限于: 支持查询、新建、修改、删除、启用/禁用调度配置 支持配置秒级、分钟级、小时级、天级、周级、月级的策略,支持按需配置出任意的执行周期
17、支持按名称等条件的检索功能 支持查看执行周期 支持配置并发的任务数大于1000个 可根据业务量大小和数据量大小设计调度周期 数据标准管理:数据交换子系统提供完善的资源库管理功能,支持对数据标准的统一管理和存储,作为整个组织重要资产统一管理、维护、跟踪和共享。资源库遵循行业标准,包含但不限于如下功能: 支持OMG CWMSpecification v1.1元模型规范 支持OMG XML Metadata Interchange (XMI) v2.1 元数据交换规范 W3C Schema 1.0规范 提供可视化方式配置数据标准,能够支持主动抽取数据标准,提供对数据标准的变更与维护的支持,提供与其他
18、工具(数据质量、数据分析、挖掘)交换与集成的支持。 数据标准管理功能支持抽取关系数据库的基础数据结构,包括数据库表名称、字段名称、数据类型、相关注释以及主外键关联关系等信息。 当原始数据结构发生变更的情况下,不需要调整数据标准即可实现系统的自动适应,避免重复配置数据交换规则。 支持对结构化数据标准的描述,包括关系型数据库表、视图、查询SQL等 支持对半结构化数据标准的描述,包括XML格式、Excel文件格式、文本文件格式等。 支持对非结构化数据标准的描述,包括Hbase、GlusterFS等。 为适应个性化数据源以及数据标准统一管理,基于标准模型扩展,提供对个性化数据源数据标准管理功能。 支持
19、对数据标准的新建、修改、删除等、分组管理与查询功能。 支持对数据标准的导出导入功能 支持按名称等条件的检索功能。l 交换配置主要包括:流程配置、业务调度、发布订阅配置、服务配置、路由配置、审计告警条件配置。流程配置:系统将数据交换过程定义为流程,通过基于WEB的可视化的流程配置器,即可完成数据交换过程开发,降低了数据交换业务的开发难度,提升了业务的灵活性。业务调度:系统提供多种调度模式:手动、按天、按月、按小时等。也提供自定义的高级调度模式。帮助用户根据业务需要指挥数据交换流程的运行。发布订阅配置:系统可以根据业务需求,进行周期性的业务数据发布,并可在全体、部门、节点范围灵活的配置发布范围。订
20、阅方可以根据发布说明,对订阅数据进行筛选和接收,实现周期性数据更新。用户可以通过平台数据缓存,获取历史发布数据,避免数据不完成的问题出现。服务配置:系统提供服务的代理功能,能够将原始服务进行配置与代理。提升服务的应用范围。路由配置:系统提供自动路由管理功能,用户无需关注底层路径配置,但可监控路由配置情况。平台提供了对路由的手工配置功能,增加了底层的灵活性,当存在特殊的网络配置或特殊业务需求时,可以使用手工配置功能对现有路由进行调整。审计告警条件配置:系统为解决大量业务运行时,审计与告警信息的有效性问题,提供了审计告警条件配置,用户可根据业务需要,设置合适的审计条件与告警级别,避免用户被不关注的
21、业务告警信息淹没。l 传输模块消息中间件承担在外网上传输数据信息的重要职责,亦是连接各级数据交换管理平台与各个数据采集工具的主要数据通道。消息中间件为各个相关信息系统与信息共享与交换平台之间的数据传输提供了可靠保证。消息中间件的消息传输一次且只有一次,是可靠的传输,其可靠性主要反应在消息中间件许多内建功能的可靠上。即使在网络阻塞,物理链路暂时中断,甚至主机宕机等严重情况下仍然可以通过续传保证数据不丢、不重、不错的传送到接收节点。 断点续传消息中间件针对不稳定的网络提供断点续传能力,当发送较大文件时,会自动拆分为数据库包,若出现高优先任务或者网络中断时,可以暂时停止传输。当可以继续传输时,可以从
22、上次中断处继续传输,而不需要重新发送。TCP/IP、UDP等协议是网络通迅的基础协议,作为传输模块,自然予以全面支持。HTTP/HTTPS是互联网Web应用的基础协议,也全面予以支持。但除了这些基础性协议以外,传输模块还提供对如下协议的支持:IIOP、RMI、WebDav等。消息中间件支持标准的安全协议SSL(Secure Socket Layer)。SSL(Secure SocketsLayer,安全套接层)是由Netscape公司开发的网络安全传输协议,是目前INTERNET上点到点之间尤其是Web浏览器与服务器之间进行安全数据通讯所采用的最主要的协议。当数据在网络上传播的时候,通过使用
23、SSL 对其进行加密和保护。SSL可以让一个客户和服务器以协商好的安全和认证级别来进行通信。当一个连接被初始化时,SSL需要协商好一个对称(symmetric )的session key和认证级别。这个对称的key是用来加密和解密数据的。在连接正在被建立的时候,还需要进行客户/服务器的认证。当协商完成后,客户和服务器可以通过加密数据,以一个安全的方式进行数据传送。IETF(www.ietf.org)将SSL作了标准化,即RFC2246,并将其称为TLS(Transport Layer Security),从技术上讲,TLS1.0与SSL3.0的差别非常微小。金蝶消息中间件支持SSL3.0/TL
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 电子 数据 交换 平台 设计方案
链接地址:https://www.31ppt.com/p-5147707.html