政务大数据交换共享平台建设方案课件.pptx
《政务大数据交换共享平台建设方案课件.pptx》由会员分享,可在线阅读,更多相关《政务大数据交换共享平台建设方案课件.pptx(90页珍藏版)》请在三一办公上搜索。
1、智慧政务大数据交换共享平台建设方案,政务大数据交换共享平台建设方案,议程,政务大数据交换共享平台综述,1,政务大数据交换共享平台总体架构,2,政务大数据交换共享平台演进路线,3,政务大数据交换共享平台一期实施重点,4,附录:数据质量管理平台,5,智慧城市管理分析类应用建设现状基本分析,关注的内容,存在的问题,基本的现状,智慧城市数据仓库累积数据没有充分利用缺乏面向整个智慧城市的统一、完整的数据视图;缺乏支撑智慧城市日常业务运转的风险评估体系;缺乏智慧城市客户360度视图,客户行为分析和预测无法实现;缺乏面向金融业务运营管理的关键绩效指标体系;,智慧城市已建立面向整个智慧城市业务的数据仓库,整合
2、了前台业务运营数据和后台管理数据,建立了面向智慧城市的管理分析应用;智慧城市已开展供智慧智慧城市、大数据等多种业务,积累了一定量的业务数据,同时业务人员也从客户管理、风险评级和经营规模预测等方面,提出了大量分析预测需求;,数据平台、数据应用、数据管控,基础数据平台和BI应用建设是未来一段时间的重点!,数据平台整体架构; 数据平台各层建设的标准; 较成熟的金融业数据模型; 数据质量治理; 元数据管理; 数据标准建设 数据整合; 数据应用建设; 数据平台的软硬环境,政务大数据交换共享平台建设目标,站群集约化管理,全渠道集约化管理PC/移动端/微博/微信/触摸屏,平台集约化管理,组织集约化管理,服务
3、对象集约化管理,运维的集约化管理,权限安全集约化管,信息资源集约化管理,政府门户网站网站是指基于顶层设计的,技术统一,功能统一,结构统一,资源向上归集的一站式、面向多服务对象、多渠道、多层级、多部门政府门户网站集群平台,由多个构建在同一数据体系上的门户网站群构成,政务大数据交换共享平台建设目标,外部非结构化数据,统一制定目标和分析模型,自定义报表工具行列的简单定义方式,多种格式报表,集团决策层,集团职能管控层,各级业务操作层,关注集团主要经营指标,业务人员使用BI应用实现业务协作和创新,BI 分析工具,大数据服务系统,POP系统,其他业务系统,云数据推送平台已实现了主要智慧城市及金融业务系统数
4、据清洗、整合,为未来智慧城市数据平台提供了丰富的数据源。,通过数据平台和BI应用建设,智慧城市将搭建统一的大数据共享和分析平台,对各类业务进行前瞻性预测及分析,为集团各层次用户提供统一的决策分析支持,提升数据共享与流转能力,采购管理系统,查看职能部门的业务经营情况,政务大数据交换共享平台建设预期收益,2.加强业务协作,实现分散在智慧智慧城市、大数据、物联网等各个业务系统中的数据在数据平台中的集中和整合,建立单一的产品、客户等数据的政府级视图,有效促进业务的集成和协作,并为政府级分析、交叉销售提供基础,3.促进业务创新,智慧城市业务人员可以基于明细、可信的数据,进行多维分析和数据挖掘,为金融业务
5、创新(客户服务创新、产品创新等)创造了有利条件,4.提升建设效率,通过数据平台对数据进行集中,为管理分析、挖掘预测类等系统提供一致的数据基础,改变现有系统数据来源多、数据处理复杂的现状,实现应用系统建设模式的转变,提升相关IT系统的建设和运行效率,5.改善数据质量,从中长期看,数据仓库对智慧城市分散在各个业务系统中的数据整合、清洗,有助于政府整体数据质量的改善,提高的数据的实用性,通过数据平台实现数据集中,确保智慧城市各级部门均可在保证数据隐私和安全的前提下使用数据,充分发挥数据作为政府重要资产的业务价值,1.实现数据共享,政务大数据交换共享平台建设预期收益,工商,质监,司法,业务接口库,单点
6、登录,政务大数据交换共享平台建设预期收益,全媒体类型的双向互动全渠道(PC、手机、电话等)的对话服务全天候(7x24)无休息服务,智能语义理解百姓体智能转换深度神经网络算法,自定义专业知识库自定义词库词典自定义敏感词管理人性化机器人角色,议程,政务大数据交换共享平台综述,1,政务大数据交换共享平台总体架构,2,政务大数据交换共享平台演进路线,3,政务大数据交换共享平台一期实施重点,4,附录:数据质量管理平台,5,政务大数据交换共享平台总体架构,互有智能交互路由,微官网,栏目管理,云模板,信息发布管理,控件管理/风格,微信/微博管理,粉丝管理,消息管理,发微博,菜单管理,素材库,知识库,资源库,
7、业务接口库,内容管理,交互管理,知识管理,接口服务管理,集群管理,单位管理,账号管理,渠道管理,用户角色管理,系统管理,系统参数,系统权限安全,统计分析系统,其他服务接口,人工客服,业务应用系统,政务云,智能客服,政务大数据交换共享平台总体架构,历史数据查询,数据交换平台,应用集市数据区,智慧智慧城市,大数据服务,智慧城市物联网,智慧社会,系统,政府内外部半结构化、非结构化数据,大数据交换组件,数据库数据交换组件,数据区数据交换组件,大数据区,沙盘演练数据区,实时数据区,客户主题,协议主题,产品主题,业务沙盘演练,数据增值产品,智慧城市数据,供应链数据,增值产品数据区,主题数据区, ,用户访问
8、层,客户汇总,账户汇总,机构汇总, ,社交媒体,移动互联,用户评价,访问日志,处理后大数据,待处理大数据,流程调度,监控告警,数据标准,数据质量,元数据,数据安全,流程调度平台,数据管控平台,流程调度层,实时数据查询,客户管理,财务管理,外部用户,贴源数据区,内部管理分析,内部用户,历史归档数据区,IT人员,风险管理,政务大数据交换共享平台总体架构数据产生层,内部业务系统产生的结构化数据智慧城市日常智慧城市业务处理过程中产生的结构化数据,存储在关系型数据库中,如:供应商信息、采购信息、商品信息、销售流水智慧城市日常业务处理过程中产生的结构化数据,存储在关系型数据库中,如:客户信息、账户信息、金
9、融产品信息、交易流水政府内部非结构化数据日常业务处理过程中产生的非结构化数据,存储形式多样,主要包括用户访问日志、用户投诉、用户点评政府外部数据政府外部数据以非结构化为主,主要包括国家政策法规、论坛等互联网信息、地理位置等移动信息、微博等社交媒体信息,源数据内容,在本次项目实施中将采用以增量为主、全量为辅结合的方式获取源数据智慧城市和智慧城市业务系统的数据增量数据识别、获取由云数据推送平台负责,云数据推送平台采用分析、对比源系统日志方式实现对于无法通过上述方式获取增量的源系统数据,则采用某一个时间范围内的全部数据作为增量初始数据加载均采用全量模式,源数据增量,政务大数据交换共享平台总体架构数据
10、交换层,数据交换层设计目标,传输组件是根据数据源存储的不同分类而设计的,本质是通过分析数据存储结构和数据存储库的特点来针对性的设计工具,以追求卓越的性能,数据区数据交换组件,数据库数据交换组件,大数据交换组件,智慧城市系统,数据服务层,外部大数据,智慧城市系统,Hadoop元数据,云数据推送平台,数据平台导入临时区,数据平台导出临时区,NAS 存储,ETL程序区,政务大数据交换共享平台总体架构数据交换层NAS存储,Hadoop集群元数据区,数据平台ETL数据处理程序区,数据平台临时数据区,存储数据平台各个Hadoop集群的元数据信息,如:HDFS文件系统元数据,集团数据交换平台每日获取运输局推
11、送平台提供的业务系统变化数据,暂存在NAS临时数据区金融数据平台加工计算结果返回给业务系统,暂存在NAS临时数据区,数据平台ETL加工处理程序(数据压缩、数据加载、各数据数据处理等)统一存储在NAS集群指定目录,各接口服务器通过文件系统Link建立映射,政务大数据交换共享平台总体架构数据交换层大数据交换组件,政府内部非结构化、半结构化数据,如:音频、视频、邮件、Office文档、抵押品扫描件等政府外部非结构化、半结构化数据,如:微博、贴吧、论坛、用户点击流、用户移动位置等,批量采集:大数据源以SFTP协议批量传输数据文件在线访问:开发Java或C应用,调用大据源API,或以网络平台爬虫方式抓取
12、源系统非结构化、半结构化数据,组件以实时和批量两种模式实现下列功能:数据采集数据传输到数据交换平台(接口服务器)NAS指定目录存储数据到数据平台大数据区指定HDFS目录,定时抽取用户访问日志,加载到数据平台大数据区HDFS指定目录,MR程序加工处理开发网络爬虫程序,扫描用户微博,抓取用户微博内容,社交圈信息,存入大数据区,政务大数据交换共享平台总体架构数据交换层数据库数据交换组件,政府内部业务系统产生的结构化数据,包括两大来源:智慧智慧城市业务数据,数据存储在Oracle、SQLServer、MySQL和MongoDB四类数据库智慧城市互联网金融业务数据,数据存储在MySQL数据库,Perl程
13、序数据采集,调用Perl文件模块相关函数,轮询指定目录,获取数据文件数据核查,Perl执行文件级数据质量检查数据加载,调用Hive Load数据命令,加载到数据平台临时数据区的Hive Table,组件以实时和批量模式实现下列功能:数据采集,轮询NAS集群指定目录,获取数据文件(LZO压缩)数据核查,对数据文件进行质量校验数据加载,加载数据到临时数据区,云数据推送平台连接大数据服务系统数据库,分析大数据服务MySQL数据库日志,识别增量数据,存储到金融平台NAS存储的指定目录,金融平台加载数据文件到数据平台临时区Hive表,政务大数据交换共享平台总体架构数据交换层数据区数据交换组件,数据平台计
14、算层各数据区贴源数据区主题数据区集市数据区沙盘数据区大数据区归档数据区,Sqoop实现集市数据区与数据平台其他Hadoop数据区的数据交换Hadoop 命令、Hive外部表、MR程序实现数据平台Hadoop数据区间的数据交换,组件以批量方式实现下列数据交换功能:贴源数据区和主题数据区到集市数据区大数据区到主题数据区和集市数据区主题数据区、贴源数据区、集市数据区到沙盘数据区各个数据区数据归档,数据集市的数据按照据生命周期规划,统一将过期数据归档到历史数据归档区,政务大数据交换共享平台总体架构流程调度层批量处理流程,批量数据处理由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完
15、成如下工作:获取业务系统结构化数据,存入临时数据区获取政府内外部非结构化数据,并进行结构化处理,存入主题或集市数据区按照贴源数据模型整合数据(标准化、数据更新/追加)按照主题数据模型整合数据并生成汇总数据加工计算后,结果交付到数据集市,支持分析类应用,政务大数据交换共享平台总体架构流程调度层实时数据处理流程,实时数据处理强调的是实时或准实时获取并处理数据,通常采取消息队列等技术构建“数据流”整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作:通过数据库数据交换组件获取增量数据,加载到实时数据区通过大数据交换组件获取非结构化数据,并利用Storm处理数据
16、,加载到实时数据区针对实时数据区数据执行标准化处理和贴源整合,政务大数据交换共享平台总体架构流程调度层归档数据处理流程,数据归档的对象包括业务系统数据文件、贴源数据区数据、主题数据区数据、大数据区数据和集市数据区数据数据按照生命周期规划存储到归档区Hadoop集群,归档后原数据区删除此数据整个处理流程由流程调度层部署的自定义开发WorkFlow组件调度运行整个流程主要完成如下工作:数据文件通过HDFS命令行copyfromlocal进行归档贴源、主题和大数据区通过HDFS命令行distcp或自定义开发的MR程序执行归档集市数据区通过Sqoop或数据库提供的Hadoop集成技术(如:外部表)执行
17、归档,政务大数据交换共享平台总体架构数据存储层,业务系统前日增量数据缓存数据,支持后续ELT数据处理,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,平台要求,贴源数据模型保存最近7天数据,贴源数据区和主题数据区批量作业访问无最终用户访问,I/O敏感,连续小批量的数据抽取和加载少量量数据使用Hive的Load命令,大量数据使用MR程序,与主题区/贴源区/集市区构成一个Hadoop集群(Hive)无单点故障,724小时+非工作日有限停机,主题数据区、集市数据区和沙盘演练数据区批量作业访问无最终用户访问,I/O敏感,日终批量ETL以ELT形式通过Hive SQL执行,与主题区/贴源区/
18、集市区构成一个Hadoop集群(Hive)无单点故障,724小时+非工作日有限停机,贴源数据模型不保存历史,业务系统前日快照数据和一段时间的流水数据数据标准化,为后续主题模型、集市和沙盘演练提供数据,临时数据区,贴源数据区,政务大数据交换共享平台总体架构数据存储层(续),政府内外部非结构化、半结构化数据采集并存储数据,进行结构化处理,最终得到结构化数据,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,平台要求,数据按照HDFS文件存储建议保留1年,集市区/沙盘区/增值产品区/主题区/归档区批量作业访问少量高级业务人员进行大数据分析,MapReduce 分布式计算,半/非结构化数据的
19、结构化处理(包括文本检索、语义分词、图像识别、音频识别等),与主题区/贴源区构成一个Hadoop集群(HDFS)无单点故障,724小时+非工作日有限停机,集市区/沙盘区/增值产品区/主题区/高时效区批量作业访问业务人员执行历史数据查询,MapReduce分布式计算,HDFS命令实现Hadoop集群内归档,Sqoop实现数据库归档,通过Hive提供历史查询,独立的Hadoop集群(HDFS+Hive)无单点故障,724小时+非工作日有限停机,数据按照HDFS文件存储数据文件按照数据区划分目录,建议保留7年,其他各数据区历史数据按数据生命周期规划归档平台过期数据,支撑历史数据查询,大数据区,历史归
20、档数据区,政务大数据交换共享平台总体架构数据存储层(续),业务系统历史明细数据打破业务条线整合数据,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,第三范式模型保留长期历史,需要根据主题细化,主题区/集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测,I/O敏感,日终批量ETL (合并、拉链、关联、汇总等等)以ELT形式通过Hive SQL执行,复杂处理使用MR定制UDF,与大数据区/贴源区构成一个Hadoop集群(Hive)无单点故障, 724小时+非工作日有限停机,集市区/沙盘区/增值产品区/归档区批量作业访问少量高级业务人员进行灵
21、活查询、挖掘预测,I/O敏感,日终批量ETL (连接、聚合、汇总等等)以ELT形式通过Hive SQL执行,复杂处理使用MR定制UDF,与大数据区/贴源区构成一个Hadoop集群(Hive)无单点故障,724小时+非工作日有限停机,逆范式宽表依赖于集市数据需求,对主题数据预加工后的结果数据针对应用需求进行数据预连接、预汇总,为集市提供数据,主题数据区明细,主题数据区汇总,政务大数据交换共享平台总体架构数据存储层(续),按沙盘演练需求,准备的明细或汇总业务数据为数据科学家的挖掘预测操作提供数据服务,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,模型依赖于沙盘演练需求在整
22、个沙盘演练周期内保留,集市区/沙盘区/归档区批量作业访问少量高级业务人员进行灵活查询、挖掘预测,I/O敏感,终批量ETL (合并、拉链、关联、汇总等等)以ELT形式通过Hive SQL执行,复杂处理使用MR定制UDF,独立的Hadoop集群(HDFS)无单点故障,724小时+非工作日有限停机,沙盘区/归档区批量作业访问决策人员、管理人员、业务人员访问,I/O敏感型,BI工具提交的报表、查询、分析SQL命令和日终批量ETL(汇总、聚集等操作,以ELT形式通过SQL执行),基于开放平台的完全无共享 MPP 数据库集群+内存数据库无单点故障,724小时+非工作日有限停机,维度数据模型依赖业务需求,面
23、向政府内部管理分析类应用需求的汇总数据为客户、运营等管理分析主题和数据增值产品提供数据服务,沙盘演练数据区,应用集市数据区,政务大数据交换共享平台总体架构数据存储层(续),根据外部用户的数据使用需求数据平台加工计算的结果数据为部署在数据平台上的政府内外部增值产品提供数据支持,数据内容主要用途,数据模型保留周期,用户访问模式,工作负载,可用性要求,应用模型,依赖于用户业务需求依赖于用户业务需求,政府外部人员,如:客户通过自己部署在Paas平台上的应用访问,I/O敏感型,BI工具提交的报表、查询、分析SQL命令和日终批量ETL(汇总、聚集等操作,以ELT形式通过SQL执行),独立的Paas平台,部
24、署Hadoop集群无单点故障,724小时+非工作日有限停机,政府业务人员高时效、高并发、高可靠性的联机交易类查询,CPU敏感,BI工具或业务系统高并发、高时效查询,以及准实时连续ETL处理+SQL批量处理,独立的内存数据库集群无单点故障,36524小时不停机,贴源数据模型依赖用户业务需求,面向应用的业务系统快照数据和一段时间的交易流水为实时获准实时分析应用提供数据服务,增值产品数据区,实时数据区,政务大数据交换共享平台总体架构数据存储层数据流,数据集成层,操作型聚合数据,临时数据区,实时数据区,公共汇总数据,主题明细数据,结构化数据,非结构化&半结构化数据,沙盘演练数据区,实验室数据,集市数据
25、区,POP自营数据,贴源数据区,金融业务数据,主题数据区,客户管理集市,财务管理集市,运营管理集市,风险管理集市,集市,大物流系统数据,供应链系统数据,财务审计数据,财务研发数据,操作型明细据,归档数据区,大数据区,源系统数据文件,贴源数据,主题数据,集市数据,高时效数据,大数据,增值产品数据区,政务大数据交换共享平台总体架构数据应用层,大数据平台应用,针对公检法查询需求、内外部审计需求和最终用户的历史交易查询需求,以贴源存储的归档数据为基础,实现的查询类应用历史查询类应用通常使用BI 工具或自主开发实现,客户经理等最终业务人员针对当前业务的发生(如:用户交易、用户访问日志),进行实时查询、分
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 政务 数据 交换 共享 平台 建设 方案 课件
链接地址:https://www.31ppt.com/p-1570432.html