气象云应用框架ppt课件.ppt

气象云工程框架及应用-气象信息化必经之路,赵立成国家气象信息中心2014年11月3日,汇报提纲,现状及需求总体框架建设内容应用实践,通过多年发展，气象业务及政务信息化水平得到不断提高，各种业务 能力大幅提升。但问题也不少：信息化建设整体规划不力，统筹乏力，建设各自为政，重复建设多，功 能重复、数据重复、设备重复、场地重复；据不完全统计，全国信息系统及资源数量十分庞大。其中省级服务器 数量达到3993台、网站694个、业务系统1982个；国家级服务器数 量达到592台、数据库36个、网站49个、业务系统111个；无论国家级还是省级，业务流程复杂，资源应用效率不高等问题普遍 存在；繁重的系统维护与技术支持任务，耗费大量人力资源,一、现状及需求,1.气象信息系统现状,服务器3993台、网站694个、业务系统1982个，系统重复功能多，亟待优化,信息系统情况（省级）,一、现状及需求,服务器592台、数据库36个、网站49个、业务系统111个，系统间重复功能多、亟待优化,信息系统情况（国家级）,一、现状及需求,机房重复建设，设备资源重复，需要许多配套设施如：电力、消防、维护人员,业务功能碎片化；业务系统烟囱化；业务流程复杂化；业务系统：研发困难、部署困难、调整困难、维护困难。系统资源：获取困难、扩展困难。亟待解决！,机房情况（国家级）,谁都不愿见到的现实！,一、现状及需求,气象数据快速增长-观测数据、预测预报产品数据不断丰富，时空分辨率不断提高，数据容量 急速增长。-业务进入大数据时代，需要及时传输、快速存储、快速分析与应用服务。,数据反复搬家（移动）、存储，已成为一项十分昂贵的事情。,2.发展需求分析,一、现状及需求,现有业务模式：将数据移送到应用（客户端）计算、处理、分析应用。,现有模式数据和软件分布在用户端数据多次传输，多处存储问题与困难传输效率与成本存储能力与成本数据不一致导致业务问题,在大数据背景下，实现成本呈几何倍数增加，技术遇到困难。,一、现状及需求,不断发展的用户及应用新需求-智能终端、台式机器访问相同的数据，共享成果；-便捷高效，任何地点、任何时间、任何设备（PC、Laptop、PAD、Mobile),一、现状及需求,亟待发展新业务模式用户应用软件移至数据端用户通过网络(LANINTERNETWireless)访问工作环境(数据、分析数据的 IT资源),信息部门需要解决的问题 资源集约管理：IT资源、数据资源。实现高效服务：数据快速处理与服务，满足业务应用时效。提供移动应用：智能终端应用技术支持，实现移动应用。,一、现状及需求,2.信息技术发展的新趋势、,11,IT资源服务技术发展大趋势：集中到分散，再到集中,一、现状及需求,天下大事：合久必分、分久必合,-1996年,1996年 2013年,2013年,可行性分析 新技术应用成熟度 云计算技术已经成熟：集约化机房基础设施与IT资源构架（IaaS)，提供IaaS服务；依托IaaS建立应用开发技术平台（PaaS)，提供平台环境服务；在PaaS上运行数据分析处 理业务应用软件(SaaS)，提供SaaS服务。两大核心技术。资源虚拟化：一台机器虚拟为多台虚机，资源精细化利用。分布式架构：多台机器群集成一个系统，实现并行计算。,一、现状及需求,构建气象云，提高集约化水平，提高气象信息化水平。,国际标准正式颁布：2014年10月15日颁布。INTERNATIONAL STANDARD ISO/IEC 17788，Information technology Cloud computing Overview and vocabularyINTERNATIONAL STANDARD ISO/IEC 17789，Information Information technology Cloud computing Reference architecture 大数据技术开始实用：海量数据分布式存储与计算；非结 构化、半结构化数据存储与处理。数据管理的能力、数据 分析的技能、利用数据的思维。移动互联技术及应用：无处不在，技术十分成熟。,一、现状及需求,汇报提纲,现状及需求总体框架建设内容应用实践,运用：大数据、云计算、移动互联等现代信息技术通过：集约整合IT资源、数据资源，再造气象业务、政务流程建设：国、省两级气象云中心提供：业务应用服务、政务应用服务 数据资源服务、IT资源服务 统一运维服务、安全管理服务改变：业务条块化、功能碎片化、流程复杂化的局面实现：基础IT资源、数据资源、业务应用、政务应用的集约化 业务流程最优化 应用方式移动化 资源效益最大化,气象云构成：私有云(国家云、省云)+公有云,国家级云,国家级备份云,公有云,CMANet,千兆至万兆,CMANet,CMANet,CMANet,定位：“气象云”是气象业务与政务专业私有云，支撑气象业务、气象 政务应用及服务，向部委、行业用户、公众提供信息服务的平台。原则：私有云为主体、公有云为补充。架构：国家云+省云，两级构成。技术路线：方法：流程（业务、数据）再造、补充完善、性能提升等，构建数 据获取、加工处理、分析应用为一体，技术先进、功能完善、结构 合理、集约高效的云中心。基础：IT资源（计算、存储、网络、系统软件）、数据资源、业务 应用大集中，IT资源及数据资源充分共享、复用。核心：为气象业务、政务提供应用、数据、IT资源等服务与支撑。,CMANet,辽宁云,广东云,四川云,1个国家主中心（北京）,1个国家备份中心（上海）,31个省中心,备份国家主中心、省中心,气象云总体布局,两级构架：2个国家云中心（主备、双活）、31个省云中心。网状互联：云中心通过CMANet实现网状互联，进行数据交换与应用支持。分层服务：国家云中心整合国家级资源，面向国家级业务和用户提供服务；省级云中心整合省内资源，面向省内业务和用户提供服务。四级应用：国、省、地市、县，四级应用全部云-端化。,“气象云”是一朵云，不按网络区域、专业和服务对象划分子云。气象云通过四个网络域提供服务。业 务 网：宽带网+园区网，面向气象部门业务、政务应用提供服务 互 联 网：面向行业用户、公众提供数据及信息服务 政务内网：涉密政务、决策信息服务政务外网：部门外非密政务、业务应用与数据共享服务 注：网络只是提供服务的通道，云覆盖气象业务、政务信息化全流程,四个网络域提供的应用与信息服务,国家云与省云：国家备份云作为省云应急备份 能力设计考虑同时备份N个省云,气象云与公有云,汇报提纲,现状及需求总体框架建设内容应用实践,构建国、省两级云中心升级全国气象通信能力完善业务统一运维体系完善信息系统安全体系,三、建设内容,应用云计算、大数据、移动互联等技术，构建国家云中心与省云中心，建立气象业务的云+端的模式。,云：资源云化于国、省两级云中心，提供基础设施(IaaS)、平台环境(PaaS)、应用软件(SaaS)三层服务。端：服务调用轻量化，国-省-地-县4级终端应用；公众终端应用。,云中心资源建设内容应用软件层：(1)数据资源；(2)业务、政务应用（系统、软件）的云化改造 与云端部署；(3)移动互联APP服务。平台环境层：支撑气象应用软件开发和运行的中间件、运行环境等系统软件平台。基础设施层：按标准规范集约化的IT资源及机房设施，云运维及安全管理体系。,1.构建国、省两级云中心,数据资源：整合国、省两级数据资源，按照数据特性与应用需求，分别进行结构化、非结构化、半结构化数据存储与部署；以CIMISS为基础 进行技术升级改造，发展分布式数据存储检索及计算能力，提高系统响应时效，为实时业务及科研服务；以中国气象数据网作为外部用户大数据服务平台。逐步集约数据资源管理，集中提供唯一、权威、一致的数据服务。应用部署：逐一分析业务、政务应用需求，进行流程再造。部分直接部署云端运行、部分进行云端化适应性改造、部分提供APP服务。实现天气预报、气候预测、综合观测、公共气象服务、电子政务等应用云端化及协同运行。,1.构建国、省两级云中心,基础IT资源：按照统一技术规范整合、建设集约化的信息资源平台（服务器、存储、网络、系统软件）。整合现有资源：进行系统设备整合、技术升级 适当扩充资源：补充建设硬件及系统软件 进行资源池化：按业务网、政务网、互联网等应用，合理配置资源。,1.构建国、省两级云中心,机房基础设施：按照数据中心规范，在业务大楼建设相应规模面积机房、电力、空调、消防、监控等基础设施。,1.构建国、省两级云中心,云中心提供集约化IT资源、基础软件、数据、业务应用及移动应用APP服务,云中心架构与提供的分类服务,端,移动APP,业务应用,烟囱式建设,应用软件SaaS服务,用户及业务端使用方式：通过云桌面使用云端应用及数据通过云端API使用云端处理算法及数据通过移动APP使用云端应用及数据,端,平台环境层PaaS,平台环境PaaS服务,用户及业务端使用方式：通过平台层服务门户使用平台环境通过平台层API使用平台环境,基础设施IaaS服务,用户使用方式：通过IAAS服务平台自助式获取资源，部署应用通过IAAS服务平台在线提交资源申请，管理员分配创建资源，用户部署应用,基础设施层IaaS,数据服务及应用协同,数据存储,加工处理,快速检索,可视化计算,升级CIMISS,并行处理,应用协同,数据检索、应用协同、应用接口服务,大数据并行加工处理技术,数据和应用服务(SaaS)实现的技术路线,分布式,集中式+分布式大数据存储管理技术,2.升级全国气象通信能力,34,优化气象业务和政务的信息流程，整合IT资源和人员队伍，面向业务管理、政务管理和协同工作环境，建立云平台管理运维（统一云服务门户、统一云监控系统和统一云运维体系），支持各级管理、业务、科研和运维人员按需工作和协同工作。通过统一云服务门户，实现气象云资源自助申请、动态分配、实时监视、计量计费等自动高效管理。基于CIMISS综合监视系统（MCP），建立统一云监控系统，实现对 气象云及所承载的业务应用系统和政务应用系统全流程监视。通过建立国-省联动的统一云运维体系，组建专业运维团队，制定运维制度规范，采用标准的运维管理平台和资产配置库，保障气象云 稳定运行。,3.完善业务统一运维体系（云平台管理运维）,资产配置库CMDB,数据利用,数据收集和维护,业务建模,运维管理平台,资源池管理,资源调度管理,云管理平台,操作网关,审计日志,资源集中操作,集中监控子系统,可视化展现,业务影响分析,监控指标库PMDB,事件平台,统一性能管理,汇聚展现,统一云监控系统（CIMISS MCP）,网络及安全分监视,各业务系统分监视,政务系统分监视,基础设施分监视,气象云云资源监视,管理人员,业务科研人员,运维人员,统一云服务门户,云平台管理运维,建立统一完善的云安全体系，确保气象云高度安全。数据安全：通过分布式存储、灾备等多种技术，确保气象 数据安全。用户安全：通过技术手段和管理制度，确保用户数据、科研 成果安全。系统安全：通过网络划域，使用统一身份认证，启用访问 控制、入侵检测、安全加固、数据隔离等手段，确保气象 云的应用安全、物理安全、网络安全、主机安全达到要求。技术安全：核心设备使用国产化产品，强化安全基础。,4.完善信息系统安全体系（云安全体系）,37,国家云中心,机房场地基础设施,IaaS（IT基础资源）,计算,存储,计算资源池（虚拟、物理）,云基础资源集约化,并行计算框架,科研用户,SaaS业务应用,软件开发/测试环境,预报人员,开发人员,公众、非基本气象服务,办公 政务,中间件、数据库软件,存储资源池（集中、分布式）,应用安全,云安全体系,物理安全,网络安全,主机安全,数据安全,统一云服务门户,云平台管理运维,统一云监视系统,统一云运维体系,自助申请,动态分配,实时监视,计量计费,网络,IaaSIT资源,PaaS平台环境,气象业务应用云端支撑与协同（天气、气候、服务、观测）,电子政务,中间件与运行环境,数据资源,省云中心与国家云中心建设内容相同总体架构及功能一致按需设计规模及性能,国家云中心框架,端,云,汇报提纲,现状及需求总体框架建设内容应用实践,在过去二年，信息中心技术人员开展了基于云计算、大数据、移动互联等方面的技术开发及应用，取得了一定的进展，积累了一些经验。,试点建设，单一资源池，开始为大院用户提供IT资源服务。,吸引更多应用系统迁移到CMACloud。分类资源池精细化管理。基于CMACloud云架构的数据中心正在形成,2012年：自筹经费建立气象私有云CMACloud并投入示范应用。2013年：扩充CMACloud能力，扩大应用与用户；启动开发云平台管理系统。2014年：完善云平台管理系统，进行资源使用、运行监控与精细化调度。,1.云计算技术应用，CMACloud提供IaaS服务,四、应用实践,已为局大院12家直属单位及电子政务提供IT资源及平台环境服务，涵盖业务、政务、科研等方面，部署了总计137个业务应用系统（238台虚拟云主机及存储资源）。,资源使用精细化统计数据,中国气象报三次报道,43,基于API接口进行开发，采集云平台运行状态信息，实现关键云系统进程的实时 监控及告警，自动发现监控对象运行故障。除监控物理主机、云主机CPU、内存、磁盘IO等利用率外，增加监控云平台关键 运行参数：vCPU、vMem就绪时间、争用率、内存交换大小、IO等待时间。,CMACloud云平台管理系统,2.CIMISS统一国省两级数据环境,即将进行验收，投入业务运行。,首次实现国-省两级数据的统一和规范化管理。,为建设气象云奠定了弥足珍贵的数据资源基础。,直接支撑,气象数据统一访问接口、应用服务,3.CIMISS统一数据访问接口与应用服务（SaaS）,数据资源（异构/分布式/多源的数据库）,地面,高空,雷达,卫星,浮标,船舶,辐射,农气,统一的服务标准,调用方法,访问参数,返回格式,数据量纲,强大的计算功能,分布式计算,历年同期,实时渲染,等值线追踪,色斑图绘制,叠加分析,数据获取,数据统计,格式转换,模式数据解析,数据缓存,数据存储,丰富的服务手段,C/S服务,web service服务,REST服务,脚本服务,GIS服务,天气分析,数值预报,气候分析,气象服务,个人用户,国家和省级部署应用情况,集中式：Share Disk，采用高端设备（小型机和高端存储），很难水平扩展，只能硬件纵向升级；受制于磁盘IO瓶颈，系统性能难于大幅提升。,分布式：Share Nothing，融运算与存储一体，采用廉价设备堆叠出高性能、高扩展性和高可用的集群系统。,4.大数据技术应用：应用分布式技术进行大数据快速存储及检索,集中式数据库 VS 分布式关系型数据库,相同检索用例，检索性能提高10倍以上,价格节省近90%,扩展性强，节点数翻倍效率提升近4倍,集中式,VS,分布式,5.移动互联应用-桌面云应用示范,定位：面向局大院全部单位所有职工提供云桌面服务。进展：启动桌面云试点建设与使用，考核稳定性与安全性。已在信息中心内部测试、试用。能力：设计时考虑系统扩展性，上限容量按5000人设计，逐步向大院单位推广。,个人办公、业务计算机由云中心提供，个人不必在办公室配备电脑 支持用户随时（724）、随地以任何终端（PC笔记本Pad手机 云终端等）使用个人桌面！,结束语,51,机房场地基础设施,IaaS（IT基础资源）,计算,存储,计算资源池（虚拟、物理）,云基础资源集约化,并行计算框架,科研用户,SaaS业务应用,软件开发/测试环境,预报人员,开发人员,公共媒体,决策人员,办公 政务,中间件、数据库软件,存储资源池（集中、分布式）,应用安全,云安全体系,物理安全,网络安全,主机安全,数据安全,统一云服务门户,云平台管理运维,统一云监视系统,统一云运维体系,自助申请,动态分配,实时监视,计量计费,网络,IaaSIT资源,PaaS平台环境,气象业务应用云端支撑与协同（天气、气候、服务、观测）,电子政务,中间件与运行环境,数据资源,愿景:建立气象云、业务云端化,利用云计算、大数据、移动互联等信息技术构建“气象云”，是实现气象业务集约化发展首选技术 之道。技术方面已经成熟，在国家级大院也具备 实施的基础资源条件与一定的技术储备。,实现美好愿景，需要共同努力。强力统筹、大力 协作、观念更新，是绘就蓝图的保障。,信息中心正在进行“气象云”工程设计，计划本 月完成征求意见稿，在充分征求意见与论证的基 础上，推动气象云建设与服务，力争通过努力，从根本上实现气象部门信息系统集约化。,谢 谢！,