大数据环境监测云平台解决方案.docx
《大数据环境监测云平台解决方案.docx》由会员分享,可在线阅读,更多相关《大数据环境监测云平台解决方案.docx(53页珍藏版)》请在三一办公上搜索。
1、环境监测云平台解决方案目 录1项目背景31.1背景概述31.2需求分析32总体设计42.1逻辑架构设计42.2物理拓扑设计62.3平台主要功能设计73前端数据采集设备93.1水质因子数据采集设备93.2土壤因子数据采集设备103.3空气污染因子数据采集设备113.4室内PM2.5、甲醛数据采集设备123.5室外PM2.5数据采集设备144数据网络传输144.1物联网无线通信144.2高并发实时数据接入165中心大数据云平台165.1万物云平台165.1.1万物云架构165.1.2平台优势分析185.1.3数据整合195.2cStor云存储平台205.2.1云存储架构205.2.2平台优势分析2
2、15.2.3数据管理模块225.3cProc云处理平台245.3.1云处理架构245.3.2平台优势分析255.3.3数据立方技术275.4DataSense数据挖掘平台295.4.1数据挖掘架构295.4.2数据挖掘功能305.5环境云承载平台366平台主要应用功能376.1常用功能及展示376.1.1GIS地图展示376.1.2常用报表功能(日报、周报、月报等)386.2基于实时预警的环控应急处置426.2.1空气质量监测426.2.2空气质量发布426.2.3空气质量预警436.3基于数据挖掘的污染源追踪446.3.1污染物演化预测446.3.2污染物数据追踪456.4基于数据管理的辅助
3、决策456.5移动终端服务467案例分享487.1PM2.5云监测平台487.2城市市千灯镇环保空气在线监测平台497.3江苏省环境监控系统固定风险源视频监控联网集成及存储设备498预期效益518.1经济效益518.2社会效益519联系我们531 项目背景1.1 背景概述随着空气污染程度日趋严重,公众对于空气质量的关注度不断提升,由于数据信息化工作仍处于低端水平,使得空气质量的监测重要性日益突出。针对环境的监控和治理需求,南京云创大数据科技股份有限公司打造的“环境监测云平台”,实现对环境质量的全面管控。“环境监测云平台”通过特征因子传感器结合最新云技术监测系统,既能够解决资金投入问题,同时满足
4、一定的测量精度,构建前端高性价比的空气、水质、土壤等环境质量特征因子采集设备和中心端大数据云计算支撑平台,为环保部门、高校企业等应用场所提供完善的应用服务、技术支撑、预测预警、辅助决策等功能,更好地为环境质量的保护与治理贡献力量。1.2 需求分析结合当前环保监测实际情况,目前 “环境监测云平台”主要需求如下: 前端数据采集主要包括:室内PM2.5、甲醛等,室外PM2.5、空气污染因子、水质情况、土壤污染等大量不同种类的数据; 平台在大数据的基础上,建立对数据的深入分析和挖掘体系,为整体平台做最优化支撑; 针对目前应急管理制度,缺乏有利的数据支撑,需要建立基于技术手段的污染预警和预测机制; 支持
5、多终端访问,图形化展示各类空气质量数据,支持实时数据展示、历史数据呈现、大数据应用体验等功能; 接口协议标准开放,可以轻松与第三方现有应用对接集成,便于横向和纵向的扩展。2 总体设计2.1 逻辑架构设计“环境监测云平台”方案着眼于环保大数据相关领域,包括环保大数据的采集、存储、处理、挖掘、展示等。采用“互联网+环保”的思路,解决方案总体架构如下图所示。总体逻辑架构图整个架构由四层组成,从下往上依次为:数据源:本层是环保数据的采集,包含现有业务系统数据的抽取、环境监测站的数据、部署大规模的环境传感器的数据、PM2.5传感器数据、水质监测站数据、土壤传感器数据、人工现场采集数据、移动监测仪数据、以
6、及视频数据等。物联网技术已经比较成熟,在环保行业已有大量应用,我们建议在现有范围内更大规模部署环境监测传感器。云平台层:本层包含解决海量环保数据存储问题的分布式云存储平台,环境云、万物云平台,以及实现IaaS、PaaS甚至SaaS功能的云计算平台等。可以将省、市、区县各级的环保业务应用系统部署在统一的云计算平台上,实现业务系统的快速部署上线,实现资源弹性供给,有效降低总体拥有成本。万物云提供海量实时传感器大数据托管服务,实现了大规模物联网传感器的实时数据传输、处理、存储、数据挖掘等功能。万物云平台支持主流的HTTP、MQTT等协议使得传感器通过无线网络将数据可靠传输到平台服务器,用户可在这些协
7、议的基础上实现传感器与万物云的互联,为用户提供一个涵盖数据采集、可靠传输、大数据存储和处理的完整解决方案。大数据层:本层实现了基于数据立方技术的大数据库,基于分布式技术的大数据的挖掘、分析,该层主要对各类数据进行处理分析,为业务应用层提供服务。数据立方是一种高效分布式海量数据的云处理软件,具有从TB至PB级的数据中挖掘出有用的信息并进行快捷、高效处理的能力,同时支持数据仓库存储和商业智能分析等业务。目前已大规模商用。在中国联通某省安全生产运行了三年,仅用了400多台服务器,就支持了1亿手机用户形成的15Gbps的信令数据流的实时处理,每天新增100亿条记录。应用层:环保业务应用包含了已有或新建
8、的各类业务应用系统、门户网站、移动业务、App等。应用层提供了不同角色人员(公众、企业、专家、环保部门等)获取环保信息、服务环保事业的窗口。互联网技术,特别是移动互联网在环保产业中的广泛深入应用,对于促进环保信息公开、激发公众参与环保、促进环保事业快速发展有着积极作用。建议将更多的信息向公众开放,将更多的功能提供给公众、企业。通过多种渠道、方式汇集的海量环保数据如何实现高效、低成本存储,如何对海量环保数据进行快速处理分析,从海量数据中挖掘有用有价值的信息,对信息价值和保密级别进行分类等,这些依赖于大数据的存储和大数据处理技术。本方案主要涉及环境数据采集、环保大数据存储、环保大数据的处理分析以及
9、智慧环保新应用。存储采用云创自主创新的cStor分布式存储,它可以支持PB级甚至EB级海量数据的存储;大数据处理分析采用云创数据立方,实现海量环保数据的快速处理;大数据挖掘采用云创DataSense分布式数据挖掘技术对海量环保数据进行深度挖掘。通过大数据技术促进环保行业的创新发展,充分利用环保大数据,挖掘其价值,促进环保大数据的广泛、深入应用。2.2 物理拓扑设计整个“环境监测云平台”是基于云计算分布式架构,利用最新的大数据技术而设计规划的,主要包括前端数据采集设备、环境监控云平台和客户端等相关模块,具体架构如下图所示:“环境监测云平台”总体架构图在进行“环境监测云平台”设计时,主要结合当前环
10、保现状,重点考虑到了以下几点:1、前端数据采集包括内容涵盖主要的空气、水质、土壤相关环境数据,针对室内主要有PM2.5和甲醛,针对室外主要有PM2.5和其他大气污染因子(如:H2S、 NH3、 NO2、SO2等);针对水质主要是有水质监测(如:COD、氨氮、总磷、总氮、六价铬、总铬、pH值、悬浮物、浊度、溶解氧、氰化物等)和水雨情监测(如:雨量、水位、流量等);针对土壤主要是土壤情况的监测(如:光照、湿度、温度、pH值、土壤硬度等)。2、鉴于系统可扩展性考虑,“环境监测云平台”提供开放性的标准接口,需要与第三方平台进行对接;3、“环境监测云平台”为统一监测平台,平台的数据量会随着时间和平台的不
11、断拓展而逐渐增多,所以要求底层大数据库和存储系统采用云计算分布式架构,以具有优异的横向平滑扩展性;4、“环境监测云平台”具有良好的用户体验,支持PC客户端、手机客户端、平板客户端等多终端用户的访问使用。2.3 平台主要功能设计(1)实时数据入库实时数据入库主要负责部署所有监测点产生的各类空气、水质、土壤环境因子数据实时存到监测平台数据存储中心。 (2)数据存储海量原始数据,将全部存储在“环境监测云平台”的分布式文件系统中,用于大数据存储。为了满足和适应数据量、数据特征和查询处理的不同需求,部分存储于关系型数据库中。(3)数据查询应用数据查询分析应用提供包括实时监控,查看历史记录和分析数据等功能
12、。历史查询处理时,由于数据量巨大,需要调度使用云计算技术管理多台服务器节点进行并行处理。(4)实时预警对环境各个指标设置对应的域阀值,超过该值超过一分钟等就第一时通过邮件,App推送,或者短信等形式通知行政执法人员,给管理部门迅速出动,及时阻止破坏环境保护的行为。(5)数据管理在实际使用中,可能用户会对某一时间段或者类型的数据特别关心,就可以通过数据管理系统查询并导出这部分数据以供使用。(6)数据挖掘分析通过大数据分析挖掘,对海量环保数据进行深度学习和应用挖掘,进行一定的分析研判,预测应急,辅助领导决策。(7)开放接口平台对外提供标准化开放接口,支持第三方平台对接调用。3 前端数据采集设备3.
13、1 水质因子数据采集设备水质监测系统主要包括水位计、超声波流量计、多参数水质分析仪、数据采集遥测系统、供电系统、监控管理软件等几部分组成。水位计、超声波流量计和多参数水质监测设备实时采集各项水质参数,通过遥测单元,将数据实时报送给监控中心或移动监控终端。在组站上有地面站和浮标站等多种灵活的组站方式,通讯方式支持短信/GPRS、有线、卫星等多种模式。系统工作主要按三种方式来触发,系统的定时触发、系统增量触发和系统查询应答。水质因子数据采集设备组成示意 水质因子数据采集设备的主要特点有:1、 采用国际先进的监测、分析及控制技术,达刭国际先进水平,并能够通过升级保持先进性及各项技术的稳定性、成熟性;
14、2、 同时需满足现场操作简单扼要,易于运行维护及错误判断等要求,可靠性设计始终被放在优先考虑的位置;3、 设备设计从多方面保证系统的安全性,包括设备对故障的良好恢复能力,设备数据的安全以及操作的安全;4、 具有良好的兼容性和可扩展性,轻松实现后续新设备的添加;5、 使用便捷,操作简单,易于管理;6、 设备采集上报数据接口标准化,便于与其他应用系统对接。3.2 土壤因子数据采集设备通过对影响土壤环境质量因素的代表值的测定,确定环境质量(或污染程度)及其变化趋势。我们通常所说的土壤监测是指土壤环境监测,如:光照、湿度、温度、PH值、土壤硬度等等,其一般包括布点采样、样品制备、分析方法、结果表征、资
15、料统计和质量评价等技术内容。土壤监测设备外观图图为土壤监测传感器土壤监测传感器方便于土壤多环境的测量研究,具有携带方便,密封,高精度等优点,是土壤监测测量的立项选择,其中土壤温度部分是由精密铂电阻和高精度变送器两部分组成。变送器部分由电源模块、温度传感模块、变送模块、温度补偿模块及数据处理模块组成,彻底解决铂电阻因自身特点导入的测量误差,变送器内有零漂电路和温度补偿电路,对使用环境有较高的适用性。土壤采集设备的特点有:1、本传感器体积小巧化设计,测量精度高,响应速度快,互换性好;2、密封性好,可直接埋入土壤中使用,且不受腐蚀;3、实时温度监测功能,可测量不同深度土壤的温度;4、土质影响较小,应
16、用地区广泛;5、测量精度高,性能可靠,确保正常工作,响应速度快,数据传输效率高;6、价格低廉,适合中国国情。 3.3 空气污染因子数据采集设备在存在空气污染和安全隐患的区域,部署空气污染因子气体采集监测设备,监测污染和危险气体的含量,中心云计算平台可以查询空气质量实时和历史数据,设备架构图如下所示: 空气传感器采集架构 设备安装部署图如下所示:空气质量监测箱外观图 内部实体图如下所示:气体监测箱内部图每个气体监测箱内部可部署不超过4种的气体采集模块,例如:H2S、 NH3、 NO2、SO2、可燃气体等,根据实际部署区域需要,可按需调控增减模块数量,构建适宜的前端气体监测箱。除了气体监测设备外,
17、如果有需要,也可以提供水质、土壤、微生物、电磁、固废、辐射、噪音等相关的前端传感采集设备。3.4 室内PM2.5、甲醛数据采集设备当今社会空气污染日益严峻,人们的对环保的认知也逐步提升,愈发关注环境问题,尤其是自己生活区域的空气质量。比如:室内PM2.5是多少?家里家具甲醛是否超标?装修好的房子什么时候可以入住?新进的家具有没有问题?什么时候可以开窗?空气净化器有没有用?针对这一现象,南京云创大数据给出了很好的解决方式,以极高的性价比让室内的PM2.5和甲醛“看得见”,我们形象地将其称为“环境猫”。“环境猫”外观图作为空气质量监测设备,首先强调的就是传感器的精准度。“环境猫”室内空气监测仪,基
18、于昂贵精准的传感器(核心原材料从英国进口),可以准确测量室内的甲醛与PM2.5。下图显示了云创监测设备与环保厅官方采集数据的长时间对比图:“环境猫”数据准确度对比3.5 室外PM2.5数据采集设备室外PM2.5云监测设备需用到先进的PM2.5传感器。每套监测系统部署多个PM2.5传感器,当任意一个或者几个传感器出现问题,传感器冗余,保证环境监测系统正常运行,保证本监测点的环境监测数据的可重复。室外PM2.5云监测设备外观室外PM2.5云监测设备需主要是由电源模块、采集模块和通信模块组成,前端内部架构具体详见下图:室外PM2.5云监测设备内部架构室外PM2.5云监测设备采用先进的传感器、低功耗单
19、片机技术和网络通讯技术相结合,具有数据存储功能,可提供方便的数据查询方式,通过GSM、3G等通讯方式及时上传环境监测数据。4 数据网络传输4.1 物联网无线通信前端设备的通信基于物联网的方式进行设计,并且考虑到安装设备地点的不可控,传输距离可能很大,同时数据流量一定的情况下,选择GPRS无线通讯方式进行数据的无线传输。具体的数据传输的网络示意图详见下图。物联网无线通信数据传输前端设备通过传感器,采集到相关的数据,数据基于TCP/IP协议,经过GPRS的数据传输,通过移动网络传输数据,利用公网的服务器接受数据,然后将数据进入云平台后,进行数据的处理,最后通过WEB服务器等方式将数据展现出来。注意
20、:每个前端设备有一个供应商的SIM卡进行数据通信,该SIM卡需要有GPRS业务,同时使用的地点必须有供应商的信号。例如使用中国移动的SIM卡,该卡需要有GPRS的业务,同时放置空气质量测试前端的地点需要有中国移动的信号才可以正常的通信。4.2 高并发实时数据接入“环境监测云平台”作为海量环境数据的汇聚平台,支持: 前端数据传输支持数据自动上传及按需上传两种模式,单台服务器并发数据提交处理性能高,可弹性规模扩展 前端服务器,手机同时在线量2000到6000 高并发、低延迟设备数据提交 设备规模支持按需弹性扩展数据采集形式前端采集设备/平台采集的环保监控数据参数通过GPRS等有线/无线方式传送到数
21、据接入服务 ,通过“环境监测云平台”的智能分析处理,将实时的预警信息通过邮件,APP推送,短信提醒等方式发送给行政执法者,通过空气质量监测预警平台与原有的视频监控平台结合更能够及时的摄录破坏环境的违法行为,真正做到执法有依据,违法必究的目的。对海量历史和实时数据的智能分析,最终通过web网页,移动终端展示给最终用户,为客户科学分析环境污染趋势,为决策制和行政执法人员最好环境保护的信息化技术支持工作。5 中心大数据云平台5.1 万物云平台5.1.1 万物云架构万物云提供海量实时传感器大数据托管服务,实现了大规模物联网传感器的实时数据传输、处理、存储、数据挖掘等功能。万物云平台支持主流的HTTP、
22、MQTT等协议使得传感器通过无线网络将数据可靠传输到平台服务器,用户可在这些协议的基础上实现传感器与万物云的互联,为用户提供一个涵盖数据采集、可靠传输、大数据存储和处理的完整解决方案,万物云架构如图所示:万物云架构图万物云底层是分布式海量弹性分布式数据存储和计算架构,在其之上构造了一个面向智能硬件和物联网应用的数据存储和数据处理的服务和业务逻辑层,并提供一个基于HTTP协议的RESTFul应用服务调用接口以及一系列覆盖各主流语言和平台的应用程序编程接口,包括Linux、iOS、Android系统和Java、Python、C#、Scala、PHP、Ruby、Node.js等编程语言。万物云服务按
23、功能可分为数据存储托管服务和数据处理应用服务。数据存储托管服务提供海量、弹性、安全、高可用和高可靠的云存储。数据处理和应用服务提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域。万物云主界面5.1.2 平台优势分析万物云服务按功能可分为数据存储托管服务和数据处理应用服务。数据存储托管服务提供海量、弹性、安全、高可用和高可靠的云存储。数据处理和应用服务提供针对TB/PB级数据、实时性要求不高的分布式处理能力,应用于数据分析、挖掘、商业智能等领域。万物云主要有如下技术优势:1. 简单易用的综合平台万物云提供丰富并且高质量的文档、代码以及视频帮助用户快速的
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 环境监测 平台 解决方案
![提示](https://www.31ppt.com/images/bang_tan.gif)
链接地址:https://www.31ppt.com/p-3839374.html