安全生产大数据智能平台.docx

安全生产大数据智能平台1. 项目建设的背景和意义1.1 项目建设背景2015年4月13日，国务院办公厅关于加强安全生产监管执法的通知（国办发201520号）要求各省、自治区、直辖市人民政府加快监管执法信息化建设。整合建立安全生产综合信息平台，统筹推进安全生产监管执法信息化工作，实现与隐患排查治理、风险管控、重大危险源监控、安全诚信、安全生产标准化、安全教育培训、安全专业人才、行政许可、监测检验、应急救援、事故责任追究等信息共建共享，消除信息孤岛。要大力提升安全生产“大数据”利用能力，加强安全生产周期性、关联性等特征分析，做到检索查询即时便捷、归纳分析系统科学，实现来源可查、去向可追、责任可究、规律可循。经过近几年的信息化建设，各省初步实现了基础设施信息化支撑，部分市、州安全监管机构完成了初步的信息化监管，省安监局进一步深入开展安全生产信息化建设和应用工作，为全省安全生产监管提供了有效的技术支撑保障。目前，省内部分地区建成安全生产监管基础业务系统，涵盖综合办公、行政审批、非煤矿山监管、应急预案与资源报备、安全生产隐患排查治理等多个业务门类，有效提升了安全生产执法以及政务办公效率，加强了安全管理和事故风险防控能力。目前，各省安全生产信息化建设中，首先是普遍缺乏统筹规划和标准规范，难以实现业务系统之间的互联互通和资源共享，造成“信息孤岛”，与重点安委会成员单位也没有实现信息互通；此外，业务系统功能不完善，尚未实现业务全覆盖，业务应用的深度不足，没有融入安全生产核心工作；最后，还存在基础支撑保障能力不足的问题，规章制度、队伍建设、设施设备等方面的不足影响了信息化的应用推进。面对全国依然严峻的安全生产形势和党中央国务院关于进一步加强安全生产工作的要求，各省需要加快实施安全生产监管大数据智能管控平台提升在安全生产领域中的数据治理与服务能力。1.2 项目建设意义大数据是创新安全监管监察模式的必然之路，构建“大数据、大支撑、大安全”的大数据管控平台，实现安全生产事故预测预判和风险防控“信息化、数字化、智能化”的目标。依托各省安监局现有数据中心建设成果，在先进的大数据技术手段的支撑下，建设省安监局安全生产大数据智能管控平台，实现“防、管、控”三大业务功能要求，创新安全监管监察方式方法，进一步强化对企业落实安全生产主体责任的监督管理。为安全生产监管监察和应急管理，为有效防范并遏制重特大事故提供服务和保障。安全生产大数据智能管控平台主要以安监大数据建模设计和可视化应用场景展现为方向，通过运用大数据的思维、技术、工具深入挖掘数据价值，实现大数据在安监业务方向的多维创新应用。 以事故数据为核心结合企业基础数据、隐患数据、风险数据、物联网数据、特殊时期数据、舆情数据、天气数据等多维度关联以及不同模型计算分析得出大数据预测结果、可能会发生相似事故企业预警、行业跟区域安全生产趋势。运用大数据技术提供科学的依据，做到事先预防、预警决策作用，有效防范并遏制事故发生减少经济损失提供服务和保障。具体如下：（1）整合安监数据中心与外部数据源以安监局数据中心的数据为主，构建以省局基础数据库为核心，建设智能管控平台与完善各类安全监管专业数据库，各市安全生产数据逐步实现与省局数据中心的实时同步。并引入外部数据源，比如工商、舆情、事故等其他单位的关联数据，尽可能多的丰富其他部门业务数据。建立具有各省安监特色的数据主题集。（2）建立开放性的扩展平台实现安监业务的数据服务场景；平台兼容可复制、可扩展、可移植的安监数据模型；兼容开源的可视化工具。利用前沿的渲染技术，加强整个平台的展示效果，实现直观、动态、互动、智能的可视化界面；实现安监大数据服务平台数据模型与可视化管理的基础框架，满足安监的业务扩展需求。（3）开发安监大数据场景服务以各省安监特色主题集为数据源，以数据模型及可视化基础框架为技术工具，以前沿的渲染技术为终端展现标准，结合各安监的实际业务及各个处室办公系统的数据状况，开发并实现安监特色的大数据场景服务。使安监所有的业务成为一个有机整体，辅助领导决策，提高工作效率。（4）建设安监大数据场景服务示范区以各省安监局安全生产大数据智能管控平台为基础，逐步增加横向数据源，扩展业务场景服务，如：安全生产事故智能分析、安全生产形态趋势分析。建设具有全国示范意义的范例。2. 需求描述2.1 业务需求安全生产大数据智能管控平台，需要实现各省安监内部、外部及相关单位的安全生产数据采集、处理、融合、存储、管理、分析、应用，以安全生产海量数据为基础，以大数据采集、挖掘分析、可视化展示等技术手段为支撑，服务于安全生产科学监管。因此，本项目建设平台服务于安监各业务部门的数据整合、数据分析及可视化展示。1、数据整合业务需求全面梳理安监领域内部、外部相关数据，内部数据包括不同行业的安全隐患排查数据、安全风险管控数据、安全事故数据、安监监察执法数据、职业病数据、企业自查自改自报数据等内部数据，以及与安监相关的互联网舆情数据、企业在其他领域的违法违规数据、与安监相关气象、环境等外部数据，采集海量的安监相关数据，构建标准化的安监大数据中心，是实现安监大数据服务于安全生产的第一步。2、数据挖掘分析业务需求安监大数据挖掘分析，以安监业务需求为向导，如安全生产事故特征、规律挖掘分析，隐患风险分析等，明确挖掘分析目标，选择挖掘分析数据及合适的方法，在不明确哪些数据可能会影响结果的情况下，可以通过多次试验的方法，选出最佳影响因子，在海量的数据中，挖掘出隐含的规律和特征，通过大数据手段，解决安监领域突出问题。3、数据可视化业务需求数据挖掘分析的结果，通过最佳的可视化手段进行展示，是帮助用户直观了解展示内容的重要部分，此外，针对不同的分析需求，需要提供可定制化的可视化展示方式，因此可视化工具需要具有良好的兼容性和扩展性，提供的可视化展示方式能够满足不同内容的可视化展示需求，如散点图、泡沫图、OHLC图、烛台图、箱形图、树形分支图、冰柱图、光辐射图、极坐标树形分支图、矩阵式树图、弧线图、数值翻牌图、雷达图、词云图、气泡云图、3D地球、3D相关性矩阵、3D波斯顿矩阵等可视化组件，实现可视化方式的全覆盖。4、业务专题应用需求针对安监领域突出的安全生产问题，如安全隐患高发、安全生产事故时有发生、监察执法能力不足、安全生产事故责任不清等一系列问题，探索利用大数据手段的解决办法和途径，平台需提供丰富的大数据挖掘分析算法模型，包括分类、回归、聚类、关联降维、时间序列、识别、预测、优化等算法模型，并提供调用服务，以满足不同安全生产问题，以及随着安监业务发展需求出现的新的数据挖掘分析需求。2.2 功能需求2.2.1 基础服务平台的需求基础服务平台需求主要包括数据源管理、数据加工管理、数据质量管理、数据服务等业务。一、海量数据资源管理业务需求建立一个集成化的信息资源管理流程，使之具备有效处理和利用各类数据资源的能力，满足数据加工处理、资源管理、信息融合、分析挖掘等工作需求，实现多种来源、格式的信息资源的集成化管理。针对数据资源管理的工作需要，需要提供系统管理、数据管理、数据处理和数据发布功能。二、数据加工管理系统需求以数据元为核心，对各类数据资源的标准代码、数据字典等信息进行分类编目和动态管理，并对数据资源在加工、流转过程中所产生的资源目录及元数据信息进行统一管理。提供对数据元标准的创建与维护，以及对数据元的生命周期管理功能。基于平台的统一权限管控机制，可实现对资源目录的信息检索、目录导出与数据调取，并为各类业务应用提供数据标准、数据元的服务接口。针对数据加工管理的工作需要：需要通过大规模，可扩展算法的 ETL 实现数据的清洗、转换、加载功能；保障数据正确、完整、规范地加载到目的地；解决数据整合过程中的传输异常、数据加载异常、数据结构与质量异常等问题。三、数据质量管理的需求各省安监局安全生产大数据是安全生产领域的音频、视频、图片、地理位置及信息日志等巨量、复杂的数据集合体，主要由安全监管监察机构系统内的数据资源和监管监察对象系统内的数据资源构成，具体包括安全生产基础知识（如法规、标准、规范、事故案例等数据）、安全生产业务基础数据（如企业基本情况、风险隐患、应急资源、统计分析等数据）和安全生产监管监察业务应用数据（如重大危险源监控、重点区域监测监控、隐患排查、执法检查、监测预警等数据）。业务上虽然建设和归集很多信息系统，但是大量政府数据沉寂在各部门中，部门之间的数据交互较少，各业务系统数据相对独立，数据之间关联性不强，无法提取有效的数据，且存在应用结构、技术结构差异较大的情况，数据利用率比较低。有些数据根本没有进行上网公开,有些数据名义上公开,但实际使用非常不方便，因此安监的数据资源整体利用处于比较低的水平。无论在大数据开发能力，还是在大数据应用上均处于尝试的阶段。针对数据质量管理的工作需要：需要通过建立完善的数据质量分析机制，实现对信息资源库中的数据不断地进行数据校验、比对，完成不规范数据的清洗和过滤，建立问题数据下载、订阅和查询统计功能，并提供相应的数据质量分析报告，通过技术手段促进数据质量的提升。四、数据服务需求基于开放式服务架构，对外提供标准的Web服务接口，支持各个业务部门基于开放接口来开发各类业务应用系统，并能够在桌面、浏览器、移动端设备上运行使用。构建统一的数据资源体系和数据中心，对外提供多层次、可扩展、安全可靠的共享服务接口，包括数据元数据服务、数据查询服务、信息比对服务等。针对数据服务管理的工作需要：需要数据形成主题库之后的另一种数据共享方式，动态的将主题库表以接口的形式发布出来，通过安全传输、多层授权及加解密保障数据的安全使用。2.2.2 数据模型开发管理的需求要实现对重点行业领域企业安全管理基础数据、监管监察业务数据、辅助决策数据和公共服务数据集中管理和应用；建立“一数一源、一源多用”的服务模式，迫切需要建设数据分析模型，实现数据挖掘是从数据中自动地抽取出模式、关联、变化、异常和有意义的结构。安全生产领域涉及行业广、种类多，目前国内其他省份初步建成的大数据应用平台仅对煤矿、危化品等部分高危行业进行了数据分析建模，但对诸如煤矿瓦斯事故、顶板和透水事故 等专业分析模型尚未建立，大数据分析模型研究与建立尚处于起步阶段。2.2.3 数据可视化管理的需求安监领域存在海量数据，可视化分析主要应用于海量数据关联分析，由于所涉及的信息比较分散、数据结构不统一，分析过程存在非结构性和不确定性，不易形成固定的分析流程或模式，很难将数据调入应用系统中进行分析挖掘。需借助可视化数据开发引擎，辅助人工操作将数据进行关联分析，并做出完整的分析图表，包含所有事件的相关信息，也要完整展示数据分析的过程和数据链走向。2.3 数据需求基于大数据的手段，通过安全生产事故规律识别、特征提取、关联分析等大数据挖掘分析方法，实现安全生产隐患识别、事故预警、精准监管、科学决策，推动政府安全生产监管、企业安全生产管理水平的进一步提高，其实现的基础和前提是数据，没有数据一切都是空谈，为了满足安全生产大数据分析的需求，需求全面采集安监领域政府内部、相关部门、互联网、企业数据，保证大数据挖掘分析结果的正确性、科学性、可用性，从而更好的服务于安全生产监察监管。（1）数据质量需求安全生产大数据标准规范不健全，数据不全面、质量不高、时效性差，影响了数据分析挖掘、决策支持与可视化展示等，导致大数据应用效果差。（2）数据种类需求虽然各省安全生产大数据中心建设汇聚了大量的数据，但是安全生产大数据建设上缺乏企业工商数据、舆情数据、事故数据等数据源，一是需要对接省安监局外部数据源，二是需要对安全生产监管监察数据资源进行科学分类，建立数据资源指标体系，统一核心元数据指标，三是需要依据安全生产监管业务数据共享与交换等标准数据文档，分析、梳理、整合现有安全生产监管监察数据指标，建立融合多个数据库可行的数据体系，为安全生产监管监察数据模型提供依据。（3）数据接入的需求现各省安全生产大数据中心已经建成，包含结构化和非结构化数据。结构化数据特征：使用达梦 MPP 架构，多个 DM7节点集群，对外提供DM7数据库服务。非结构化数据特征：由达梦统一采集的省内安全生产监管监察相关的文件（含纸质文件录入），包含且不限于以下文件 Word 文档（DOC、DOCX、WPS）、演示文稿（PPT、PPTX、DPS）、Excel（XLS、XLSX、ET）、CSV 文件、文本文件（TXT、RTF）、图片（JPG、GIF、PNG等）、PDF 文件、音频文件（MP3、WAV、WMA、OGG、AAC、FLAC 等）、视频文件（AVI、MP4、3GP、WMV、MPEG、MPG、DAT等）以及压缩文件（ZIP、RAR、7Z 等）。智能管控平台要求必须兼容数据中心所有数据，并将文档型文件的内容解析入库，且对内容建立全文索引。（4）引入外部数据源的需求为了更好地做好安全生产大数据管控平台，首先基于安监领域现有的数据，其次引入九次方大数据公司海量的企业、互联网等数据源，补充完善各省安监领域数据项，完善数据质量。3. 总体设计方案采用先进的大数据技术，及科学的设计方法，对平台的总体架构、数据业务流程进行设计，明确建设目标，平台基于大数据架构进行设计，满足数据开放应用的需求。3.1 建设依据3.1.1 政策性依据1、国务院办公厅关于印发安全生产“十三五”规划的通知（国办发20173号）2、关于促进云计算创新发展培育信息产业新业态的意见（国发20155号）；3、国务院关于印发促进大数据发展行动纲要的通知（国发201550号）；4、国务院办公厅关于促进电子政务协调发展的指导意见（国办发201466号）；5、国务院办公厅关于运用大数据加强对市场主体服务和监管的若干意见（国办发201551号）；6、国务院办公厅关于加强安全生产监管执法的通知（国办发201520号）；3.1.2 系统建设规范1、国家电子政务工程建设项目管理暂行办法（国家发改委55号令）；2、国家电子政务总体框架（国信20062号）；3、关于开展信息安全等级保护安全建设整改工作的指导意见（公信安20091429号）；4、工信部关于印发国家电子政务“十二五”规划的通知（工信部规2011567号）；5、国家发展改革委关于印发“十二五”国家政务信息化工程建设规划的通知（发改高技20121202号）；6、关于进一步加强国家电子政务网络建设和应用工作的通知（发改高技20121986号）；7、国家发展改革委关于印发“十二五”国家政务信息化工程建设规划的通知（发改高技20121202号）；8、关于进一步加强政务部门信息共享建设管理的指导意见（发改高技2013733号）；3.1.3 安全生产行业相关标准1、 安全生产监督管理信息 全国安全生产监管监察机构代码编制规则（修订）2、安全生产监督管理信息 生产经营单位基础数据规范（修订）3、安全生产数据读取第2部分：煤矿指标（试行）4、安全生产数据读取第3部分：金属非金属矿山（含尾矿库）指标（试行）5、安全生产数据读取第4部分：石油天然气（含陆上石油天然气和海洋石油天然气）指标（试行）6、安全生产监管监察 业务基础数据规范 第2部分：标准化（修订）7、安全生产监管监察 业务基础数据规范 第3部分：隐患排查治理（修订）8、安全生产监管监察 业务基础数据规范 第9部分：非药品类易制毒化学品生产经营企业许可证（试行）9、安全生产 统计报表 第9部分：非药品类易制毒化学品生产经营企业年度报表（试行）10、安全生产 移动执法终端基本技术要求 第2部分：煤矿安全监察（试行）3.1.4 计算机技术相关标准1、计算机软件需求规格说明规范，GB/T9385-2008；2、计算机软件测试文档编制规范，GB/T9386-2008；3、计算机软件测试规范，GB/T15532-2008；4、系统与软件效率，GB/T29835.3-2013，GB/T29835.1-2013，GB/T29835.2-2013；5、软件系统验收规范，GB/T28035-2011；6、信息技术软件资产管理，GB/T26236.1-2010，GB/T26236.2-2010，GB/T26236.3-2010；7、系统与软件可移植性，GB/T29833.1-2013，GB/T29833.2-2013，GB/T29833.3-2013；8、系统与软件易用性，GB/T29836.1-2013，GB/T29836.2-2013，GB/T29836.3-2013；9、系统与软件可靠性，GB/T29832.1-2013，GB/T29832.2-2013，GB/T29832.3-2013；10、信息安全技术应用软件系统通用安全技术要求，GB/T28452-2012。3.2 设计原则1、 先进性由于计算机技术和信息技术发展迅速，在系统的设计和建设中，应当有一定的前瞻性，尽可能的采用先进的技术和开发工具，以保证系统和产品的先进性；但也要避免采用不成熟性的技术和以保证系统稳定性。2、实用性在兼顾系统具有先进性能的同时，按照实用性的原则，整个系统的操作以方便、简洁、高效、易维护为目标，多操作平台整体设计、统一操作，既充分体现快速反应的特点，又便于管理层及时了解各项统计信息，进行业务处理和综合管理，同时降低整个系统建设成本，保护已有的投资。3、高可靠性由于本系统涉及全省安全监管部门及众多企事业单位，使用环境的特殊性，必须保证系统工作稳定可靠。系统每个模块稳定地独立运行，一旦发生故障时不影响其它模块运行。4、安全性与保密性本系统运行的数据多为敏感、涉密信息，专业数据采用分布存放相互隔离。重要数据要加密处理，甚至物理隔离。5、应用功能模块化本系统应用广泛，应针对各级用户的不同需求，设计不同功能模块，便于系统功能组合、扩展和提升，有利于保护投资，使投资率和使用率协调发展。有了标准化和模块化，才有利于集成系统的产品化。3.3 建设目标大数据是创新安全监管监察模式的必然之路，构建“大数据、大支撑、大安全”的大数据管控平台，实现安全生产事故预测预判和风险防控“信息化、数字化、智能化”的目标。依托各省安监局现有数据中心建设成果，在先进的大数据技术手段的支撑下，建设省安监局安全生产大数据智能管控平台，实现“防、管、控”三大业务功能要求，创新安全监管监察方式方法，进一步强化对企业落实安全生产主体责任的监督管理。为安全生产监管监察和应急管理，为有效防范并遏制重特大事故提供服务和保障。安监大数据智能管控平台主要以安监大数据建模设计和可视化展现为研究方向，旨在通过运用大数据的思维、技术、工具深入挖掘数据价值，实现大数据在安监业务方向的多维创新应用。如面向隐患及事故，建立基于大数据分析的隐患事故关联分析挖掘动态关联体系，做到隐患识别及事故分析预警。通过整合政府与企业、舆情数据，建立多维度立体化的安全生产隐患分析模型，提高政府的精细化监管能力与对未来安全生产的趋势预测能力。具体如下：（1）整合安监数据中心与外部数据源以安监局数据中心的数据为主，构建以省局基础数据库为核心，建设智能管控平台与完善各类安全监管专业数据库，各市安全生产数据逐步实现与省局数据中心的实时同步。并引入外部数据源，比如工商、舆情、事故等其他单位的关联数据，尽可能多的丰富其他部门业务数据。建立具有各省安监特色的数据主题集。（2）建立开放性的扩展平台实现安监业务的数据服务场景；平台兼容可复制、可扩展、可移植的安监数据模型；兼容开源的可视化工具。利用前沿的渲染技术，加强整个平台的展示效果，实现直观、动态、互动、智能的可视化界面；实现安监大数据服务平台数据模型与可视化管理的基础框架，满足安监的业务扩展需求。（3）开发安监大数据场景服务以各省安监特色主题集为数据源，以数据模型及可视化基础框架为技术工具，以前沿的渲染技术为终端展现标准，结合各省安监的实际业务及各个处室办公系统的数据状况，开发并实现安监特色的大数据场景服务。使安监所有的业务成为一个有机整体，辅助领导决策，提高工作效率。（4）建设安监大数据场景服务示范区以各省安监局安全生产大数据智能管控平台为基础，逐步增加横向数据源，扩展业务场景服务，如：安全生产事故智能分析、安全生产形态趋势分析等。建设具有全国示范意义的范例。3.4 设计思路平台基于大数据基础服务平台、大数据挖掘分析平台、大数据可视化平台，构建安监大数据应用场景服务，平台的设计满足数据开放应用的需求。通过建立数据开放系统可以让安监领域数据信息资源得到最大化利用，推动数据产业的发展，提高政府安全生产的管理服务水平，满足公众数据需求。数据开放应用是直接面向社会公众的平台系统，在功能和性能上应具有良好的使用体验。3.5 总体架构安全生产大数据智能管控平台建设采用J2EE技术架构，遵循SOA体系结构，结合国家安监总局大数据平台建设指导意见要求，并根据国家标准电子政务模型体系建设的实际要求设计。平台建设规划包括智能管控基础服务平台、大数据模型管理引擎、大数据可视化管理引擎和大数据可视化展示服务等内容。按照大数据架构图进行编辑，按照相关性重新划分产品的分布。其整体架构如下图所示：3.6 技术路线平台软件应基于国际标准的 J2EE 多层架构，使应用表现层和运用逻辑层、数据存储分离，从架构上保证系统的灵活、高效、可支持跨平台应用。采用 B/S 模式，使用户端可以通过浏览器访问和维护系统，支持远程办公，且用户操作简单、易于上手。软件应支持集群部署，支持主流的中间件如 Websphere、 Weblogic、 Jboss 、 Tomcat 等上的集群部署，任意节点可查看和管理其它集群节点，集群节点可随时动态加入或退出，对某个服务器实例状态的修改，也会自动同步到集群环境中的其他节点服务器上而无需重启各节点服务器。平台采用的技术框架如下图所示：3.6.1 基于J2EE架构技术系统设计采用基于J2EE的技术，采用浏览器+应用服务器+数据库服务器的多层构架，能够不加修改地在不同的操作系统上运行，能够支持大用户数和数据量。J2EE是主流的技术体系，J2EE已成为一个工业标准，围绕着J2EE有众多的厂家和产品，其中不乏优秀的软件产品，合理集成以J2EE为标准的软件产品构建协同办公平台，可以得到较好的稳定性、高可靠性和扩展性。J2EE是一种利用Java2平台来简化诸多与多级企业解决方案的开发、部署和管理相关的复杂问题的体系结构。J2EE技术的基础就是核心Java平台或Java2平台的标准版，J2EE不仅巩固了标准版中的许多优点，例如“编写一次、到处运行”的特性、方便存取数据库的JDBCAPI、CORBA技术以及能够在Internet应用中保护数据的安全模式等等，同时还提供了对EJB(EnterprisejavaBeans)、javaServletsAPI、JSP(JavaServerPages)以及XML技术的全面支持。J2EE提供了一个企业级的计算模型和运行环境用于开发和部署多层体系结构的应用。它通过提供企业计算环境所必需的各种服务，使得部署在J2EE平台上的多层应用可以实现高可用性、安全性、可扩展性和可靠性。3.6.2 面向服务架构体系（SOA）本次项目要求采用基于面向服务的体系结构（Service-OrientedArchitecture，SOA）构建系统，满足项目的松耦合设计要求。面向服务的体系结构是一个组件模型，它将应用程序的不同功能单元（称为服务）通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的，它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。3.6.3 基于构件的应用开发本次项目采用构件化开发方式，随着多层结构应用的日益流行，基于构件对象的开发技术也日趋成熟，构件作为集中处理各种复杂业务逻辑的应用单元，大大提高了软件的开发效率。因为它具有更强的独立性，更好地支持软件的重用，软件的重用还可使软件的质量得到极大的提高，同时提高了应用系统的质量和可靠性。3.6.4 WebServices技术WebService（Web服务)是一种分布式的计算技术，在Internet或者Intranet上通过标准的XML协议和信息格式来发布和访问商业应用服务。使用Web服务，可以在Web站点放置可编程的元素，发布能满足特定功能的在线应用服务，其他组织可以通过Internet来访问并使用这种在线服务。Web服务使用的是开放的Internet标准：Web服务描述语言(WSDL，用于服务描述)，统一描述、发现和集成规范(UDDI，用于服务的发布和集成)，简单对象访问协议(SOAP，用于服务调用)。Web服务具备如下特点：Ø 互操作性：任何的Web服务都可以与其他Web服务进行交互。因为SOAP协议是所有供应商都支持的标准，避免了在CORBA、DCOM和其他协议之间转换带来的麻烦。Ø 普遍性：Web服务使用HTTP协议和XML进行通信。因此，任何支持这些技术的设备都可以拥有和访问Web服务。Ø 易用性：Web服务的概念易于理解，任何开发语言都可以用来编写Web服务。目前已经有许多工具可以开发和部署Web服务,还有一些工具可以将已有的COM组件和JavaBeans、EnterpriseJavaBeans部署为Web服务。由于Web服务的这些特点，使得Web服务成为EAI解决方案的一个理想选择。3.6.5 消息队列消息队列主要异步处理、应用解耦、流量削峰和消息通讯四个方面进行应用，当系统中出现“生产”和“消费”的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。“消息”是在两台计算机间传送的数据单位。消息可以非常简单，例如只包含文本字符串；也可以更复杂，可能包含嵌入对象。消息被发送到队列中，“消息队列”是在消息的传输过程中保存消息的容器。队列提供了一种异步通信协议，这意味着消息的发送者和接收者不需要同时与消息保持联系，发送者发送的消息会存储在队列中，直到接收者拿到它。为了实现高性能，高可用，可伸缩和最终一致性架构。本项目采用消息队列技术，解决大型分布式系统中实现时间和空间解耦的问题。3.6.6 OAuth 2.0 协议OAuth（开放授权）是一个开放标准，允许用户授权第三方移动应用访问他们存储在另外的服务提供者上的信息，而不需要将用户名和密码提供给第三方移动应用或分享他们数据的所有内容。OAuth的参与实体至少有如下三个：RO（resource owner）：资源所有者，对资源具有授权能力的人。RS（resource server）：资源服务器，它存储资源，并处理对资源的访问请求。Client：第三方应用，它获得RO的授权后便可以去访问RO的资源。此外，为了支持开放授权功能以及更好地描述开放授权协议，OAuth引入了第四个参与实体：AS（authorization server）)：授权服务器，它认证RO的身份，为RO提供授权审批流程，并最终颁发授权令牌(Access Token)。读者请注意，为了便于协议的描述，这里只是在逻辑上把AS与RS区分开来；在物理上，AS与RS的功能可以由同一个服务器来提供服务。3.6.7 模型技术本项目数据建模使用的开发环境、开发工具全部是国际主流的数据科学领域开源软件，并且是未经修改的原生版本。建模过程中所使用的算法也是在国际通用的机器学习算法基础上进行融合与调优。模型成果可以广泛地与使用开源架构的第三方平台实现良好兼容。模型主要使用Python进行开发。其中数据预处理和机器学习部分主要使用Python的NumPy、pandas、SciPy、scikit-learn等工具包完成。深度学习部分采用Google研发的开源深度学习框架Tensorflow进行。模型在大规模机器学习运算时会使用Spark来进行。根据项目需求，建模所使用的算法和模型主要包括时间序列模型，如Detrend、Deseasonality、ARIMA等；机器学习算法，如C 4.5、Random Forest、XGBoost、SVM、DBSCAN、K-means等；深度学习自然语言处理模型，如词向量语义模型、机器翻译语义模型、卷积神经网络语义模型等。3.6.8 可视化技术整个前端人机交互系统与可视化应用均采用MVVM架构，MVVM（ModelViewView-Model）是一种软件架构模式，MVVM有助于将图形用户界面（无论是通过标记语言XML还是GUI代码）从开发业务逻辑或后端逻辑（数据模型）中分离出来。MVVM的视图模型（ViewModel）是一个值转换器，即视图模型负责从模型中暴露（转换）数据对象，使得对象被轻松地管理和呈现。在这方面，视图模型比视图更多地接触模型，并且处理大多数视图的显示逻辑。视图模型可以实现调解器（Mediator）模式，组织对视图提供支持的后端逻辑的访问。MVVM是Martin Fowler的Presentation Model设计模式的一个变体。MVVM以相同的方式抽象视图的状态和行为，但是Presentation Model以不依赖于特定用户界面平台的方式抽象视图（创建视图模型）。MVVM和Presentation Model都源自于模型-视图-控制器模式（MVC）。在MVVM中，模型（Model）指代表示真实状态内容（偏向面向对象）的域模型或表示内容的数据访问层（偏向以数据为中心）；视图（View）则如在MVC和MVP模式中一样，是用户在屏幕上看到的结构、布局以及外观；视图模型（ViewModel）是暴露公共属性和命令的视图的抽象，替代MVC模式的控制器或MVP模式的呈现器，MVVM具有绑定器，在视图模型中，绑定器介入视图和数据绑定器之间的通信，并且视图模型被描述为模型中的数据的状态。MVVM模式试图获得由MVC提供的功能开发分离的优点，同时利用数据绑定，使得框架通过绑定数据尽可能接近纯应用模型。通过使用绑定器，视图模型和任何业务层的数据检查功能可验证传入的数据，最终使得模型和框架执行尽可能多的操作，消除或最小化直接操纵视图的应用逻辑。3.7 总体数据业务流程设计3.7.1 数据流向概况数据在智能管控基础服务平台总的流向是平台数据读取模块从数据中心读取数据，经过数据比对修正、修正等操作后存入落地库；然后融合模块从数据中心和落地库关联融合数据后存入落地库；模型分析模块从数据中心和落地库读取数据将分析结果存入落地库；数据服务模块将读取、融合和分析结果数据封装成服务对外发布；最后应用通过数据服务调取数据。其数据流向概况图：3.7.2 数据流向设计平台管理员通过配置操作给读取任务、修正任务、模型分析任务和数据服务提供基础规则；平台管理员（不同机构拥有不同数据权限）还可以申请/审批数据服务、监控任务、浏览数据、追溯数据和日志分析等。其数据流向如下图所示：业务数据流程设计：业务数据读取设计：数据读取包含：l 数据源管理 数据源配置及测试l 读取规则 配置读取、修正等规则管理l 任务管理 读取任务配置及监控l 文件读取规则 文件读取配置及浏览3.8 性能设计平台性能满足如下要求：l 系统一般查询响应时间小于 3 秒，多条件查询响应时间小于 8 秒。l 系统用户访问满足 500 以上并发。l 系统能够满足 7*24 的稳定运行。l 系统具有较好的容错性和故障恢复能力。3.9 安全设计本系统依据国家标准计算机信息系统安全保护等级划分准则，实行等级防护、适度防护，使系统最终达到信息安全主管部门规定的第二级安全保护标准的要求。将防护的重点放在系统层和应用层的安全上。重点保护局方计算环境和数据文件的安全，确保系统用户身份的真实性和可审核性。3.9.1 身份鉴别系统应具有专用的用户权限管理系统，实现本项目内所有系统单点登录控制，实现身份标示（用户名）唯一，能够限制口令的复杂度（长度、字母、特殊字符等），能够对非法登陆（如：暴力破解），进行锁定账号或封禁 IP 等限制措施，对非法登录次数要有限制。具体内容如下：l 提供专用的登录控制模块对登录用户进行身份标识和鉴别。l 提供统一的用户管理模块对用户账户进行管理，用户身份标识具备唯一性。 l 提供登录失败处理功能，指定用户非法连续登录次数超过指定范围将在一段时间锁住该用户，登录失败时可自动关闭登录页、结束会话。l 提供安全策略功能，可以设置复杂密码检查、规定密码长度、限制非法连续登录次数等参数。3.9.2 访问控制系统应提供基于功能模块的用户权限自定义功能，功能模块要细化到最小功能点，管理员可通过自主定义的方式为用户开通账号权限。系统中的重要数据，存放时需进行数据分类，管理员可按照不同角色划分用户对重要数据的访问权限，并以此进行访问控制；允许禁用默认账号；系统访问设置 IP 地址限制，对非法访问的 IP 地址进行访问限制，提供 IP 地址黑白名单的设置功能。具体内容如下：l 提供基于角色的访问控制功能，规定不同的角色访问不同的业务功能，不同的业务功能只能访问指定的文件和数据库表，从而实现用户对资源的访问控制。l 访问控制定义了用户与角色之间的关系，定义了角色与业务功能之间的关系。l 角色权限最小化。管理员只关注配置管理工具，不能操作业务数据，而业务用户只关注所属的业务范围，不能参与配置管理工作。3.9.3 资源控制系统正式部署运行时，应从中间件或 web 服务器上，设置最大并发数、最大网络流量限制。对于异常访问，能够主动切断连接，保护应用的正常使用。系统需具有重要数据防泄漏的相关措施。具体内容如下：l 应用程序均设定会话过期时间，服务器在指定时间段内没有收客户端的活动时将放弃会话，以回收资源。l 能够配置应用程序的最大会话数，超过会话数时将限制用户的登录。l 只允许同一个时刻单个用户进行一个会话。当同一个用户第二次登录时，第一个会话将结束；或者能控制在第一会话结束时，该用户不能重复登录。4. 项目建设内容依托各省安监局现有数据中心建设成果，在先进的大数据技术手段的支撑下，建设省安监局安全生产大数据智能管控平台，实现“防、管、控”三大业务监管要求，创新安全监管监察方式方法，进一步强化对企业落实安全生产主体责任的监督管理。为安全生产监管监察和应急管理，为有效防范并遏制重特大事故提供服务和保障。安全生产大数据智能管控平台主要以安监大数据建模设计和可视化展现为研究方向，旨在通过运用大数据的思维、技术、工具深入挖掘数据价值，实现大数据在安监业务方向的多维创新应用。如面向隐患及事故，建立基于大数据分析的隐患事故关联分析挖掘动态关联体系，做到隐患识别及事故分析预警。通过整合政府与企业、舆情数据，建立多维度立体化的安全生产隐患分析模型，提高政府的精细化监管能力与对未来安全生产的趋势预测能力。本项目建设内容包括：基础服务平台、分析模型及可视化管理、安监大数据业务场景服务等功能。4.1 基础服务平台以继承、借鉴、融合、创新的思路建设大数据智能管控平台，其功能定位于实现通用的大数据、管理、服务与应用平台，该平台兼容各类主流外部数据源（包括结构化和非结