智慧社区项目解决方案说明书.docx

《智慧社区项目解决方案说明书.docx》由会员分享，可在线阅读，更多相关《智慧社区项目解决方案说明书.docx（11页珍藏版）》请在三一办公上搜索。

1、智慧社区项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问题及需解决问题31. 存在问题32. 需解决问题3二、解决方案31 .解决方案架构52 .关键技术7(1) Hadoop7(2) SpringMVC7(3) MyBatis7(4) Echarts7(5) MySQ1.7(6) Hive8(7) HBASE8(8) Zookeeper9(9) F1.ume9三、开发范围91 .数据生产92 .数据采集/消费93 .数据分析104 .数据展示11一、项目存在问题及需解决问题1 .存在问题面临当前严峻的治安形势，缺少全局性的考虑和前期的充分整体规划，各级业务条线各自独立，研判信息和

2、成果难以共享，数据格式标准不一，系统间的互联互通、相互协同都存在较大的困难，导致各管一摊、条块分割，信息和业务的交互只能通过人工手段实施。在大量的项目建设中总结得出，缺乏信息共享的支撑能力、信息资源和个性化应用需求的服务能力、面向实战需求数据深度应用能力，缺乏共享数据标准、数据对接接口标准、基础数据字段标准、数据更新标准等，很难实现真正整合共享数据的目的，难以应对越来越复杂的形势。基于物联信息等技术的发展，我们巳经找到了社区建设的好方法,那就是，建设智慧社区。智慧社区包含三个含义，一是社区管理、运作的智能化，二是全社区内的单位、企业、组织、公众共同参与的协同化，三是人们共同参与社会管理和服务过

3、程中自身内在智慧产生和应用度。所以，智慧社区建设是以数字化、网络化、智能化、互动化、协同化为基本特征，构建科学、智能、人本、协调的城市内生系统I)2.需解决问题缺乏整体规划和顶层设计缺少有效的系统平台二、解决方案多年来信息化建设总是强调“以信息资源为中心”、把“信息资源开发利用”放在首位，今天人们更需要资料精选系统而非增加阅读量的系统。我们的信息化建设一路走来，从电子政府建设-社区信息化建设-社区对外服务平台建设-社区事务”一门式、一口式”受理模式-智慧社区建设。今天我们巳经意识到数据资源，软件资源、网络资源是同等重要,三者都是信息资源。软件加上网络成为智能资源的主要组成部分，智慧社区建设一方

4、面要完善政府业务自动化和数据资源的整合与开放,另一方面要将更多的精力集中到智能服务系统的开发建设上来，构建更多的社区智能服务系统，更好地为居民服务。(I)关于顶层设计设计关注整体效益。智慧社区建设关注的不是一个方面的事情,而是信息化应用的整体效益。它通过对区域的地理、资源、环境、经济、社会等系统进行数字化网络化管理，对区域内基础设施、基础环境、商圈、社区生活服务业等的多方位数字化、信息化的实时处理与利用，构建以政府、企业、市民三大主体的交互、共享平台。所以，它强调建设过程的生态体系，一是参与建设的各家单位相互的包容整合型生态，二是信息呈现和使用过程中的生态性。(2)数字化数字化的结果是将社区内

5、相关的管理与服务信息实现充分计算机化。数字化展现的基础是通过地理系统提供完善信息服务和网络服务。它直接面向人，用户可以通过PC、手机、平板电脑、电子书等终端设备，分享系统提供的包罗万象的各类信息。数字化建设是智慧社区的基础，它包含能够将社会上现有的各系统整合在一起的数字交换中心，和将纷繁复杂的信息智能化分析的自动处理系统。该信息系统将代替人自动处理事务，系统经常在人无所察的情况下为居民提供服务。（3）智能交易考虑将社区应用的市民卡融入银行卡内，而不是在市民卡中加入小额支付功能。这样将实现所有功能应用的最大化，同时，因为卡是实名制的，将有利于诚信社会的建设。（4）智能公共服务与社会管理社会管理是

6、政府本身的职能所在。公共服务包括政府提供的服务与市场提供的服务。公共服务智能化是提高服务效率与质量的基本途径。智慧社区的布局并不是一开始就面面俱到，而是依据地区的资源与项目的价值进行选择，成熟的领域先启动，项目的成功率、可持续、可积累才是最重要的。1 .解决方案架构I解决方案架为图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供成百上千TB的数据节点上运行的应用程序。HadooP能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结

7、构化数据持续增长的企业，将帮助用户持续提高用户体览。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX

8、技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2 .关键技术(1) HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSPringMVC:属于SPringFrame邛Ork的后续产品，已经融合在SpringWebF1.oW里面。Spring框架提供了构建Wcb应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀持久层框架。MyBatiS消

9、除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XM1.或注解用于配置和原始映射，将接口和Java的POJOS(P1.ainO1.dJavaObjects,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公司开发，属于OraCIe旗下产品。MySQ1.是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQ1.是最好的RDBMS(Re1.a

10、tiona1.DatabaseManagementSystem,关系数据库管理系统)应用软件之一。MySQ1.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1.作为网站数据库。(6) Hivehive是基于HadooP构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop

11、分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MaPRedUCe任务运行，通过自己的SQ1.查询分析带要的内容，这套SQ1.简称HiveSQ1.,使不熟悉niapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、交询和分析存

12、储在HadoOP中的大规模数据集，并支持UDF(User-DefinedFunction),UDAF(USe1.DefneSAggregateFunction)和UDTF(User-DefinedTab1.e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBaSe技术可在廉价PCServer上搭建起大规模结构化存储集群。(8) ZookeeperZooKeeper是一个分布式的，开放源码的分布式应

13、用程序协调服务，是GoOgIe的ChUbby一个开源的实现，是HadOOP和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeF1.ume是C1.oudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F1.ume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。三、开发范围1 .数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安

14、全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过f1.ume采集到kafka然后供给给hbase消费。f1.ume：C1.OUdera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作：适合与Hadoop生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支

15、持rep1.ication）；因此我们常用的一种模型是：线上数据一f1.umekafkaf1.ume（根据情景增册该流程）HDFS线上数据一f1.umekafkasparkstreaming实时流式处理消费存储模块流程图：图2消费存储模块流程图3 .数据分析我们的数据巳经完整的采集到了HBase集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式,如果情景允许，我们会采取一个maprcduce分析多个业务指标的方式来进行任务。分析模块流程图:S3分析噢块流程图4 .数据展示数据展示模块流程图:图4联密展示模块流程图