大数据项目实施方案.docx

项目编号:大数据项目实施方案甲方：乙方：签订时间：年月日本技术协议由（以下简称“"）和（以下简称“”）对系统项目（以下简称“”）共同撰写。1 项目介绍51.1 1业务背景51.2 项目目标51.3 方案设计思路52 项目实施前提62.1 项目整体假设62.2 项目一般假设62.3 实施方法假设62.4 系统环境假设62.5 5数据和接口假设62.6 项目团队假设83 项目实施范围83.1 总体实施组织范围83.2 项目实施业务功能范围83.3 项目实施非业务功能范围103.4 项目实施中需要重点关注的变革点124 项目实施技术方案134. 1系统总体架构135. 2系统应用架构146. 3系统数据架构147. 4系统技术架构158. 5系统技术参考模型169. 6技术框架中的软件版本1610. 7系统部署方案和软硬件要求1711. 生产环境现场硬件布点要求1812. 系统集成1813. 10系统接口1814. 11系统安全1815. 12系统运维195项目管理195.1 项目实施计划195.2 项目实施组织205.3 项目实施方法205.4 项目职责划分215.5 项目风险管理225.6 项目变更管理2216. 7项目培训及知识转移226 项目交付件及验收221. 1项目正式交付物226. 2项目非正式交付物227. 3项目验收237 质量保证及服务承诺238 运维及升级方案239 .其他约定23附录：后续运维服务相关政策等231项目介绍1.l业务背景（行业背景，企业背景）概述项目提出的业务背景1.2项目目标概述项目建设的目标（目标要具体、有效、可衡量）1.3方案设计思路概述项目设计思路（基于业务、it、项目等维度，重点阐述项目实施原则及指导思想）2项目实施前提9.1 项目整体假设项目整体管理：项目培训管理：项目计划管理：项目质量管理：9.2 项目一般假设双方职责与共同约定全过程负责与配合角色变更程序切换方案接口方案9.3 实施方法假设项目经理负责制9.4 系统环境假设系统环境搭建硬件、网络环境搭建项目办公环境9.5 数据和接口假设2.5.1数据交换方案2.5.1.1数据实时推送方案IOT 消息 中心XXX数据中心部分：1>.开发数据ETL任务，从数据中心实时过滤、转发数据到K)T消息中心；2>.开发统一数据发送程序，将实时业务数据从XXXIOT消息中心推送至XXXAPl接受服务器；数据推送机制为atleastOnCe,保证数据不丢失，不保证数据重复；XXX数据中心部分：1.开发基于安全签名机制的RESTAPI,负责接收XXX数据中心推送的数据；2>.搭建分布式kafka集群，负责缓冲、持久化XXX数据中心推送的实时数据，防止数据量过大对后端数据存储造成压力和数据丢失，同时去除XXX数据中心与XXX数据中心之间的强耦合；3>.开发针对mysql,hbase、hadoop的入库程序，将数据根据使用场景分别存储至业务库和大数据平台；2.5.1.2数据开放平台接入三开者号 第方放账ReStfUl 接口推送接口MQTT1>.每个合作伙伴可以拥有一个或多个（方便有多个子机构需要独立开发）开发者账号;2.通过开发者账号可以为开发的应用申请接入码和密钥，通过接入码+密钥签名后，可以访问XXX的开放平台服务（也可以通过开发者账号，获取JWT,让前端直接访问XXX的开放平台）。2.5.2接口网关方案基于springcloud的接口网关2 .6项目团队假设项目组织结构未经同意，不得变更项目参与人员3项目实施范围2.1 总体实施组织范围2.2 项目实施业务功能范围功能清单各功能点说明3 .2.1HDFS分布式文件系统是否必须是是否为标准功能是业务场景可靠性数据存储4 .2.2YARN分布式资源调度系统是否必须是是否为标准功能是业务场景大数据计算资源调度管理5 .2.3MAPREDUCE分布式计算引擎是否必须可选是否为标准功能是业务场景大数据任务计算引擎6 .2.4HlVE任务计算系统是否必须可选是否为标准功能是业务场景基于SQL的大数据任务计算引擎7 .2.5SPARK任务计算系统是否必须是是否为标准功能是业务场景大数据任务计算、数据挖掘引擎8 .2.6Zookeeper分布式系统是否必须是是否为标准功能是业务场景分布式服务注册发现服务9 .2.7HBaSe分布式数据存储系统是否必须是是否为标准功能是业务场景高性能并发读写KV型存储服务10 2.8KAFKA分布式消息系统是否必须是是否为标准功能是业务场景分布式持久化消息订阅转发服务11 2.9Kafka-Monitor监控系统是否必须是是否为标准功能是业务场景针对KAFKA系统状况的监控服务12 2.10SQOOP数据采集转换系统是否必须是是否为标准功能是业务场景提供关系型数据库与大数据数据交换服务3.2.11KAFKA到MYSQL数据转存系统是否必须是是否为标准功能是业务场景提供kafka数据实时写入mysql服务3.2.12KAFKA到HbaSe转存系统是否必须是是否为标准功能是业务场景提供KAFKA数据实时写入HBase服务3.2.13KAFKA到HDFS转存系统是否必须是是否为标准功能是业务场景提供KAFKA数据批量写入HDFS服务3.2.14集群系统监控系统是否必须是是否为标准功能是业务场景提供大数据集群的系统监控服务12.1 目实施非业务功能范围可靠性：如系统运行率可用性：如：服务时间7*24小时容量需求及扩展：数据生命周期：基础数据、业务数据、实时性安全性：a）权限控制b）基础数据、用户、密码的管理机制c）敏感、核心数据的加密机制并发及响应要求：a）3年内稳定支持日常应用的并发用户数是多少b）事务处理、非历史性数据查询、当天的历时数据查询响应延迟时间是多少c）描述实时请求，延时时间是多少d）主系统与备份系统的切换时间是多少？联机备份应不造成已完成事物的数据丢失可扩展性要求a）硬件方面b）软件方面，是否具备二次开发能力灾难恢复及业务支持a）物理网络和网络架构b）授权方式c）数据安全措施d）备份和恢复策略e）灾难性宕机后，系统恢复服务的时间要求24小时内f）宕机处理后，数据恢复率要求达到100%g）应急方案平台一致性单一登录、工作界面一致性、工作界面是否具备灵活配置系统健康信息检查与显示系统日志管理系统可开发性、可维护性系统接口监控系统集成通用性要求易推广性12.2 目实施中需要重点关注的变革点流程/运作模式、组织人员、协同机制等，支持措施4项目实施技术方案4.1系统总体架构描述项目建成系统的整体架构，并分析系统的关联性和可扩展性：数据通道跨机房数据推送内网数据采集数据平台ETLHbaseHadoopAPlHive/Spark：业务用户管车产品电子地图产品运营数据报表数据产品整体架构包括数据源部分、数据通道部分、数据存储计算部分、业务应用部分;数据源分为外部数据源和内部数据源，外部数据源目前主要是由XXX数据中心提供的管车数据、电子地图数据、设备数据、各类事件通知类数据等等；内部数据指的是XXX公司内部的各种应用管理系统数据、业务日志数据、子公司之间共享数据等;针对不同数据源的数据类型、数据安全、性能要求等，分别采用两种不同的数据采集方式，外部数据源使用跨机房基于公网的数据推送通道，内部数据采用基于内网的数据采集通道，外部通道数据和内部通道数据在网络和存储上均隔离，在资源占用上互不影响。数据存储包括MySq1、Hbase.HadoOP三类存储系统，Mysql负责存储业务系统的关系型数据，HbaSe存储设备、实时平台计算等海量数据，HadOOP负责存储全量的结构化、非结构化数据。数据离线分析计算、数据挖掘、机器学习等主要是基于Hadoop.Spark系统，采用MapReduce,hive、SPark等计算引擎；实时的数据读写APl基于mysql、hbaseo业务应用如管车、电子地图等通过接口网关来读取和写入数据平台的数据，数据运营报表、数据产品等基于hive、SPark来进行各类分析、运营指标的计算。13 2系统应用架构I 子地I 智能管车!EMS a¾ 1期时阵1电子地蚣用SW4.3系统底层架构安全管理仓库管理S S a卜 a pa+ca日志管理实时监控ECoS容器云引擎(CaaS)T二二IVMIaaS编排系统镜像省理第三方服务服务器服务器/网络/存储如上图所示，为了支撑XXX业务系统高安全性、高可靠性、高伸缩性、高可用性的运行，并且能够基于部署、监控、可在无人值守情况下实现自动化智能操作，设计如下：在系统内部，将ECOS容器云平台内部再次细分为PaaS层与CaaS层，PaaS层主要完成对容器的架构性支撑，提供广义的大数据、集群底层、数据库、负载、资源管控等功能；CaaS层聚焦对业务应用的具体支持与实现，如仓库管理、容器编排、实时监控、访问控制、持续集成/持续发布、快速部署、应用漂移、智能伸缩、自动恢复等功能。两个层次的分开,使得EcOS容器云平台本身就称为一个轻量和高效的云平台，在资源低占用的情况下为业务应用提供服务。EcOS容器云平台可以提供通用接口与这些系统/服务进行消息对接。通过远程通知与robot组件，ECoS容器云平台可提供基于TCP/UDP协议的消息告警或自定义通知，使得开发、运维、管理人员仍然可以在现有的系统之上完成一部分的容器管理工作。4.4系统技术架构HadOOP技术架构HadooP技术架构包括ZookeePer（简称ZK）集群、name集群、data集群、网关机集群，Zk集群部署在NamenOde1、Namenode2、Datanodel三个节点上，NameNodel和NameNode2为高可用模式（HA模式）；网关机根据具体业务职能进行区分，比如ETL、SParkSQL计算、数据挖掘等，在账户权限上也分别进行不同的管理策略。HbaSe技术架构网关机/API 1网关机/API网关机/AdminHadooP技术架构包括ZookeePer（简称ZK）集群、name集群、data集群、网关机集群，Zk集群部署在NamenOde1、Namenode2、Datanodel三个节点上，NameNodel和NameNode2为高可用模式（HA模式）,HMasterl和HMaSter2分别复用NameNodel和NameNode2的服务器，RegionSerVer分别复用DataNoCle的服务器；网关机根据具体业务职能进行区分，比如API、Admin等，在账户权限上也分别进行不同的管理策略。4.5系统技术参考模型技术耦合性技术标准化技术规范化4.6技术框架中的软件版本商品软件、开源软件的版本名称类型参数用途Hadoop开源CDH5.1.2离线数据存储JAVA开源1.7及以上应用环境Mysql开源5.6及以上关系型数据存储Nginx开源1.4.7及以上反向代理Linux开源CentOSrelease6.8操作系统Tomcat开源7.0及以上中间件Hbase开源CDH5.1.2实时数据存储ZooKeeper开源3.5.0分布式应用程序协调服务Storm开源1.0.3实时数据处理服务Spark开源2.2.0大数据计算引擎Scala开源2.12.3大数据计算语言环境Python开源2.6.6及以上数据挖掘语言环境Sqoop开源1.4.0及以上数据转换工具Kafka开源0.9.0.0及以上分布式消息系统4. 7系统部署方案和软硬件要求可用性ZooKeeper.HDFS.YARN、HBASE等服务均需要部署高可用模式，zookeeper节点部署在三台以上，无单点问题，任意一台存活都可以提供服务；HDFS.Hbase配置数据备份为3份及以上，理论上非三个数据节点同时故障都不影响数据的存储；YARN配置为数据节点同等或以上数量，只要计算节点非同时故障，服务不会停止。扩展性ZooKeeper.HDFS.YARN.HBASE均可以支持节点动态扩容，生产服务不需要停止服务或停机等待，扩容过程中也不会影响在线服务，考虑到数据平衡和网络影响，建议在业务低峰期进行扩容操作。部署方案及详细说明软硬件清单（含生产环境、测试环境等）5. 8生产环境现场硬件布点要求硬件订单（含场所、设备名称、用途、网络要求、电源、数量等信息）名称数量参考配置用途电源场所网络交换机2带光模块交换机内网数据交换建议双电自建机房内网Hadoop管理节点2CPU：E2620内存：16*6<:500G*4Hadoop管理节点建衩双电自建机房内网HadOoP数据计算节点5CPU：E2620内存：16*6硬叁：4T*8Had。OP数据存储和计算建衩双电自淀机房内网HBASE管理节点2CPU：E2620内存：16*6硬盘：50004Hbase管理节点建衩及电自建机房内网HBASE数据节点5CPU：E2620内存：16»6«：4T8Hbase数据存储堂议双电自建机房内网调度、工作机、啊、后台2CPU：E2620内存：166硬盘：500G*4任务提交、任务调度、Ireb服务等建议双电自建机房内网MYSQL集群2CPU:E2620内存：16«6硬盘：500G*4Mysql数据存储建吠双电自建机房内网6. 9系统集成集成规范与模式统一性耦合性7. 10系统接口8. 11系统安全身份认证授权处理网络安全在线监控资源安全应用备份方案数据备份方案4.12系统运维运维机制流程及保障5项目管理5.1 项目实施计划5.2 项目实施组织项目经理研发基于容器云的大数据平台,数据接入3人工作项人数开始时间结束时间基于容器云的大数据平台、数据接入32018/1/22018/2/28测运(ap(服务环境)12018/1/22018/3/31项目经理7项目管理)12018/1/22018/3/315.3 项目实施方法项目开发维护的实施中，严格按照IS09001国际质量体系进行控制，保证为用户提供优质的产品、严密的工程实施、高效的服务支持。为此，要遵循下列工程实施管理原则和保证体系。(1)有经验、成熟的技术队伍是工程实施的前提条件完成任何项目工程，必须拥有一支有经验的、勇于探索的、高水平的、具有严谨工作作风的技术队伍，在工程实施的过程中发挥团队协作精神和用户密切协作的能力。(2)管理层次分明、职责清晰是工程实施的基础建立层次分明的项目工程实施管理机构，明晰各层的管理职责，从组织管理的角度保证项目实施计划落到实处。(3)确定过程控制点，以过程质量保证整体工程质量整体都是由局部和具体的细节构成，项目由一个个过程环节组成，只有认真对待每一个过程细节，才能保证项目工程整体的实施质量。(4)用户参与是项目工程成功的保证从项目开始到项目的结束，每个阶段都强调用户的参与。开发商只有和用户相结合才能使开发出的系统为用户所用，发挥出系统的最大效益，而用户的参与也是系统顺利进行的保证。对本项目短时间、大范围的配置安装来说，如果有用户的高度参与，项目工程的实施将大大加快。5.4 项目职责划分(1)项目经理/制定项目计划：牵头制定项目计划。/项目执行：对总体方案设计及工程设计；配置确认；工程质量保证；系统设计、开发、测试、安装及调试；系统培训、验收。/项目检查：通过其下属各工作组提供的工程进展汇报，将项目进展状态与项目计划进度进行比较，发现过程误差，提出整改措施。/项目控制：审核项目进展状态，必要时调集各种备用资源，确保项目按计划进度实施。/项目协调：与客户、各分系统建设部门进行协调，解决工程组织接口及技术接口问题；定期主持系统建设协调会，及时解决各系统间出现的相关问题。/项目汇报：定期向项目采购单位汇报整个项目的进展情况，汇报在系统建设过程中出现的重大问题，听取指导和建议。(2)研发/负责项目应用软件的系统设计；/负责项目应用软件的程序编码；/负责项目应用软件的运行调试；/配合业主方进行系统验收。(3)测试/从使用者的角度完成系统操作步骤的设计，在实施过程中监控测试系统是否达到最初制定的操作目标，并编写业主操作手册。/检验系统开发质量，并进行功能测试。/当开始试运行阶段后，还要对项目的各个方面指标进行测试和评估。5.5 项目风险管理风险管理计划、策略及详细说明5.6 项目变更管理变更管理机制及流程5.7 项目培训及知识转移培训目标与手段培训组织与安排培训方式及对象6项目交付件及验收6.1项目正式交付物类型文档描述开发文档用户需求列表系统设计原型安装文档用户手册过程文档项目变更记录项目会议纪要管理文档事项跟踪列表项目里程碑计划工作说明书项目章程项目验收文件软件产品封装大数据应用接口的容器云平台ECOS6.2项目非正式交付物非交付清单6.3项目验收上线验收项目验收7质量保证及服务承诺质量控制方法质量管理记录违约条款8运维及升级方案运维时间运维要求与内容升级服务策略9.其他约定作品及内容所有权使用许可权附录：后续运维服务相关政策等