物流大数据平台可行性研究报告.doc

《物流大数据平台可行性研究报告.doc》由会员分享，可在线阅读，更多相关《物流大数据平台可行性研究报告.doc（69页珍藏版）》请在三一办公上搜索。

1、行业大数据平台可行性研究报告项目承担单位：XX项目编制单位：XX项 目 负 责 人： 编 制 日 期：目 录第1章 项目概述11.1 项目名称11.2 项目承担单位11.3 编制依据11.4 项目建设内容11.5 项目建设原则21.6 投资估算31.6.1 主要依据31.6.2 投资估算31.7 效益目标41.7.1 绩效目标41.7.2 效果目标4第2章 建设背景及可行性52.1 建设背景52.1.1 时代背景52.1.2 政策背景52.1.3 业务背景62.2 项目可行性72.2.1 政策环境可行性72.2.2 技术可行性82.2.3 经济可行性8第3章 需求分析93.1 非功能性需求93

2、.1.1 灵活性需求93.1.2 安全性需求103.1.2.1 数据安全103.1.2.2 应用安全103.1.2.3 系统存取权限控制103.1.2.4 数据保密需求113.1.2.5 灾难恢复需求113.1.3 系统集成需求123.1.3.1 基础设施类集成123.1.3.2 业务应用类集成133.1.3.3 安全体系集成133.2 功能性需求133.2.1 整体用例图133.2.2 建设内容13第4章 方案设计144.1 建设目标144.2 设计理念144.3 设计原则164.4 总体架构设计174.5 技术架构设计184.6 网络拓扑设计204.7 系统非功能性设计214.7.1 跨平

3、台性214.7.2 系统安全设计214.7.2.1 数据层安全214.7.2.2 Web层安全224.7.2.3 应用层安全224.7.2.4 备份和恢复244.7.3 系统稳定性和高可用性设计254.7.3.1 数据预处理系统稳定性和高可用性设计254.7.3.2 海量数据存储检索系统稳定性和高可用性设计254.7.3.3 数据智能挖掘分析系统稳定性和高可用性设计264.7.4 系统扩展性设计264.7.5 低耦合设计264.7.6 系统的实用性274.8 技术路线和关键技术274.8.1 面向服务（SOA）的架构274.8.2 遵循XML数据标准294.8.3 基于Web Service技

4、术304.8.4 组件技术和模块化构造304.8.5 反爬虫机制314.8.6 反反爬虫采集324.8.7 业务流程控制344.8.8 大数据处理分析技术354.8.8.1 云存储系统设计354.8.8.2 分布式数据库系统设计364.8.8.3 分布式计算架构设计364.8.8.4 安全保障体系设计374.8.8.5 HDFS分布式文件系统374.8.8.6 MAP/REDUCE 分布式并行数据处理384.8.8.7 Spark实时计算框架384.8.8.8 ZOOKEEPER协调调度系统394.8.8.9 大数据分析404.8.9 机器学习424.8.9.1 基于大数据的机器学习424.8

5、.9.2 Spark 机器学习库MLLib434.8.9.3 TensorFlow434.8.10 自然语言处理444.8.10.1 自动分词444.8.10.2 关键词提取444.8.10.3 文本摘要454.8.10.4 命名实体识别454.8.10.5 自动分类454.8.10.6 文本内容抽取454.8.10.7 数据入库464.8.11 数据可视化464.8.11.1 基本概念464.8.11.2 数据可视化标准474.8.11.3 数据可视化474.9 集群部署484.9.1 副本技术494.9.2 纠删码技术494.9.3 HA技术504.9.4 SAN架构集群存储HA方法51第

6、5章 应用系统建设535.1 网络信息采集子系统535.1.1 网络信息采集535.1.2 信息编辑发布555.2 网站管理子系统575.3 信息报送子系统575.4 问卷调查子系统575.5 信息共享子系统575.6 数据统计子系统575.7 系统管理57第6章 投资估算576.1 主要依据576.2 总体费用576.3 系统开发586.4 服务器配置60第7章 项目进度计划62第8章 结论与建议62第1章 项目概述1.1 项目名称项目名称：XX 1.2 项目承担单位项目承担单位：XX项目负责人： 1.3 编制依据本报告的编制依据主要包括以下内容：国务院关于积极推进“互联网+”行动的指导意见

7、（国发201540号）；促进大数据发展行动纲要 （国发201550号）；北京市大数据和云计算发展行动计划（20162020年）；计算机信息网络国际联网保密管理规定国家保密局；计算机软件产品开发文件编制指南（GB8567-88）；计算机软件开发规范（GB8566-88）；计算机软件质量保证计划规范（GB/T12504-90）；计算机病毒防治管理办法中华人民共和国公安部令第51号；其他法律法规、相关文件等。1.4 项目建设内容本项目行业大数据平台主要建设内容为：1.5 项目建设原则系统的总体设计应遵循高标准严要求的原则，具备技术的稳定性和业务系统的实用、方便性。1先进性和前瞻性在应用系统实用、高效

8、的基础上，采用先进的信息技术，适应未来6-8年技术发展趋势，具备一定的前瞻性，并保证系统管理、维护、升级和扩展的方便性。2开放性及可扩展性由于本项目中建设的平台将为今后几年全国XX相关数据收集分析工作提供支撑，因此要求软件平台应具有良好的可扩充、扩展能力，能够方便进行系统升级和更新，以适应今后业务的不断发展。3 安全可靠性选用的主机服务器要求能够支持高可用的持续服务技术，能够连续724小时不间断工作，出现故障及时告警，具有完整的操作权限管理功能和完善的系统安全机制，保证系统正常可靠运行。4 保护投资保护既往投资、整合现有资源。系统建设立足对已有业务应用系统和数据库等资源的完善与整合，重视业务流

9、与信息流的结合和重组优化，使既往投资和现有资源发挥更大作用。5易于管理维护建设时充分考虑到管理维护的需要，保证系统建成后易于管理和维护。1.6 投资估算1.6.1 主要依据1. 原国家发展计划委员会、信息产业部：电信建设管理办法2. 信息产业部通信建设工程投资估算指标（试行）3. 关于认真开展电子工程监理的通知信息产业部信规（2000第206号文件）4. 信息系统工程造价指导书 中国市场出版社5. 项目需求及市场调研。1.6.2 投资估算根据项目建设的内容和规模，依据国家有关部门的相关规定，在市场调研的基础上，综合考虑需求分析费、系统设计费、应用软件开发费、系统集成和调试费等，XX行业大数据平

10、台建设总投资估算为 XX 万元，各分项价格如下表所示：序号分项分项描述金额（万元）1需求分析项目需求调研，解决方案讨论，产品原型图设计与确认2UI、UE设计所有页面、交互设计、UI效果图设计与确认3系统开发系统程序开发4数据移植现有数据移植5项目管理、测试与发布项目管理、集成测试、部署与培训、产品发布Grand Total 总计：项目总投资估算表1.7 效益目标1.7.1 绩效目标质量目标：系统建设之前，项目组会充分研究讨论，并广泛收集专家意见制定出最适合本项目的质量控制标准，保证承建方严格按照质量要求建设。时效目标：与系统建设之前相比，系统建设投入使用以后可提高工作效率70%以上。成本目标：

11、软件及实施、培训等投入控制在XXX万元人民币以内。1.7.2 效果目标经济效益目标：系统不直接产生经济效益。但系统运行以后可增加中心影响力，提高服务能力，为XX行业发展等提供数据支撑，为各单相关企业节省支出，按照目前行业发展水平及相关服务费用计算，每年可增加收入约XX万元。社会效益目标：提高管理水平，降低管理层管理难度，提高用户满意度，促进行业发展。环境效益目标：本项目作为信息化建设的重要组成部分，在提高数字化水平，改善管理环境中起到至关重要的作用。可持续目标：经过充分的系统论证，前瞻性的建设规划，开放式的平台接口，在国家相关政策下本系统使用期限在6-8年以上。满意度目标：项目建设完成投入使用

12、以后，要达到所有使用者满意度不低于80%。第2章 建设背景及可行性2.1 建设背景2.1.1 时代背景当今人类社会已经进入数字化和信息化时代，主要特征就表现在高效性、多样性、综合性等，在这样的时代背景之下，人们的生活质量显著提高，计算机技术的发展是数字化和信息化时代出现的根本原因，在社会的各行各业之中，由于计算机技术的广泛应用，企事业单位开始建立计算机网络平台，实现了信息的数字化管理，同时各企事业单位之间可利用互联网进行信息的交流与沟通，进一步扩展了数字化和信息化的普及范围，数字化和信息化在世界范围内迅速普及，正在对经济、政治、文化、科技、军事等各个领域产生重大影响，深刻改变着人们的生产、工作

13、和生活方式，并将继续对人类精神文明和物质文明产生深远影响，引发人类社会生活层面的各种变革。2.1.2 政策背景2015年9月5日，经李克强总理签批，国务院印发促进大数据发展行动纲要（以下简称纲要），系统部署大数据发展工作。纲要是到目前为止我国促进大数据发展的第一份权威性、系统性文件，从国家大数据发展战略全局的高度，提出了我国大数据发展的顶层设计，是指导我国未来大数据发展的纲领性文件。纲要提出，要加强顶层设计和统筹协调，加大大数据关键技术研发、产业发展和人才培养力度，着力推进数据汇集和发掘，深化大数据在各行业创新应用，促进大数据产业健康发展；完善法规制度和标准体系，科学规范利用大数据，切实保障数

14、据安全。2017年1月17日工业和信息化部印发大数据产业发展规划（20162020年），规划指出创新大数据技术服务模式。加快大数据服务模式创新，培育数据即服务新模式和新业态，提升大数据服务能力，降低大数据应用门槛和成本。围绕数据全生命周期各阶段需求，发展数据采集、清洗、分析、交易、安全防护等技术服务。推进大数据与云计算服务模式融合，促进海量数据、大规模分布式计算和智能数据分析等公共云计算服务发展，提升第三方大数据技术服务能力。推动大数据技术服务与行业深度结合，培育面向垂直领域的大数据服务模式。2.1.3 业务背景XX是现代经济的核心之一，国务院印发的XX业发展中长期规划(20142020年)明

15、确提出要以提高XX效率、降低XX成本为重点。因此，在大数据时代背景下，XX行业也必须高度重视统计数据。XX大数据可以划分为三类：第一是微观层面，包括运输、仓储、配送、包装、流通加工等，第二是中观层面，最显著的影响是横向流程延拓，纵向流程压缩简化；从供需平衡角度出发，为供方(XX企业)提供最大化的利润，为需方提供最佳的服务；第三是顶层设计，利用大数据技术把握行业动态，预测发展趋势，实现行业顶层规划设计。XX大数据发展比较缓慢。从细分市场来看，医药XX、冷链XX、电商XX等都在尝试赶乘大数据这辆高速列车，大数据在XX中的应用贯穿了整个XX的各个环节。主要表现在XX决策、XX企业行政管理、XX客户管

16、理及智能预警等过程中。XX业务具有突发性、随机性、不均衡性等特点，通过大数据分析，可以有效了解用户偏好，市场情况，预判可能，提前做好准备，从而为行业健康快速发展奠定基础。XX现行网站及相关业务系统建设时间较早，在当前使用过程中，存在诸多问题，包含如下：业务边界较窄：中心工作任务相对系统建设初期有了较大变化，现有系统所支撑业务范围较窄，如政策信息、XX数据的采集、统计分析等，现有信息系统已无法满足新的需求； 业务模式不足：中心工作任务涵盖省市级、地市级、地方社团三级体系相关数据报送，现有系统所支撑业务的业务流程相对单一，已无法更快更准确的对用户需求做出响应；业务规模较小：现有信息系统所支撑业务的

17、业务量、用户量较小，并发量达到一定规模时系统会发生卡顿甚至崩溃；数据安全无法保障：由于系统建设时间较长，为数据处理系统建立和采用的技术和管理的安全保护手段已无法更新维护，计算机硬件、软件和数据会有遭到破坏、更改和泄露的危险，其中数据包含各企业详细信息、统计数据及相关保密数据等，发生泄漏后会造成不可预估的损失。综上所述，在当前背景下，为了强化经济、XX等数据监测分析，建立规范化指标体系，推进数据共享和业务协同，为决策提供及时、准确、可靠的信息依据，提高工作的前瞻性和针对性，加大宏观调控力度，XX中心行业大数据平台建设显的非常必要和迫切。2.2 项目可行性2.2.1 政策环境可行性2015年9月，

18、经李克强总理签批，国务院印发促进大数据发展行动纲要，自此“大数据”“云平台”等政策措施密集出台，自“大数据”上升为国家战略以来，国家部委和地方政府纷纷发布“大数据”领域的政策文件。2017年1月工业和信息化部印发大数据产业发展规划（20162020年），提出全面提升我国大数据的资源掌控能力、技术支撑能力和价值挖掘能力，“大数据”环境愈加坚实，为XX行业大数据平台建设指明了方向。 2.2.2 技术可行性目前，XX行业大数据平台的核心是对数据的收集、处理与分析，通过整合数据和业务流程流转控制实现业务系统相关功能，架构一个能够提供数据采集、流程控制和挖掘分析服务的大数据技术处理平台，并具有健壮性、可

19、扩展性和技术先进性，目前国内相关技术已达到实用水平，并有了相对成熟的产品，为上述实现提供了可能。本平台建成后与现有系统比较主要优越性有：简单性：在实现平台的功能的同时，尽量让平台操作简单易懂，这对于一个平台来说是非常重要的。针对性：该平台设计包含网上数据报送及后台管理等定向开发设计，具有专业突出和很强的针对性。实用性：该平台能完成相关数据采集、调查、报送等，具有良好的实用性。2.2.3 经济可行性XX行业大数据平台建设将本着减少重复建设、节约投资、充分利用已有资源、协调利用已有互联网管理系统资源的原则进行建设。本项目作为信息中心的主要保障条件建设项目，建成后可提升中心的服务环境、提高工作效率和

20、科学管理水平，直接和间接地产生效益。一次性收益缩短各业务人员数据报送、审核周期，提高工作效率，可以依据缩短时间的天数和工作量的减少，酌情不再新增办公人员，使劳动力资源得到更合理的利用，从而降低了信息化建设项目成本，避免了消耗，减少了管理费用的支出等。不可定量收益使管理人员决策及时、准确、更科学化；使信息中心上下级的信息流通结构更趋合理；提高中心公信力，扩大影响力，增强竞争力；提高用户满意度等。以上这些方面的效益一般不能通过定量计算得到，具有一定的隐含性质和延迟性，但对于XX的管理以及发展、壮大都具有不可定量的收益。第3章 需求分析3.1 非功能性需求3.1.1 灵活性需求本部分主要说明XX行业

21、大数据平台要具备适应需求发生变化（业务变化及机构变化）的能力。（1）平台在设计时，应充分考虑XX业务需求的变化和功能整合的可扩展性、方便性、快捷性，以适应可能的各种变化和发展。（2）应充分考虑系统与机构的无关性、与硬件的无关性及处理存储分布性，当业务需求发生变化时，能快速修改业务过程，对已有系统的影响尽可能小，对程序的改变只涉及相对独立的局部，而不会对其他部分或整体造成影响。（3）平台应具有独立性，应充分考虑使用开放性标准来确保相对独立于硬件和软件产品厂商，同时易于实现软硬件系统集成。3.1.2 安全性需求3.1.2.1 数据安全（1）数据在传输过程中，对敏感数据进行加密；（2）所有对敏感数据

22、的存取权限应该严格控制，并利用日志进行全程记录跟踪；（3）对登录过程进行监管、记录以控制对敏感数据的存取。3.1.2.2 应用安全（1）为开发、测试、培训和运行提供各自独立的环境，以便软件集成的维护和版本的有效控制；（2）建立程序改进过程，以便加强软件版本控制；（3）在控制和审计状态下完成计算机设备和软件的安装；（4）在确认测试成功后运行系统。3.1.2.3 系统存取权限控制（1）定义与登录系统活动相关的日志文件，比如成功登录和不成功登录活动、授权用户账号活动、用户存取权限变更、软件密码的改变和修改等活动；（2）系统保存的日志可以提供充分的信息以支持审计和安全度量；（3）日志需要保存一定的时间

23、；（4）采取严格的密码设定策略，比如：最小的密码长度、最初的任务、限制词和格式、密码声明周期、用户密码指南等；（5）用户在授权下访问网络资源；（6）对远程系统的连接进行验证；（7）实施严格的系统监管，以确保各类操作满足存取权限标准。3.1.2.4 数据保密需求XX行业大数据平台中包含大量企业数据和敏感信息。因此系统在设计时要求制定一套有效的保密措施以确保这些信息的保密性，同时需要预防外部侵扰的破坏，防止信息泄露。（1）系统须防止非法访问、修改数据。除根据有关法律、法规而进行的数据披露外，这些数据不能被泄露；（2）系统须采取“录入复核”双人操作，确保变更的准确性和有效性，所有的历史信息必须被保存

24、并能够被查询，同时要采用详细的日志记载修改的操作。3.1.2.5 灾难恢复需求XX行业大数据平台包含敏感信息，所以必须有较高的健壮性，有完整的数据备份及灾难恢复机制。这里所说的灾难，是指计算机系统受火灾、水灾或人为破坏而产生的严重的后果，灾难恢复是指灾难产生后迅速采取措施恢复计算机系统的正常运行。（1）本系统中的重要网络和计算机设备、以及重要的通信线路，需要采用冗余备份措施（冷备份、热备份和负载均衡相结合）；（2）本系统中的数据，除了要采取各种备份措施之外，还必须设立一整套完善的灾难恢复机制；（3）在数据备份过程系统应对数据进行压缩，以便使数据量尽可能小，减少存储空间；（4）数据在恢复时要指定

25、介质、时间、数据类型、机构等相关信息，经过确认后才可以恢复，以避免错误覆盖现象；（5）备份的介质要编写序号，归档管理，专人负责保管。3.1.3 系统集成需求平台数据吞吐量大，计算密集度高。在系统集成里，要充分考虑整个系统数据量大小、数据流量和处理量的大小，在此基础上对整个系统的基础设施、业务系统和安全体系进行集成，涵盖了总体技术架构设计、主机和存储设计、各种系统的选型与集成、已有系统及数据的迁移、各种硬件设备配置和报价、所提供的各种服务等。3.1.3.1 基础设施类集成基础设施类的集成包括：网络系统集成、计算设备安装调试、系统软件或工具的部署调试。基础设施的集成主要体现在设备的采购、物理连接、

26、安装、部署、调试、验收等方面。网络连接可分解成内网连接、外网连接、网络设备安装调试等。计算设备集成可分解成主机系统、存储系统、备份系统的安装和调试。软件开发工具和支撑环境可分解成数据库管理系统、智能检索系统等。建设XX行业大数据平台局域网，进行软硬件系统集成，系统应该具有平台独立性，应充分考虑使用开放性标准来确保相对独立于硬件和软件产品厂商，同时易于实现软硬件系统集成。3.1.3.2 业务应用类集成应用集成是在不同的应用系统之间实现功能的调用，通过应用集成实现不同系统功能和信息共享；还有一类应用集成是具有数据分析应用的子项系统需要调用支撑平台上面部署的统计分析工具提供的功能，实现工具的集中部署

27、，分布应用。这些功能的调用需要按照不同工具提供的访问模式和信息交换格式进行。3.1.3.3 安全体系集成安全体系涉及系统的所有层面，集成时要通盘考虑。其中，网络的安全管理和网络建设息息相关。应用安全体系和应用系统的建设和集成关系紧密。XX行业大数据平台要实现稳定、持续运行，实现用户认证、权限管理、数据安全备份和灾难性恢复等安全保障功能。3.2 功能性需求3.2.1 整体用例图3.2.2 建设内容通过对XX业务的梳理，本项目主要建设内容分为以下几个模块：1. 一体化网站：2. 数据报送：3. 网络信息采集：4. 整合企业资源5. 灵活可控的统计指标体系管理；6. 依据数据挖掘、机器学习平台等实现

28、对XX数据、仓储数据的深度挖掘统计，实现数据统计可视化展示等。7. 数据迁移：已有数据库（包括数据库和文件）完整移植（导入、校验）等。第4章 方案设计4.1 建设目标项目以“技术引领，应用为本”为核心导向，以政企用户为主要服务对象，以分布式并行计算框架为基础，充分应用多元数据存储、大规模数据检索和智能文本挖掘、机器学习等先进技术，构建XX行业大数据平台。大数据平台包括数据预处理系统、海量数据存储检索、数据智能挖掘分析。数据预处理系统实现对多源数据的接入、预处理和数据入库等功能；数据统一存储在海量数据存储检索系统中，实现数据的统一存储、管理、检索等功能；同时，为应用层提供数据智能挖掘分析服务，及

29、对数据进行准确分析，提供潜在的有价值的信息。4.2 设计理念XX行业大数据平台的建设应当采取：“制定规范搭建框架业务开发集成”的模式，其中“制定规范、搭建框架”最为重要。具体的开发模式如下图所示：开发模式示意图采用这种模式是出于以下几点考虑：项目设计和建设过程中，必须加强标准化建设，发挥标准化的指导、协调和优化作用，少走弯路，提高效率，确保系统运行安全，发挥预期效能。平台建设任务重、业务专业性强，要想高效地完成实施，必然要并行展开，分步实施。为此需要首先搭建整体框架。各个子系统的实施必须在整体框架中进行。行业大数据平台面临集成问题，包括新建各个业务系统的集成、与现有地方协会系统和其它部门的数据

30、交换等。为此，采用首先搭建框架，在框架解决集成接口的问题，各个业务系统也通过框架接口与外部交互，从而统一了要集成系统与平台的交互界面，简化了业务系统的接口工作。大数据平台建设是个不断发展完善的过程，功能将会不断修改、扩充，一个好的框架可以确保系统在修改、扩充时，影响范围最小。4.3 设计原则大数据平台建设要做到“两结合一兼顾”。首先是技术先进性与成熟性相结合，既要保持一定时期内技术领先性，又要实现系统运行的稳定性。其次是应用需求和客观条件相结合，设计低成本高效用的建设方案，同时兼顾系统的可扩展性、可靠性、安全性等要求。1. 实用性与可行性：根据业务需求，既要最大限度地满足业务上的各项功能要求，

31、又要确保实用性，具有良好的性能价格比；2. 先进性：采用先进、成熟、实用的技术，既要实现各业务部门的功能，又要确保在未来几年内其技术仍能满足应用发展的需求；3. 开放性：采用的各种设备（软、硬件）均应符合通用标准，符合开放设计原则，使用的技术要与技术发展的潮流吻合，具有良好的开放性、技术延伸性、技术亲合性，要充分考虑后期工程的需要。能够满足业务不断增长的需求。在软件、协议、服务和传输方面提供更多选择，使用模块化设计、集群分布方案，可根据需求变动适当取舍；4. 安全性：保证数据的高安全性，从设备和技术上采取必要的防范措施（物理隔离、防火墙和防毒墙技术），使整个网站在受到有意、无意的非法侵入时，被

32、破坏的可能达到最小程度；5. 可靠性和容错性：在设计中要考虑整体的可靠性，根据设备的功能、重要性等分别采用冗余、容错等技术，以保证局部的错误不影响整体运行；6. 可伸缩性：支持多种硬件平台以及不断发展的业务和用户需求；7. 灵活性：易于修改，并可在软件、协议、服务和传输方面提供更多选择，使用模块化设计方案，可根据需求变动适当取舍。8. 可管理性：能够实时地管理网站运行，动态配置资源，构成高效安全的运行环境，监视系统中的错误，及时排除故障，使整个系统能够坚持长时间的无故障运行；9. 易维护性：系统的管理、维护和维修应具有简易性和可行性。4.4 总体架构设计根据大数据处理技术平台项目的建设要求，总

33、体架构图如下图所示：系统架构图 数据源：包括各子系统应用数据、报送数据、网络信息采集数据及系统运行数据等。 大数据计算：包括数据清洗、数据入库、数据计算、数据挖掘等。 服务接口：web服务、rest服务、标准接口（包括API、HTTP、Web Service、微服务等）。 业务应用：根据权限模型对各用户（各业务部门、服务使用者及决策者等）提供高效完善的系统应用服务。4.5 技术架构设计技术架构技术架构主要包括数据集成、数据存储、数据处理计算、数据智能挖掘分析。 数据集成采用sqoop、flume、kettle等实现数据的接入、转换、入库等操作，同时采用文本挖掘系统对数据进行预处理操作。 数据存

34、储采用Hadoop分布式文件系统(HDFS)，分布式数据库HBase进行数据存储，并通过rdbms关系数据库管理系统对关系型数据库进行管理，支持海量数据存储、高效索引和检索等服务。 数据处理计算基于yarn、zookeeper的Hadoop 集群安装，通过ooize、spark、hive等提供数据处理计算服务。 数据智能挖掘分析主要是实现大规模数据的挖掘分析功能，由实时计算框架（Spark Streaming）、离线计算框架（MapReduce）以分布式消息队列（Kafka）、数据挖掘引擎（Mahout）构成。针对数据特点，智能分析模型系统结合了业界最领先的技术提供丰富的数据挖掘、机器学习服务

35、，可以满足各种数据处理存储的应用场景。整个系统中的各个分系统都提供接口服务，接口方式包括包括API、HTTP、Web Service、微服务等，通过接口的调用，可以灵活构建丰富的上层系统功能应用。4.6 网络拓扑设计平台通过数据接收服务器接收不同数据源的数据，接收到的数据会临时落地，再经由数据推送服务器创建数据推送任务，调用预处理服务器的数据预处理子系统和智能分析服务器的智能分析子系统进行数据推送、数据处理及数据入库服务，数据入库后进行数据存储、索引，并可对外提供检索服务和智能分析服务。各服务平台均提供对外接口，供系统间及第三方平台调用，接口详细设计系统接口设计。4.7 系统非功能性设计4.7

36、.1 跨平台性大数据处理技术平台具有跨平台性，可以运行在常见操作系统（Windows或Linux）和应用服务器中间件平台上，支持私有云和公有云平台部署。4.7.2 系统安全设计4.7.2.1 数据层安全数据层的安全主要是指保护数据库以防止不合法使用造成的数据泄露更改或者破坏，用来保证数据库中数据的完整性，一致性以及数据库备份与恢复。数据库的安全性和计算机系统的安全性（包括操作系统、网络系统的安全性）相互联系，相互支持，只有各个环节都安全，才能保证数据库的安全性。当前对数据库安全的威胁主要分为物理上的威胁和逻辑上的威胁。物理上的威胁指水灾火灾等造成的硬件故障，从而导致数据的损坏和丢失等。为了消除

37、物理上的威胁通常采用备份和恢复的策略。逻辑上的威胁主要是指对信息的未被授权的存取。为了消除逻辑上的威胁，DBMS必须提供可靠地安全侧罗，以确保数据库的安全性。当前所采用的数据库安全技术主要有标志和鉴别、访问控制、信息流控制、推理控制、审计和加密等，其中目前应用最广也最为有效的是访问控制技术。访问控制就是当主体请求对客体访问时，系统根据主体（进程）的用户和组的标识符、安全级和权限，客体的安全级、访问权限以及存取访问的检查规则，决定是否允许主体对客体请求的存取访问方式（读、写、修改、删除、加入记录等）的访问。4.7.2.2 Web层安全Web层安全致力于解决诸如如何有效进行介入控制，以及如何保证数

38、据传输的安全性的技术手段，防护方法包括四个方面：防火墙、VPN、反病毒软件，以及入侵检测系统(IDS)。防火墙（作为阻塞点、控制点）能极大地提高一个内部网络的安全性，并通过过滤不安全的服务而降低风险。通过以防火墙为中心的安全方案配置，能将所有安全软件（如口令、加密、身份认证、审计等）配置在防火墙上。与将网络安全问题分散到各个主机上相比，防火墙的集中安全管理更经济。例如在网络访问时，一次一密口令系统和其它的身份认证系统完全可以不必分散在各个主机上，而集中在防火墙一身上。VPN是利用开放的公共网络建立一个安全的专用数据传输通道,采用加密和认证技术,利用公共通信网络设施的一部分来发送专用信息,为相互

39、通信的节点建立一个相对封闭的、逻辑的专用网络。目前VPN主要采用4项技术,分别是隧道技术、加解密技术、密钥管理技术、使用者与设备身份鉴别技术。入侵检测系统通过网络上的所有报文，分析处理后，报告异常和重要的数据模式和行为模式。4.7.2.3 应用层安全应用层是开放系统的最高层,是直接为应用进程提供服务的。其作用是在实现多个系统应用进程相互通信的同时,完成一系列业务处理所需的服务。保障应用层的安全包括使用FTP、SMTP、HTTP、DNS等协议。平台开发及应用安全防护设计1. 采用分层的体系架构，使得Web层、应用层、数据层有效地分离，用户不会直接访问到核心数据库系统。2. 全文检索、分析和发布系

40、统基于EJB/J2EE技术平台进行开发，通过跨平台的应用服务保证系统能够进行稳定地部署，提高系统安全性。3. 为了保证数据实时更新，以及符合动态权限管理要求，系统采用动态发布的方式，在系统后台提供应用程序。4. 辅助提供密码加密措施，即用户信息、密码等私密数据需要以密文方式存储，即使黑客访问到后台数据库，也无法获得私人信息。5. 提供用户身份标识唯一和鉴别信息复杂度检查功能，保证应用系统中不存在重复用户身份标识，身份鉴别信息不易被冒用。6. 提供登录失败处理功能，可采取结束会话、限制非法登录次数和自动退出等措施。7. 启用身份鉴别，用户身份标识唯一性检查、用户身份鉴别信复杂度检查以及登录失败处

41、理功能，并根据安全策略配置相关参数。8. 建立完整的系统管理、栏目授权认证体系、数据审核机制。采用权限管理机制，使得只有有权限的用户才能对相关信息进行操作。并且，将操作的权限进行细分，可以对浏览、编辑、管理单独授权同时，在数据量增大的情况下，为了保证平台能够提供优异的访问性能，在系统设计中采用了自动分库的手段，不同类型的分析数据分库进行存放，这样的设计模式一方面保证了分析工具不至于承担很大的分析负荷，另一方面数据分库存储，也减少了数据库被破坏的风险。4.7.2.4 备份和恢复根据数据要求及运行情况，提供本地数据备份与恢复功能，完全数据备份至少每天一次，备份介质场外存放。本项目在不降低业务系统性

42、能的条件下保证数据完整性、业务连续性、运行不间断性和快速恢复性。备份方式：逻辑备份简述：逻辑备份包括读一个数据库记录集和将记录集写入一个文件中。这些记录的读出与其物理位置无关。备份模式：完全备份模式逻辑备份分为三种模式：表备份、用户备份和完全备份。完全备份模式3种导出方式1.完全增量导出(Complete Export)把整个数据库文件导出备份。2.增量型增量导出(Incremental Export)只备份上一次备份后改变的结果。3.累积型增量导出(Cumulate Export)导出自上次完全增量导出后数据库变化的信息。（三）备份方案采用下面的方式进行每天的增量备份。周一： 完全备份（A）

43、；周二： 增量导出（B）；周三： 增量导出（C）；周四： 增量导出（D）；周五： 累计导出（E）；周六： 增量导出（F）；周日： 增量导出（G）；这样可以保证每周数据的完整性，以及恢复时的快捷和最大限度的数据损失。4.7.3 系统稳定性和高可用性设计系统的稳定性、高可用性即数据报送子系统、数据采集子系统、数据预处理子系统、海量数据存储检索子系统、数据智能挖掘分析子系统等，各系统满足724小时不间断工作，不存在单点故障。4.7.3.1 数据预处理系统稳定性和高可用性设计数据预处理服务器支持双机备份，当主机发生宕机时，备机自动接管该服务器管理的数据处理任务，以及远程执行引擎列表。由此保证了数据接入

44、、转换、入库等操作的稳定性和高可用性。接入数据后对数据进行预处理时使用文本挖掘系统，同时对服务器进行任务的调度，当某一个服务器发生故障时，调度器会启动另外一个服务器进行数据的预处理操作，实现了热备，保证数据预处理环节的稳定性和高可用性。4.7.3.2 海量数据存储检索系统稳定性和高可用性设计海量数据存储检索系统采用多副本机制，一个索引可由多个子集组成，分布在不同的节点上，实现分布式检索；索引的各个子集可在不同的节点上存储多个副本，索引子集多副本实现了容灾备份，避免单点故障，同时也实现了负载均衡，提高并发检索能力。由此保证海量数据存储检索系统的稳定性和高可用性。4.7.3.3 数据智能挖掘分析系

45、统稳定性和高可用性设计数据智能挖掘分析系统采用CKM STA架构对CKM服务器进行任务的调度，当某一个CKM服务器发生故障时，STA调度器会启动另外一个CKM服务器进行数据的挖掘分析，实现了热备，保证数据智能挖掘分析环节的稳定性和高可用性。4.7.4 系统扩展性设计系统需要满足至少6-8年使用需求，扩展性要求是系统设计需要首要考虑的问题，我们按照以下原则进行系统设计，以达到系统可灵活扩展满足随着时间推移和技术进步等出现的新需求。1.高效管理服务器的数量、性能系统提供自动管理机制满足高效管理服务器数量灵活增加及性能控制。2.快速提高存储容量，加快响应速度系统存储容量可根据实际情况便捷、灵活扩展，

46、以满足要求和提高响应速度。3.保证功能模块的独立性，可根据用户需求自由增删模块各模块间采取松耦合方式运作，更有利于系统维护管理，相互间互不影响，并且可提高灵活配置和自由增删模块的便捷性。4.与现行系统进行数据对接，实现数据的共享与交换系统提供二次开发接口，可灵活定制与其他系统进行数据对接和数据共享和交换。能够将其他系统数据接入大数据平台。4.7.5 低耦合设计平台总体软件体系结构遵循J2EE标准，运行在J2EE应用服务器平台上；采用面向服务体系结构设计；系统采用三层架构的体系结构，具有灵活的扩展性和良好的移植性。业务开发和建设遵循XML、Web Service 标准规范。大数据处理技术平台各个系统都提供接口，以便于二次开发。各模块间采取松耦合方式运作，更有利于系统维护管理，相互间互不影响，并且可提高灵活配置和自由增删模块的便捷性。4.7.6 系统的实用性该系统能达到好用、易用和实用的标准。实用性包括当前实用性和未来实用性。因此需要最大限度地满足当前的业务需求，同时又要兼