电子支付大数据项目解决方案说明书.docx

《电子支付大数据项目解决方案说明书.docx》由会员分享，可在线阅读，更多相关《电子支付大数据项目解决方案说明书.docx（14页珍藏版）》请在三一办公上搜索。

1、电子支付项目解决方案说明书XX科技股份有限公司编制目录一、项目存在问JB及需解决问题31 .存在问题32 .需解决何跑4二、解决方案71 .解决方案架构72 .关键技术8(1) )I1.adoop8(2) SpringMVC9(3) MyBatis9(4) Echarts9(5) MySQI9(6) Hive10(7) HBASE10(8) Zookceper10(9) F1.ume11三、开发范围111 .数据生产112 .数据采集/消费113 .数据分析124 .数据展示13一、项目存在问题及需解决问题1.存在问题1、电子支付的安全性问题电子支付作为一种新兴的支付手段从一开始就受到了各方的

2、普遍关注，特别是对于普通用户。但一直以来，电子支付的安全性问题都是网络银行、卖家、买家叔为关心的问题，也成为用户不选择电子支付的首要原因。根据iResearch2006年度电子支付报告书显示，66.1%的用户将交易不安全列为不选择电子支付的第一原因。2,电子支付业的规范性问题中国目前的网络银行体系基本上是属于实体银行在因特网上的延伸。但由于各个网络银行业务是由各银行独立开发、推销、开发模式、业务范围和发展规模有较大的差异，发展不均衡。如信用卡业务，各银行展开了激烈的竞争，却不能达成内部的一致协议，实现信用卡的跨行结算。这种规范标准不统一的局面既造成重复建设、浪费资金,使得整个金融结算系统不能满

3、足消费者方便，快捷的要求。3,电子支付业监管问题网络银行作为传统银行补充产物的出现对同传统的银行监管手段提出了新问题，由于传统的费本管制手段对网络银行失去意义，而针对网络银行的监管体制还未建立。监管当局必须研究网络银行监管中发生的新问题，如网络金融机构发行电子货币可能对国家货币政策产生的冲击，对资本市场的资金流产生的影响，使用电子货币进行网上支付还会引发比传统支付手段高得多的交易风险。4,电子支付的法律支持问题迄今为止，电子支付业务在我国已经开展8年之久了，然而我国关于电子商务的立法还不完备，甚至可以说是很缺乏。目前为止，仅有中华人民共和国电子签名法和电子支付指引两部法律法规。虽然，电子签名法

4、的实施为我国电子商务法制环境的完善奠定了基础，也使网络虚拟世界与现实世界可以对应。但就目前的情况来看，电子商务和电子支付的立法问题和法律环境还远远没有解决。与电子签名法的颁布同时进行的公司法、票据法、证券法、拍卖法等法律的修订，也未能体现与电子签名法的衔接。5、电子支付中的权利义务及责任区分问题我国现在关于电子支付的法律规范体系尚未完善，法律法规中对于电子支付中的银行，商户以及消费者之间的权利义务没有明文规定,也没有明确指出在电子支付过程中发生的金融交易各方应当承担的法律责任，这样很容易产生纠纷。而且，关于产生纠纷后的解决方法没有相关的法律规定来指导，纠纷更是难以及时解决。2.需解决问题我国的

5、电子支付业务发展取得了重大成果.但与国外横向比较。总体发展还处于较低的水平，存在诸多制约银行卡业务发展的因素。其中，信用卡的发展水平是决定性因素之一。因为几乎所有的电子支付方式最后都是由银行根据用户提供或注册的信用卡信息划拨账款。没有信用卡的普及，就没有所谓的电子支付。借记卡（储蓄卡）和贷记卡（信用卡）在中国被统称为银行卡。1 .完善政策法规完善的法律法规是业务发展的基石，对于业务发展具有重要的规范、引导和保障作用。最近，刚刚颁布实施电子签名法，确认了电子签名的法律效力。但规范电子支付的法规制度还应包括支付结算管理办法、大额支付系统业务处理办法、银行卡业务管理办法、网上银行业务管理暂行办法等。

6、2 .改革银行卡经营体制尽管根行卡业务在经营体制方面较以往有了明显改进，但在竞争日益激烈的市场经济环境中，银行卡产业运作模式需要深化改革。银行卡业务部门的独立经营、自主核算，利润考核，内控机制等各方面需要更多的经营自主权。对于信用卡公司而言，由于其业务运作模式不同于传统的借记卡业务，更需要有独立的经营体制以促进其产业快速发展。3 .改善银行卡受理环境与利益机制银行卡作为新型电子支付工具，它被广泛接受和应用的前提是具有良好的受理环境。但长期以来，银行卡产业一直倾向于发卡业务,与规模庞大的发卡量相比，银行卡交易规模偏小。受理市场建设严重滞后，这已成为制约银行卡产业发展的突出因素。4 .加强风险管理

7、体系系统管理与支付方式的安全性一直是电子支付发展的重要因素，也是影响电子支付能否为社会公众接受的重要因素。近年来.银行卡欺诈风险逐年增加。全球银行卡欺诈交易额占总交易额1.5%,伪卡欺诈损失占所有银行卡欺诈损失的68.9同时，美国、日本、韩国等国家连续发生持卡人信息泄露事件，对社会公众的信息安全造成一定的影响，威胁电子支付方式的安全。迅速发展中的中国银行卡、网上支付、移动支付等电子支付形式也相继出现了大量的风险事件。以短信，电子邮件等方式窃取用户资料进行银行卡欺诈屡见不鲜。因此,借鉴国外电子支付的安全管理经验和教训，加强风险管理制度和技术手段建设，建立跨国跨区域性的风险管理的协调机制，已是迫在

8、眉睫。5 .加强与国际接轨电子支付是世界经济全球化和科技发展的必然产物，其发展势头不可阻挡。面对世界经济和贸易发展过程中出现的新问题，我们不能一味采取消极观望的防守态度，而应认真研究我国发展电子支付的对黄，积极提出对我有利的“游戏规则我们应该从提高我国电子支付国际竞争力的需要出发，尽早做好技术和立法方面的工作，利用国内已有的优势，与国际接轨，并带动其他产业的发展。并注重电子支付的普及率。6 .加强电子支付宣传力度我国近几年的电子支付发展速度虽然比较快，但是存在着发展不均衡的问题，例如同样是客运车票,机票就实行了电子支付而火车票和汽车票却没有推行，当然其中有很多因素制约着电子支付的普及。推动电子

9、商务在主观和客观上困难都很多，齐头并进不容易也不现实,所以我们在具体实施上应该分步骤进行。首先，在一些管理和经营的特点比较适合电子商务发挥长处的领域中宣传并推行电子商务，其次,对那些经济比较发达、信息化程度相对较高的地区，特别是一些有条件的沿海省市，以及内地的少数省会城市和中心城市，应鼓励他们不失时机地发展各种方式的电子支付。7 .对于支付模式的创新在信息化社会中，产品可根据其有无实物形态分为“软”产品和“硬”产品。对于“软”产品，可以通过互联网在线传输到消费者手中，如电子出版物、软件等信息产品。但对于“硬”产品，却不能在线传输，其一般建有两大系统：物流系统作业流程布置。政府要为推动支付模式创

10、新起到积极作用。可以从以下几个方面着手：与国家改革课题相联系的阶段性推动；构筑业务创新和信息化的良好联网体系。即通过调查政府业务，革新业务程序，撤销重要职能，简化业务程序，从而实现信息化；引入责任成果管理制I）事前提出事业实名制和成果指标，以联结事业成果和人事预算来防止重复投资；以电子政府事业培育信息技术产业的发展。在电子政府事业上开发适用高新技术，积极推动电子政府产品的国外推广。二、解决方案1.解决方案架构图I解决方案架构图系统开发平台使用Hadoop大数据开发平台。Hadoop是一个高度可扩展的存储平台，可以存储和分发横跨数百个并行操作的廉价的服务器数据集群。能扩展到处理大量的数据，能提供

11、成百上千TB的数据节点上运行的应用程序。Had。P能够有效的在几分钟内处理TB级的数据。相比关系型数据库管理系统更具有优势。它适用于任何规模的非结构化数据持续增长的企业，将帮助用户持续提高用户体验。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法,形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用VvC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化

12、的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。2.关键技术(1) HadoopHadOoP是个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。(2) SpringMVCSpringMVC:属于SPringFrameNOrk的后续产品，已经融合在SpringWebF1.oW里面。Spring框架提供了构建Wcb

13、应用程序的全功能MVC模块。(3) MyBatisMYBatis:是支持普通SQ1.查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XM1.或注解用于配置和原始映射，将接口和Java的POJoS(P1.ainO1.dJavaObjeCtS,普通的JaVa对象)映射成数据库中的记录。(4) EchartsECharts是一款基于JaVaSCriPt的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。(5) MySQ1.MySQ1.是一个关系型数据库管理系统，由瑞典MySQ1.AB公

14、司开发，属于OraCIe旅下产品。MySQ1.是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQ1.是最好的RDBMS(Re1.ationa1.DatabaSeManagementSyStem,关系数据库管理系统)应用软件之*,MySQ1.是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性.MySQ1.所使用的SQ1.语言是用于访问数据库的最常用标准化语言。MySQ1.软件采用，双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQ1

15、.作为网站数据库。(6) Hivehive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQ1.查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQ1.查询功能；可以将SQ1.语句转换为MaPRedUCe任务运行，通过自己的SQ1.查询分析需要的内容,这套SQ1.简称HiVeSQ1.,使不熟悉mapreduce的用户可以很方便地利用SQ1.语言查询、汇总和分析数据。而maprcduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更匆杂的数据分析。它与关系型数据库的SQ1.略有不同，但支持了

16、绝大多数的语句如DD1.、DM1.以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF(User-DefinedFunction)、UDAF(USe1.DefneSAggregateFunction)和UDTF(User-DefinedTab1e-GeneratingFunction),也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。(7) HBASEHBase-HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBas

17、e技术可在廉价PCServer上搭建起大规模结构化存储集群。(8) ZookeeperZooKeepcr是一个分布式的，开放源码的分布式应用程序协调服务，是Goog1.e的Chubby一个开源的实现,是Hadoop和HbaSe的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。(9) F1.umeF1.ume是C1.oudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，F1.ume支持在日志系统中定制各类数据发送方，用于收集数据；同时，F1.ume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力

18、。三、开发范围1 .数据生产对于该模块的业务，印数据生产过程，一股并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。2 .数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架f1.ume和kafka的定位是什么。我们在此需要将实时数据通过门Urne采集到kafka然后供给给hbase消费。f1.ume：CIOUdera公司研发适合下游数据消费者不多的情况：适合数据安全性要求不高的操

19、作：适合与Hadoop生态圈对接的操作。kafka：Iinkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持rep1.ication）；因此我们常用的一种模型是：线上数据f1.umekafkaf1.ume（根据情景增册该流程）HDFS线上数据一f1.umekafkaSparkstreaming实时流式处理消费存储模块流程图:图2消费存储模块流程图3 .数据分析我们的数据已经完整的采集到了HBaSe集群中，这次我们需要对采集到的数据进行分析，统计出我们想要的结果。注意，在分析的过程中，我们不一定会采取一个业务指标对应一个mapreduce-job的方式，如果情景允许，我们会采取一个mapreduce分析多个业务指标的方式来进行任务。分析模块流程图:图3分析模块流程图4 .数据展示数据展示模块流程图:图4数禺展示模块流程图