大数据毕业论文.docx
《大数据毕业论文.docx》由会员分享,可在线阅读,更多相关《大数据毕业论文.docx(25页珍藏版)》请在三一办公上搜索。
1、IIII 目 录1 大数据的概述11.1 大数据的概念11.1.1 大数据的发展21.1.2 大数据的分类31.2 大数据的四大特点41.2.1 海量性41.2.2易变性41.2.3多样性41.2.4高速性51.3大数据时代对生活、工作的影响51.4大数据时代的发展方向、趋势51.4.1发展方向51.4.2发展趋势61.5企业应如何应对大数据时代72 我国外贸型企业发展所面临的困难92.1我国外贸型企业面临的困境92.1.1 外贸型企业发展历程102.1.2 外贸型企业的困境112.2商业模式创新对我国外贸型企业发展的机遇122.2.1 商业模式的创新概念122.2.2 商业模式的创新特点12
2、2.2.3商业模式创新可以为外贸型企业带来什么133 基于大数据的分析,商业模式创新153.1 加大数据处理分析能力153.2 提高专业技术人员的技术水平153.3 理论与实践相结合促进商业模式的创新164 结 论1723大数据的时代商业模式的创新分析1 绪论进入2012年以来,大数据(Big Date)一词越来越多地被提及与使用,它已经出现过在纽约时报、华尔街时报的专栏封面,人们用他来描述和定义信息爆炸时代产生的海量数据,进入美国白宫网的新闻,在国内一些网络主题的讲座沙龙中,被嗅觉灵敏的银河证券、国军证券、国泰君安等写进了投资推荐报告,大数据时代来临。移动互联、社交网络、电子商务大大拓展了互
3、联网的疆界和应用领域。有人说21世纪是数据信息时代,我们在享受便利的同时,也无偿贡献了自己的“行踪”。各种数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。现在互联网不但知道对面是一只狗,还知道这只狗喜欢什么食物,几点出去遛弯,几点回窝睡觉。我们不得不接受这个现实,每个人在互联网进入到大数据时代,都将是透明性存在。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。哈佛大学社会学教授加里金说:“这是一场革命,庞大的数据资
4、源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”数据中隐藏着有价值的模式和信息,在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。1.1 大数据的概念大数据(Big Data)是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高,或者其结构不适合原本的数据库系统。为了获取大数据中的价值,我们必须选择另一种方式来处理它。对于企业组织来讲,大数据的价值体现在两个方面:分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。
5、例如零售业中对门店销售、地理和社会信息的分析能提升对客户的理解。而当今的各种资源,如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。对大数据的二次开发则是那些成功的网络公司的长项。例如Facebook通过结合大量用户信息,定制出高度个性化的用户体验,并创造出一种新的广告模式。这种通过大数据创造出新产品和服务的商业行为并非巧合,谷歌、雅虎、亚马逊和Facebook它们都是大数据时代的创新者。举一个有趣的例子。人品与删除浏览记录,就是一个典型的曾经看似风马牛不相及的关联体。但来自以色列西南财经大学天府学院大数据时代的信息分析实训报告的Shvat Shaked却通过努力告诉人们,如此寻常的行为
6、中同样蕴含着道理,也许还蕴含着无限商机。很多人喜欢上网后删除浏览记录。在保护隐私的旗帜下,这种行为很少受到关注,也很少激起人们的兴趣,自然也就不能调动人们深入思考和仔细研究的积极性。Shvat有一个坚定的信念:一个人的品行与其不经意间的行为密切相关,那些“坏人”为防被人追踪一定会不断删除自己在互联网上的踪迹,而“好人”则一般不介意在互联网上留下自己的印记。基于这个信念,Shvat通过对海量数据的分析研究出了一款独特的欺诈系统。这一防欺诈系统受到了ebay的关注。后者的paypal系统允许两个通户通过电邮地址在线交易,这微钓鱼式攻击提供了可乘之机:一些欺诈网站伪装成真实网站以获得用户的登录信息。
7、paypal近年来不断加强在线安全却一直收获不大,Shvat的创意及其防欺诈系统出色的性能就在此时吸引了ebay。2008年,ebay以1.69亿美元将Shvat及其公司Fraud Sciences收入囊中。1.1.1 大数据的发展最早提出大数据时代已经到来的机构是全球知名咨询公司麦肯锡。麦肯锡在研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素。而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据迅速成为了计算机行业争相传诵的热门概念,也引起了行业内的高度关战略虽然大数据目前在国内还处于初级阶段,但是商业价值已经显现出来。未来,数据可能成
8、为最大的交易商品。但数据量大并不能算是大数据,大数据的特征是数据量大、数据种类多、非标准化数据的价值最大化。大数据的整体态势和发展趋势,主要体现在几个方面:大数据与学术、大数据与人类的活动,大数据的安全隐私、关键应用、系统处理和整个产业的影响。大数据整体态势上,数据的规模将变得更大,数据资源化、数据的价值凸显、数据私有化出现和联盟共享。因此,大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。在他看来,未来大数据将会如基础设施一样,有数据提供方、管理者、监管者,数据的交叉复用将大数据变成一大产业。随着大数据的共享越来越大,隐私问题也随之而来,比如说每天手机产生的通话、位置等等。但这给带来
9、了便利的同时也给带来了个人隐私的问题。大数据的发展会催生许多新兴新职业,会产生数据分析师、数据科学家、数据工程师,有非常丰富的数据经验的人才会成为稀缺人才。随着社会的不断发展,大数据对IT技术架构的挑战,大数据的生态环境问题,大数据的应用及产业链将日益突出。随着大数据的发展,数据共享联盟将逐渐壮大成为产业的核心一环。数据资源化,大数据在国家和企业和社会层面成为重要的战略资源,成为新的战略制高点和抢购的新焦点。虽然大数据目前在国内还处于初级阶段,但是商业价值已经显现出来。未来,大数据的整体态势和发展趋势,只要体现在几个方面:大数据与学术、大数据与人类的活动,大数据的安全隐私、关键应用、系统处理和
10、整个产业的影响。大数据整体态势上,数据的规模将变得更大,数据资源化、数据的价值凸显、数据私有化出现和联盟共享。随着大数据的发展,数据共享联盟将逐渐壮大成为产业的核心一环。大数据的发展会催生许多新兴职业,会产生数据分析师、数据科学家、数据工程师,有非常丰富的数据经验的人才会成为稀缺人才。随着大数据的共享越来越大,隐私问题也随之而来,比如说每天产生的通话、位置等等,但这给带来了便利的同时也给带来了个人隐私的问题。数据资源化,大数据在国家各企业和社会层面成为最重要的战略资源,成为新的战略制高点和抢购的新焦点。1.1.2 大数据的分类 (1)、按照数据分析的实时性,分为实时数据分析和离线数据分析两种。
11、 实时数据分析一般用于金融、移动和互联网B2C等产品,往往要求在数秒内返回上亿行数据的分析,从而达到不影响用户体验的目的。目前比较新的海量数据实时分析工具有EMC的Greenplum、SAP的HANA等。要满足这样的需求,可以采用精心设计的传统关系型数据库组成并行处理集群,或者采用一些内存计算平台,或者采用HDD的架构,这些无疑都需要比较高的软硬件成本。互联网企业的海量数据采集工具,有Facebook开源的Scribe、LinkedIn开源的Kafka、淘宝开源的Timetunnel、Hadoop的Chukwa等,均可以满足每秒数百MB的日志数据采集和传输需求,并将这些数据上载到Hadoop中
12、央系统上。对于大多数反馈时间要求不是那么严苛的应用,比如离线统计分析、机器学习、搜索引擎的反向索引计算、推荐引擎的计算等,应采用离线分析的方式,通过数据采集工具将日志数据导入专用的分析平台。但面对海量数据,传统的ETL工具往往彻底失效,主要原因是数据格式转换的开销太大,在性能上无法满足海量数据的采集需求。(2) 、按照大数据的数据量,分为内存级别、海量级别三种、BI级别。这里的内存级别指的是数据量不超过集群的内存最大值。不要小看今天内存的容量,Facebook缓存在内存的Memcached中的数据高达320TB,而目前的PC服务器,内存也可以超过百GB。因此可以采用一些内存数据库,将热点数据常
13、驻内存之中,从而取得非常快速的分析能力,非常适合实时分析业务。海量级别指的是对于数据库和BI产品已经完全失效或者成本过高的数据量。海量数据级别的优秀企业级产品也有很多,但基于软硬件的成本原因,目前大多数互联网企业采用Hadoop的HDFS分布式文件系统来存储数据,并使用MapReduce进行分析。本文稍后将主要介绍Hadoop上基于MapReduce的一个多维数据分析平台。BI级别指的是那些对于内存来说太大的数据量,但一般可以将其放入传统的BI产品和专门设计的BI数据库之中进行分析。目前主流的BI产品都有支持TB级以上的数据分析方案。种类繁多,就不具体列举了。1.2 大数据的特点1.2.1 海
14、量性企业面临着数据量的大规模增长。例如,IDC最近的报告预测称,到2020年,全球数据量将扩大50倍。目前,大数据的规模尚是一个不断变化的指标,单一数据集的规模范围从几十TB到数PB不等。简而言之,存储1PB数据将需要两万台配备50GB硬盘的个人电脑。此外,各种意想不到的来源都能产生数据。 上图是上海双击信息科技有限公司的数据,这个是美国进口LED灯的部分数据,它记录了日期、采购商、供应商、原产国、产品描述、和重量等,这样的数据是非常庞大的,如果这样的话数据给到中国出口型企业是没有用的,所以要进行专业的数据分析,让数据产生价值。1.2.2易变性大数据具有多层结构,这意味着大数据会呈现出多变的形
15、式和类型。相较传统的业务数据,大数据存在不规则和模糊不清的特性,造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式,能够被标准的商务智能软件识别。目前,企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。1.2.3多样性一个普遍观点认为,人们使用互联网搜索是形成数据多样性的主要原因,这一看法部分正确。然而,数据多样性的增加主要是由于新型多结构数据,以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。其中,部分传感器安装在火车、汽车和飞机上,每个传感器都增加了数据的多样性。1.2.4高速性高速描述的是数据被创建和移动的速度。在高速
16、网络时代,通过基于实现软件性能优化的高速电脑处理器和服务器,创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据,还必须知道如何快速处理、分析并返回给用户,以满足他们的实时需求。根据IMS Research关于数据创建速度的调查,据预测,到2020年全球将拥有220亿部互联网连接设备。2大数据的影响在数字时代,人们的生活方式和思考方式在发生一系列的变化,这种变化同样也使得人们的消费观念发生较大的转变。大数据时代对生活、工作的影响 大数据,其影响除了经济方面的,它同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技
17、术,七分数据,得数据者得天下。它赋予消费者更广阔的视野,同时也在提高着消费者的自主意识。这些影响足够消费者不再完全相信传统营销“轰炸式”的传播和灌输,他们更加倾向于受到质疑的品牌和产品,他们能够在基础上发表自己的观点,影响到其他的人群。“大数据”的影响,增加了对信息管理专家的需求。事实上,大数据的影响并不仅仅限于信息通信产业,而是正在“吞噬”和重构很多传统行业,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。在零售业中,数据分析的技术与手段更是得到广泛的应用,传统企业如沃尔玛通过数据挖掘重塑并优化
18、供应链,新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。在这种时代环境下,如果企业和厂商对他们的观点是漠视的态度,那么他们将会失去大量的关注人群,也使得传统的营销模式传播的影响力大打折扣。大数据在个人隐私的方面,大量数据经常含有一些详细的潜在的能够展示有关我们的信息,逐渐引起了我们对个人隐私的担忧。一些处理大数据公司需要认真的对待这个问题。例如美国天睿资讯给人留下比较深刻印象的是他的一个科学家提出,我们不应该简单地服从法律方面的隐私保护问题,这些远远不够的,公司都应该遵从谷歌不作恶的原则,甚至更应该做出更积极的努力。2.1 大数据的趋势2.1.
19、1发展方向20年后互联网发生的巨大的变化,移动互联、社交网络、电子商务大大拓展了互联网的疆界和应用领域。我们在享受便利的同时,也无偿贡献了自己的“行踪”。在物理世界中,许多行为是“人似秋鸿有来信,事如春梦了无痕”。但在互联网上却是“处处行迹处处痕”。任何行为,皆有前兆。要买商品,必先浏览,对比,询价;要搞活动,必先征集、讨论、策划;互联网上恰恰保留了大量的前兆性的数据,通过对这些数据的收集和分析,互联网企业具备了预判物理世界中,人类未来行为的能力。收集分析海量的各种类型的数据,并快速获取影响未来的信息的能力,这就是大数据技术的魅力。事实上大数据的来源非常广泛,天上的卫星、地上汽车、埋在土壤里面
20、的各类传感器,无时无刻不在生成大量的数据。这些数据如果综合利用,产生的社会价值和经济价值将是难以估量的。围绕数据和最终用户,我们观察到计算机行业的发展有三大方向:第一应用软件一定会泛互联网化。第二,行业会垂直整合。越靠近终端用户的公司,在产业链上将拥有更大的发言权。第三,数据将成为资产。泛互联网化是收集数据的重要渠道,没有泛互联网化的应用软件,公司就难以获得用户的行为数据;行业垂直整合趋势在数据运用层面,通过搜集大量的用户数据,更贴近用户,更理解用户,为其提供更适当的服务;数据成为资产更强调数据的战略意义。三大趋势的提出,拓展大数据主题的研究范围,开辟了新的视角和逻辑来观察软件公司成长路径和投
21、资价值。成为我们分析研究TMT公司的顶层逻辑的要素之一。2.1.2发展趋势趋势一:成为重要战略资源。在未来一段时间内,大数据将成为企业、社会和国家层面重要的战略资源。大数据将不断成为各类机构,尤其是企业的重要资产,成为提升机构和公司竞争力的有力武器。企业将更加钟情于用户数据,充分利用客户与其在线产品或服务交互产生的数据,并从中获取价值。此外,在市场影响方面,大数据也将扮演重要角色影响着广告、产品推销和消费者行为。趋势二:数据隐私标准将出台。大数据将面临隐私保护的重大挑战,现有的隐私保护法规和技术手段难以适应大数据环境,个人隐私越来越难以保护,有可能会出现有偿隐私服务,数据“面罩”将会流行。预计
22、各国都将会有一系列关于数据隐私的标准和条例出台。趋势三:分析方法发生变革。大数据分析将出现一系列重大变革。就像计算机和互联网一样,大数据可能是新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据里的很多算法和基础理论,这方面很可能会产生理论级别的突破。趋势四:与云计算深度融合。大数据处理离不开云计算技术,云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值,因此,从2013年开始,大数据技术与云计算技术必然进入更完美的结合期。总体而言,云计算、物联网、移动互联网等新兴计算形态,既是产生大数据的地方,也是需要大数据分析方法
23、的领域。趋势五:网络安全问题凸显。大数据的安全令人担忧,大数据的保护越来越重要。大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制提出更高的要求。网络和数字化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段,可能会出现更高明的骗局。趋势六:大数据学科诞生。数据科学将作为一个与大数据相关的新兴学科出现。同时,大量的数据科学类专著将出版。趋势七:催生数据分析师等职业。大数据将催生一批新的就业岗位,如数据分析师、数据科学家等。具有丰富经验的数据分析人才成为稀缺资源,数据驱动型工作机会将呈现出爆炸式的增长。 2.2 大数据的应对企业应如何应
24、对大数据时代 近些年,大数据已经和云计算一样,成为时代的话题。大数据是怎么产生的,商业机会在哪?研究机会在哪?这个概念孕育着一个怎样的未来?企业如何应对?一个好的企业应该未雨绸缪,从现在开始就应该着手准备,为企业的后期的数据收集和分析做好准备,企业可以从下面五个方面着手,这样当面临铺天盖地的大数据的时候,以确保企业能够快速发展,具体为下面五点。(1)、以企业的数据为目标。几乎每个组织都可能有源源不断的数据需要收集,无论是社交网络还是车间传感器设备,而且每个组织都有大量的数据需要处理,IT人员需要了解自己企业运营过程中都产生了什么数据,以自己的数据为基准,确定数据的范围。(2)、以业务需求为准则
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 毕业论文
链接地址:https://www.31ppt.com/p-1667993.html