大数据与互联网经济解读ppt课件.ppt

大数据与互联网经济解读,1,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,40,2,1.1 大数据的概念与意义,第一章 大数据概念与应用,of,40,3,时至今日，“数据”变身“大数据”，“开启了一次重大的时代转型”。 “大数据”这一概念的形成，有三个标志性事件：,1从“数据”到“大数据”,4 V特征,大数据与传统数据相比，数据来源广、维度多、类型杂，各种机器仪表在自动产生数据的同时，人自身的生活行为也在不断创造数据；不仅有企业组织内部的业务数据，还有海量相关的外部数据。,随着现代感测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象力，这是大数据区别于传统数据或小数据的显著特征。,大数据有巨大的潜在价值，但同其呈几何指数爆发式增长相比，某一对象或模块数据的价值密度较低，这无疑给我们开发海量数据增加了难度和成本。,第一章 大数据概念与应用,of,40,4,从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长到44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。,1.1 大数据的概念与意义,第一章 大数据概念与应用,大数据,数据源整合进行存储、清洗、挖掘、分析后得出结果直到优化企业管理提高效率,云计算、硬件性价比的提高以及软件技术的进步,智能设备、传感器的普及，推动物联网、人工智能的发展,计算运行、计算速度越来越快,存储 存储成本下降,智能实现信息对等解放脑力，机器拥有人的智慧,of,40,5,1.1 大数据的概念与意义,2大数据的技术支撑,第一章 大数据概念与应用,of,40,6,1.1 大数据的概念与意义,1）存储：存储成本的下降,云计算出现之前,云计算出现之后,在云计算出现之前，数据存储的成本是非常高的。例如，公司要建设网站，需要购置和部署服务器，安排技术人员维护服务器，保证数据存储的安全性和数据传输的畅通性，还会定期清理数据，腾出空间以便存储新的数据，机房整体的人力和管理成本都很高。,云计算出现后，数据存储服务衍生出了新的商业模式，数据中心的出现降低了公司的计算和存储成本。例如，公司现在要建设网站，不需要去购买服务器，不需要去雇用技术人员维护服务器，可以通过租用硬件设备的方式解决问题。,存储成本的下降，也改变了大家对数据的看法，更加愿意把1年、2年甚至更久远的历史数据保存下来，有了历史数据的沉淀，才可以通过对比，发现数据之间的关联和价值。正是由于存储成本的下降，才能为大数据搭建最好的基础设施。,第一章 大数据概念与应用,of,40,7,1.1 大数据的概念与意义,2）计算：运算速度越来越快,分布式系统基础架构Hadoop的出现，为大数据带来了新的曙光；HDFS为海量的数据提供了存储；MapReduce则为海量的数据提供了并行计算，从而大大提高了计算效率；Spark、Storm、Impala等各种各样的技术进入人们的视野。,海量数据从原始数据源到产生价值，期间会经过存储、清洗、挖掘、分析等多个环节，如果计算速度不够快，很多事情是无法实现的。所以，在大数据的发展过程中，计算速度是非常关键的因素。,第一章 大数据概念与应用,of,40,8,1.1 大数据的概念与意义,3）智能：机器拥有理解数据的能力大数据带来的最大价值就是“智慧”，大数据让机器变得有智慧，同时人工智能进一步提升了处理和理解数据的能力。例如：,谷歌AlphaGo大胜世界围棋冠军李世石,阿里云小Ai成功预测出我是歌手的总决赛歌王,1,2,iPhone上智能化语音机器人Siri,微信上与大家聊天的微软小冰,3,4,第一章 大数据概念与应用,of,40,9,美国著名管理学家爱德华戴明所言：“我们信靠上帝。除了上帝，任何人都必须用数据来说话。”,（1）有数据可说 在大数据时代，“万物皆数”，“量化一切”，“一切都将被数据化”。人类生活在一个海量、动态、多样的数据世界中，数据无处不在、无时不有、无人不用，数据就像阳光、空气、水分一样常见，好比放大镜、望远镜、显微镜那般重要。 （2）说数据可靠 大数据中的“数据”真实可靠，它实质上是表征事物现象的一种符号语言和逻辑关系，其可靠性的数理哲学基础是世界同构原理。世界具有物质统一性，统一的世界中的一切事物都存在着时空一致性的同构关系。这意味着任何事物的属性和规律，只要通过适当编码，均可以通过统一的数字信号表达出来。,1.1 大数据的概念与意义,3大数据的意义,因此，“用数据说话”、“让数据发声”，已成为人类认知世界的一种全新方法。,1.1从“数据”到“大数据”,第一章 大数据概念与应用,of,40,10,风马牛可相及 在大数据背景下，因海量无限、包罗万象的数据存在，让许多看似毫不相干的现象之间发生一定的关联，使人们能够更简捷、更清晰地认知事物和把握局势。大数据的巨大潜能与作用现在难以进行估量，但揭示事物的相关关系无疑是其真正的价值所在。,经典案例：,（1）啤酒与尿布,（2）谷歌与流感,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,40,11,为什么全球数据量增长如此之快？,1.2 大数据的来源,第一章 大数据概念与应用,of,40,13,互联网每天产生的全部内容可以刻满6.4亿张DVD,Google每天需要处理24PB的数据,网民每天在Facebook上要花费234亿分钟，被移动互联网使用者发送和接收的数据高达44PB,全球每秒发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不停地读5.5年,每天会有2.88万个小时的视频上传到YouTube，足够一个人昼夜不停地观看3.3年,Twitter上每天发布5000万条消息，假设10秒就浏览一条消息，足够一个人昼夜不停地浏览16年,大数据到底有多大？ 以上一组互联网数据,1.2 大数据的来源,第一章 大数据概念与应用,of,40,14,海量的数据的产生,随着人类活动的进一步扩展，数据规模会急剧膨胀，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的各行业累积的数据量越来越大，数据类型也越来越多、越来越复杂，已经超越了传统数据管理系统、处理模式的能力范围，于是“大数据”这样一个概念才会应运而生。,1.2 大数据的来源,第一章 大数据概念与应用,of,40,15,1.2 大数据的来源,第一章 大数据概念与应用,of,40,16,4）气象、地理、政务等领域中国气象局保存的数据将近10PB，每年约增数百TB；各种地图和地理位置信息每年约数十PB；政务数据则涵盖了旅游、教育、交通、医疗等多个门类，且多为结构化数据。5）制造业和其他传统行业制造业的大数据类型以产品设计数据、企业生产环节的业务数据和生产监控数据为主。其中产品设计数据以文件为主，非结构化，共享要求较高，保存时间较长；企业生产环节的业务数据主要是数据库结构化数据，而生产监控数据则数据量非常大。在其他传统行业，虽然线下商业销售、农林牧渔业、线下餐饮、食品、科研、物流运输等行业数据量剧增，但是数据量还处于积累期，整体体量都不算大，多则达到PB级别，少则数十TB或数百TB级别。,1.2 大数据的来源,第一章 大数据概念与应用,of,40,17,1.2 大数据的来源,第一章 大数据概念与应用,of,40,18,3）APP移动端数据采集APP是获取用户移动端数据的一种有效方法，APP中的SDK插件可以将用户使用APP的信息汇总给指定服务器，即便用户在没有访问时，也能获知用户终端的相关信息，包括安装应用的数量和类型等。单个APP用户规模有限，数据量有限；但数十万APP用户，获取的用户终端数据和部分行为数据也会达到数亿的量级。4）与数据服务机构进行合作数据服务机构通常具备规范的数据共享和交易渠道，人们可以在平台上快速、明确地获取自己所需要的数据。而对于企业生产经营数据或学科研究数据等保密性要求较高的数据，也可以通过与企业或研究机构合作，使用特定系统接口等相关方式采集数据。,2）互联网数据采集通过网络爬虫或网站公开API等方式从网站上获取数据信息，该方法可以数据从网页中抽取出来，将其存储为统一的本地数据文件，它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网站中包含的内容之外，还可以使用DPI或DFI等带宽管理技术实现对网络流量的采集。,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,40,19,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,20,大数据7个应用场景,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,21,零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户的消费喜好和趋势，进行商品的精准营销，降低营销成本。另一个层面是依据客户购买的产品，为客户提供可能购买的其他产品，扩大销售额，也属于精准营销范畴。未来考验零售企业的是如何挖掘消费者需求，以及高效整合供应链满足其需求的能力，因此，信息技术水平的高低成为获得竞争优势的关键要素。,1）银行数据应用场景利用数据挖掘来分析出一些交易数据背后的商业价值。2）保险数据应用场景用数据来提升保险产品的精算水平，提高利润水平和投资收益。3）证券数据应用场景对客户交易习惯和行为分析可以帮助证券公司获得更多的收益。,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,22,医疗行业拥有大量的病例、病理报告、治愈方案、药物报告等，通过对这些数据进行整理和分析将会极大地辅助医生提出治疗方案，帮助病人早日康复。可以构建大数据平台来收集不同病例和治疗方案，以及病人的基本特征，建立针对疾病特点的数据库，帮助医生进行疾病诊断。医疗行业的大数据应用一直在进行，但是数据并没有完全打通，基本都是孤岛数据，没办法进行大规模的应用。未来可以将这些数据统一采集起来，纳入统一的大数据平台，为人类健康造福。,信息技术已在教育领域有了越来越广泛的应用，教学、考试、师生互动、校园安全、家校关系等，只要技术达到的地方，各个环节都被数据包裹。通过大数据的分析来优化教育机制，也可以作出更科学的决策，这将带来潜在的教育革命，在不久的将来，个性化学习终端将会更多地融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向。,1.3 大数据应用场景,第一章 大数据概念与应用,of,40,23,大数据技术可以了解经济发展情况、各产业发展情况、消费支出和产品销售情况等，依据分析结果，科学地制定宏观政策，平衡各产业发展，避免产能过剩，有效利用自然资源和社会资源，提高社会生产效率。大数据技术也能帮助政府进行支出管理，透明合理的财政支出将有利于提高公信力和监督财政支出。,全国高校标准教材云计算姊妹篇，剖析大数据核心技术和实战应用,of,40,24,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,25,大数据正带来一场信息社会的变革。大量的结构化数据和非结构化数据的广泛应用，致使人们需要重新思考已有的IT模式；,与此同时，大数据将推动进行又一次基于信息革命的业务转型，使社会能够借助大数据获取更多的社会效益和发展机会；,庞大的数据需要我们进行剥离、整理、归类、建模、分析等操作，通过这些动作后，我们开始建立数据分析的维度，通过对不同的维度数据进行分析，最终才能得到想到的数据和信息。,因此，如何进行大数据的采集、导入/预处理、统计/分析和大数据挖掘，是“做”好大数据的关键基础。,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,26,大数据的采集,1,大数据的采集通常采用多个数据库来接收终端数据，包括智能硬件端、多种传感器端、网页端、移动APP应用端等，并且可以使用数据库进行简单的处理工作。常用的数据采集的方式主要包括以下几种：,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,27,导入/预处理,2,虽然采集端本身有很多数据库，但是如果要对这些海量数据进行有效的分析，还是应该将这些数据导入到一个集中的大型分布式数据库或者分布式存储集群当中，同时，在导入的基础上完成数据清洗和预处理工作。也有一些用户会在导入时使用来自Twitter的Storm来对数据进行流式计算，来满足部分业务的实时计算需求。现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行数据挖掘，或挖掘结果差强人意，为了提高数据挖掘的质量，产生了数据预处理技术。,主要是达到数据格式标准化、异常数据清除、数据错误纠正、重复数据的清除等目标。,是将多个数据源中的数据结合起来并统一存储，建立数据仓库。,过平滑聚集、数据概化、规范化等方式将数据转换成适用于数据挖掘的形式。,寻找依赖于发现目标的数据的有用特征，缩减数据规模，最大限度地精简数据量。,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,28,统计与分析,3,统计与分析主要是利用分布式数据库，或分布式计算集群来对存储于其内的海量数据进行普通的分析和分类汇总，以满足大多数常见的分析需求，在这些方面可以使用R语言。R语言是用于统计分析、绘图的语言和操作环境，属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。R语言在国际和国内的发展差异非常大，国际上R语言已然是专业数据分析领域的标准，但在国内依旧任重而道远，这固然有数据学科地位的原因，国内很多人版权概念薄弱，以及学术领域相对闭塞也是原因。R语言是一套完整的数据处理、计算和制图软件系统。R语言的思想是：它可以提供一些集成的统计工具，但更大量的是它提供各种数学计算、统计计算的函数，从而使使用者能灵活机动地进行数据分析，甚至创造出符合需要的新的统计计算方法。在大数据的统计与分析过程中，主要面对的挑战是分析涉及的数据量太大，其对系统资源，特别是I/O会有极大的占用。,1.4 大数据处理方法,第一章 大数据概念与应用,of,40,29,大数据挖掘,4,数据挖掘是创建数据挖掘模型的一组试探法和计算方法，通过对提供的数据进行分析，查找特定类型的模式和趋势，最终形成创建模型。,中国互联网经济增长热点大数据解读,赵 岩 博士 教授广东财经大学财税学院中国互联网经济研究院,30,主题,中国经济新常态现状（背景）互联网时代消费者变化从互联网+看经济增长新趋势,31,中国经济新常态下的三个特点及消费升级的三个层次,32,中国GDP增速放缓，经济发展核心推动力进入更迭期,33,中国居民收入稳步提升，支撑消费结构升级，向电商、汽车、文化娱乐、医疗、旅游等领域倾斜,34,需求不足仅是表象，供需错配才是实质,35,互联网信息技术成为供给侧改革中创新增长的主要驱动力量（打破信息不对称）,36,主题,中国经济新常态现状（背景）互联网时代消费者变化从互联网+看经济增长新趋势,37,第三产业持续高速发展，新型消费成为经济发展核心驱动力,38,80、90后已成长为互联网主力消费人群,39,80、90后区别于前辈的社会属性决定其消费属性的差异化,40,重品牌、重品质、重服务、重享受、重个性、重精神，是目前互联网消费主体的主要人格特征,41,不同的人格特征激发与推动互联网相关行业的快速成长,42,主题,中国经济新常态现状（背景）互联网时代消费者变化从互联网+看经济增长新趋势,43,44,网络零售领域综合电商Top App-2016年1月,45,跨境进口零售火爆，折射国内市场供需错配，消费升级的同时，产业升级也迫在眉睫,46,消费者对相应服务能力的要求，倒逼电商不断提升其服务能力，推动全行业服务升级,47,网上零售B2C业务占比超越C2C业务，消费升级产业升级加速,48,49,汽车领域汽车资讯Top App-2016年1月,50,汽车类电商加速增长，引领行业融合与变革,51,汽车类电商加速增长，引领行业融合与变革,52,53,分享经济：把传统行业里面被中间商、零售商赚走的70%的利润拿出来返还给消费者（全球最吸金的9个共享经济模式）,有个开面馆的老郑，他做的面很好吃!有个经常来面馆吃面的食客小陈!小陈几乎每个月都会来老郑的面馆吃面!突然有一天老郑对小陈说：小陈同学我叫老郑，是这家面馆的老板！那么我想问你觉得我家面馆的面好不好吃呢?小陈说：好吃啊!我很喜欢!老郑：那么既然好吃，我想和你谈一个合作计划!你愿意跟我合作吗?小陈说：先听听看是怎样的合作呢?老郑：合作计划是这样的-你既然这么喜欢吃我家的面，那么从今天开始我正式邀请你成为我老郑面馆的合伙人，合伙人呢，有以下几点：你和你以前一样，照例来吃面就可以了，以前你来我的面馆吃面都不打折，再好吃也没有打过折!现在你成为我的合伙人，你来吃面我给你打七折；如果有朋友问你小陈那里的面店好吃啊?你要记得帮我讲一句话就好了：老郑面店最好吃，你报我小陈的名字可以打七折；报你名字来吃面的朋友，每吃一碗，我奖励你1元，他们再推荐的朋友来吃面，每吃一碗，我奖励你0.5元。小陈说：好啊!好啊!于是小陈下月就介绍了一些朋友来吃面!到了月底，老郑对小陈说：因为你这个月的介绍本店生意兴隆，他们一共来本店吃了2000碗面!这是按约定给你的1800元!小陈觉得好棒，平时我只是来吃吃面的，现在能吃到这么好吃的面条的同时还能赚外快，真的好赞。过了段日子，小陈要准备考试了，这个月他很忙，没有时间去帮老郑介绍人来面馆了，但是忙里偷闲他还是会来面馆吃面，和大家聊聊天。有一天，老郑拉着小陈，递给他6000块，小陈很诧异，坚决不收这钱，这时老郑说到：你上次介绍的那些朋友啊，他们吃了面后，感觉味道确实不同于其他面馆，从那以后他们经常会来光临，并且他们也介绍他们的朋友来吃，我同样也给他们奖励了，这些是你应得的，当初多亏你介绍，我的面馆才会有现在这么兴隆的生意啊。小陈竟说不出感激的话来，从此之后，小陈就和老郑的面馆，长长久久地合作下去。,54,55,母婴领域母婴电商Top App-2016年1月,56,中国母婴行业整体市场规模突破2万亿,57,母婴电商交易规模迅速扩大，线上成为用户主要购买渠道，,58,移动母婴社区用户渗透率快速提升,59,“社区+电商”模式完善母婴市场生态,60,互联网深度影响母婴用户消费行为,61,海淘兴起，跨境特卖成为母婴电商标配,62,63,旅游领域出行预定Top App-2016年1月,64,经济发展带动旅游消费升级，中国进入多元化度假旅游新阶段,2000,65,中国出境游人次突破1亿，度假旅游消费增长大幅推升因私出境比例,66,购物花费：国外自由行购物花费高，超3成用户消费万元以上,67,度假旅游产品进入3.0阶段，多元化度假旅游需求促进产品供需结构升级 路路行模式 管家服务成未来新热点,68,69,生活服务领域外卖/订餐Top App-2016年1月,70,生活服务O2O市场规模不断扩大，消费者有能力也有意愿为服务买单,71,“懒人经济下”只有想不到没有做不到，生活服务O2O开始项各个领域延伸,新模式倍全介绍,72,73,健康医疗领域问诊Top App-2016年1月,74,中国移动医疗市场处于市场启动阶段，并在短期内呈现持续、稳步上升态势,75,以医疗资源与内容为导向，构建多边生态,76,全环节的垂直细分产品与服务满足“长黏重”疾病需求是发展趋势,77,健康医疗领域医药Top App-2016年1月,78,中国医药B2C市场规模稳步上升，医药O2O服务助力用户购药体验提升,79,政策端突破加速医药O2O进程，处方药+电子处方+医保在线支付将成为下一个增长点,80,81,文化娱乐领域K歌/秀场Top App-2016年1月,82,中国电影整体票房增速加快，行业处于高速发展阶段,83,在线票务市场收入规模稳步增长，高线上化率为产业多元化创造条件,84,电影行业告别粗放式的低价补贴圈地阶段，差异化竞争伴随着谋划全产业链开始,85,网络游戏玩家消费持续增长，从PC端向移动端迁移,86,新技术造就新型游戏设备和平台的出现，推动游戏硬件及内容消费升级（阿里巴巴buy+）,87,中国秀场娱乐市场规模逐年攀升，业务模式相对成熟,88,基于社交+娱乐的双重属性，网红主播催生多元变现模式（淘宝直播）,89,关键发现,2015年，中国经济全面进入新常态中国宏观经济下行，从高速增长期向中高速平稳增长期过度，经济增长进入“6时代”；消费成为经济发展主要驱动力。80、90后逐渐成为消费主力人群，消费结构从生存型向享受型、发展型升级重品牌、重品质、重服务、重享受、个性化、重精神体验是目前中国互联网 消费主体的主要人格特征不同的人格特征激发与推动互联网相关行业的快速成长重品牌、重品质、重服务激发与推动电子商务细分领域的快速成长；跨境电商、汽车电商、母婴电商蓬勃发展。重享受激发与推动旅游业OTA、生活服务O2O、互联网医疗领域的蓬勃发展。个性化、精神体验激发与推动文化娱乐领域的蓬勃发展。把控消费主体的人格特征，将成为发现与挖掘行业机会的关键本讲座旨在通过对经济下行、消费结构升级背景下，对消费特征变化、互联网+重点消费领域进行分析与解读，帮助学习者把握互联网大数据背景下经济增长新热点的发展变化与应对趋势。,90,如果错过互联网经济，错过的不是一个产业，而是一个时代,91,今天的一切只是黎明时分,92,谢 谢！,93,