大数据思维培训课件.ppt

《大数据思维培训课件.ppt》由会员分享，可在线阅读，更多相关《大数据思维培训课件.ppt（95页珍藏版）》请在三一办公上搜索。

1、大数据思维Big Data Thinking,杜小勇中国人民大学信息学院,2015年6月13日,大数据？,大数据是因信息技术特别是数据获取技术的革命性进步而形成的信息爆炸现象，因其规模巨大、类型复杂、产生速度快、价值密度低等因素，对现有信息技术产生巨大挑战,需要运用新理念、新技术、新方法对其进行全生命周期的创新管理和应用,从而促进国民经济的转型升级、社会管理的模式更新，乃至国家综合竞争力的全面提升。,数据获取技术的革命性进步,传感器等自动采集的数据WEB2.0等用户生成数据（UGC）日志等系统自动生成数据,Apache Web Server Log,大数据现象,Source: Exabytes

2、: Documenting the digital age and huge growth in computing capacity, The Washington Post,新理念？,大数据时代，我们需要什么样的“新理念”？ 在思考问题和解决问题的方法上有什么新的特点通过一些案例来说明大数据时代我们应有的一些思维模式,大数据？,容量大,真实性,变化快,类型多,传统数据库的4个要求,大型: Large Volume共享: Shared (multi-user)持久: Durable (durability)可靠: Reliable (Reliability)ACID (Atomicity,

3、Consistency, Isolation, Durability)High performance: TpmC,类型多(Variety),数据类型多样: 结构化、半结构化、非结构化数据形态各异：流数据、图数据、关系数据处理要求不同：批处理、联机处理、流式处理在一个大数据应用 中共存。,变化快（Velocity）,不是静态的大数据，而是动态变化的数据不是低频，而是高频 不是更新，而是插入,真实性,GIGO是MIS时代的金科玉律大数据是真实反映，也可能是虚假反映。数据质量问题是新的巨大的挑战,用大数据解决问题的新思路,航线网络：顶点3k, 边50k联程设计：根据联程航班搭配规则生成联程航班,M

4、odel-based approach,Big data based approach?,大数据的价值,大数据将逐渐成为现代社会基础设施的一部分，就像公路、铁路、港口、水电和通信网络一样不可或缺。大数据是信息时代的“石油”，是推动信息经济发展的动力。,大数据的价值在于应用,产业转型与升级提升政府治理能力促进社会创新发展,大数据思维,数据思维互联网思维计算思维,1 “数据”思维量化、决策、整合,1.1量化思维: 一切皆可量化!,数据是指存储在某种介质上能够识别的物理符号，是对客观事物性质和状态的描述.先有数据再说应用,Stephen Beck每一天，我们的身后都拖着一条由个人信息组成的长长的“尾

5、巴”点击网页切换电视频道驾车穿过自动收费站用信用卡购物使用手机而雅虎、Google这样的公司，正在以平均每人、每月2500条信息的速度，捕获我们的详细数据。,科学=数据,科学发专刊，“科学就是数据，数据就是科学”“数据推动着科学的发展”,科学2011年2月11日,基因测序数据,在人体的基因中，有30亿个碱基对，每个人的不同，就是由碱基对排列差异造成的,大数据、大科学,饶毅先生 vs 华大基因的杨焕明院士 之争,跟帖评论：生命科学由实验科学正向理论科学转变。大数据，大科学研究思路必然会导致生命科学的变革。人类基因组计划就是一个典型案例。,脑科学的一些数字,大脑由数十亿神经元组成,通过数千个突触相

6、互连接;仅大脑皮层中的突触连接数量就超过了160万亿个(万亿1012)用电子显微镜来重建1mm3的大脑（大约一根针的针头）中的所有突触回路，信息量大约在1015字节（1PB)人类大脑包含约106个这样大小的神经组织,eScience,eScience是信息技术与科学家相遇而催生的新的学科，科学家利用许多不同的方法收集或产生了数据，如何从这些积累起来的海量数据中分析发现科学规律？正是这门学科的目的和任务。如何对海量的数据进行组织、管理和分析挖掘？,第四研究范式的提出,数据本身的价值越来越被认识，基于数据的科学发现,被认为是第四研究范式。科学实验理论推导仿真计算基于数据的分析,Microsoft

7、Research, 2009年10月,James （Jim） Gray,数据库技术和事务处理专家1944年生，加州大学伯克利分校计算机科学系博士。数据库和事务处理研究专家1998年获图灵奖(时任微软研究员)2007年1月失联至今,个大数据应用,TerraServer: 与美国地质调查局合作。引领了基于互联网的地图服务SDSS斯隆数字巡天项目：与天体物理研究联合会(ARC)合作. 后来发展为WWT(world wide telecsope)全球望远镜，全球百性均可观看,第四科学范式,几千年前科学以实验为主描述自然现象过去数百年科学出现了理论研究分支利用模型和归纳过去数十年科学出现了计算分支对复杂

8、现象进行仿真,第四科学范式,今天将理论、实验和计算模拟统一起来由仪器收集或者计算模拟产生数据由计算机存储和处理数据科学家通过数据分析挖掘软件分析数据，发现规律,人文社会学科,马克思说: “人的本质不是单个人所固有的抽象物，在其现实性上，它是一切社会关系的总和。”(马克思恩格斯选集第2版第1卷第60页)人与动物的区别就是人会劳动，而劳动就形成了一定的社会关系。,人文社会学科,机理不清模型难以建立信息系统客观地记录了大量的”社会关系”,这些大数据库本身可以看作是一个”模型”.,BAT 大数据,政府治理,业务层次：管理层次：决策层次：,例：网格化管理,对社区进行网格化划分通过视频监控、传感器，以及配

9、置网格管理员，收集信息。将信息上传到一个统一的平台上进行分享和管理,大数据治理（Governing）,数据质量数据隐私数据安全数据标准数据溯源,1.2 决策思维:让数据说话,决策模式：直觉驱动的决策拍脑袋的决策，有随意性 逻辑驱动的决策基于逻辑分析的推理经验驱动的决策用数据说话、用数据来 管理、用数据来决策、用数据来创新,如何看待大数据？,概率论和统计学将经验变成了“科学”数据分布（均匀分布，正态分布，高斯分布，泊松分布，。）数据抽样假设检验大数定理,大数定理,在随机事件的大量重复出现中，往往呈现几乎必然的规律。在独立同分布的假设下，重复试验多次，随机事件的频率近似于它的概率。偶然中包含着某种

10、必然。例子：抛硬币试验，硬币落下后哪面朝上是偶然的，但是当抛硬币的次数足够多之后就会发现，硬币朝上的次数约占总次数的二分之一。,统计机器学习,训练,测试,预测,模型,线性回归,大数定理的假设,这个定理有前提独立同分布试验的次数非常大在很多情况下，这些假设不一定能满足问题空间的参数太大，训练数据对问题空间的覆盖度不大试验条件在变化，不能满足独立同分布,“经验”思维,崇尚“经验主义”、让数据本身说话,要全部数据，不要抽样！,模型不再那么重要，让数据说话,“All models are wrong, but some are useful.” - 统计学家George Box “All models

11、 are wrong, and increasingly you can succeed without them.” - Peter Norvig,案例：语言翻译,通过搜索去找到相同或者相似的句子，直接返回结果,百度：如果你不离开我，我们会死在一起四级：你如果不离开我，我就和你同归于尽。 六级：你若不离不弃，我必生死相依。,If you do not leave me, we will die together.,搜索引擎,案例：IBM沃森问答系统,北京时间2011年2月17日，电脑沃森狂胜人类三个比赛日的总成绩，沃森获得77147美元，肯詹宁斯排名第二获得24000美元，而布拉德拉特只获得

12、了21600美元 。,1.3 整合思维:跨界的创新,数据孤岛的形成技术的原因历史的原因认识的原因打破数据孤岛，是开展大数据应用的前提,信息化3.0,信息化1.0,信息化2.0,V1.0-V2.0-V3.0,信息化3.0,云计算解决了计算资源的共享问题大数据技术试图解决数据的利用问题大数据是由于不同来源的数据汇集而带来的“跨界”型创新应用。,案例：淘宝微贷,淘宝：电子商务平台淘宝网（taobao）：C2C业务，天猫（原名淘宝商城）：平台型B2C电子商务服务商淘网（etao）：一站式购物搜索引擎开展微贷业务尽管不能经营储蓄业务，但是支付宝平台有上千亿的存量基于交易记录，可以进行自动化诚信评价违约率

13、仅有百分之零点几,跨界应用比比皆是,2014年7月22号，上海。阿里巴巴宣布，和中行、招行、建行等7家银行深度合作，为中小企业提供基于网商信用的无抵押贷款，最高授信额度1000万元。阿里将平台拥有的数万家企业交易数据开放给银行，降低银行贷款风控成本的同时，亦为苦于无法自证信用的中小企业，提供了第三方担保。,案例：电信运营,卖管道：经营流量,卖服务：经营业务,卖知识：经营数据,小结,量化思维: 一切皆可量化决策思维: 让数据说话整合思维: 数据跨界融合数据客观地记载了我们的世界。只要有可能，我们努力去获取、保存、处理之。,以数据为中心的新思维,大数据时代使得数据具有独立存在的价值，数据作为资产的

14、地位突显。以前都是先有应用后有数据，现在是先有数据再说应用软件是为数据服务的，我们需要以数据为中心的新思维,“互联网”思维,互联网的发展,SNS,开放性,封闭,开放,WEB1.0,WEB2.0,WEB3.0,单向的被动接收型,门户,分享的参与型,博客,互联的平等型,SNS,语义网,1995,2005,2015,互联网大数据,互联网，特别web2.0之后的UGC，是大数据形成的重要原因之一。SNS是由于互联网的发展而形成人-人间的互联因此，大数据的应用自然而然会受到互联网的影响，互联网思维也会影响大数据应用。,互联网思维,以客户为中心：人本的思维万物皆有联系：关联的思维反垄断去中心化：平等的思维

15、,2.1“人本”思维,互联网应用将客户作为了信息系统最重要的组成部分.传统的信息系统是将业务逻辑作为最重要的内容.,“人本”思维,互联网应用的核心在于以用户需求为主导，将用户思考和用户体验做到极致是关键所在。有数据显示，高达92%的顾客相信朋友推荐，有75%的顾客决策前参考社会化评价，70%的顾客相信在线评论。口碑营销（病毒式营销）：通过社媒各渠道塑造品牌形象，直接影响消费决策。,“人本”思维,互联网应用中，最有价值的是社区。为用户画像，了解用户的需求，提供个性化的服务。,案例: MOOC,MOOC= 公开课+学习社区,案例：推荐,当你浏览网页的时候，系统会给你推荐,2.2 “关联”思维,强调

16、数据之间的关联也很有用，而不去追求数据之间的因果关系。因果关系是最深刻的一类联系，但是我们很多时候并不能获得。,计算机应用的发展,科学计算,企业计算,个人计算,计算的精度计算的速度,硬件技术,系统性能正确性,关系理论事务理论,信息关联信息质量,互联网搜索引擎,1950,1980,2000,案例：监测,今年7月，华东师范大学一名女生收到来自学校勤助中心的短信：“同学你好，发现你上个月餐饮消费较少，不知是否有经济困难？如有困难，可电话、短信或邮件我。”,案例：预测,根据搜索关键字预测失业率,失业率预测演示模型,2.3“平等”思维,去中心化去垄断化长尾效应,去中心化,建立和运维社区是大数据应用的关键

17、。在社区中，成员都是平等的,垄断 vs 反垄断,互联网本质上是反垄断的技术反垄断：开源社区 信息反垄断：信息公开是反腐的利器资源反垄断：开放和标准是有效的办法,案例：媒体的演变,传统媒体：只能听到中心的一个声音博客：每个人都可以发表自己的想法。较之于传统媒体，这是个巨大的飞跃。但是你的想法能让多少人听到，却依然取决于门户网站的编辑（是否被精选）微博：所有人可以在一个统一的公共讨论空间讨论，更重要的是这个讨论空间，不再依靠一个中心，而是靠着兴趣、关系的链条自动生成、壮大，编辑的力量被前所未有的削弱了。,小结,关联的思维平等的思维人本的思维,“计算”思维,计算思维,“大数据”现象是计算技术发展和应

18、用中出现的问题之一。大数据应用 也还是计算机应用。因此大数据应用也应遵循应用计算机解决问题的一般规律。这个规律我们称之为“计算思维”。,计算思维,“计算思维”的概念是2007年由时任CMU计算机系主任周以真(Jeannette M. Wing )提出来的。“Computational Thinking”, Communications of ACM, 49(3),pp.33-35. March 2007,是人的思维，不是计算机的思维,计算思维是人类求解问题的一条途径，但决非试图使人类像计算机那样地思考。计算思维也并非计算机专业人员才能掌握的思维模式，非计算机专业的人员也应具有。,计算的精髓,计

19、算就是问题求解抽象与自动化algorithm平台与层次化platform平衡与最优化optimization,3.1 算法思维,计算思维的核心就是用计算机自动解决问题，而解决问题的核心就是算法。可计算吗？计算量多大？是否有高效算法？是否有精确算法？如何设计近似算法？,算法思维,手工方法是不可能处理大数据的！我们需要思考，我们工作中的什么事情是可以自动化来完成的自动化的量化交易是否可能？,3.2 平台思维,平台：指计算机硬件或软件的操作环境。泛指进行某项工作所需要的环境或条件（百度百科）技术平台：微软平台，数据库平台，。业务平台：办公系统,大数据系统平台,需要一个计算机平台！而且通常是一个计算机

20、集群的云计算平台多层次平台,存储计算平台,分析挖掘平台,展示应用平台,平台选择,平台是我们工作的基础，平台的建立需要时间和经费，一旦确定之后很难更换，因此，选择平台要谨慎平台选择要重视开源平台平台并非唯一，需要根据应用特征来选择平台平台选择要考虑可扩展性，最好是scale-out方式的扩展。,案例:Package Price的诱惑,平台绑定一个产品会带来后患多方产品的选用标准化的系统接口,关于开源平台的讨论,大数据系统大多为开源平台开放性可持续发展对于开源系统的把握能力,大数据 系统百花齐放,产业竞争激烈，大家都觉得有机会，处于一个“竞争性垄断”的阶段（“三国时代”）与“寡头性垄断”相对应进入

21、容易，退出也容易 Communications of the ACM, 2011,crazy,Too manyNoSQL systems,RDBMS is like a car, Hadoop is like a train.,RDBMS,Hadoop,Big Data=Hadoop?,RDBMS vs Hadoop,相同点：都是在文件系统之上，有效”管理”数据的平台工具不同点：面对的应用类型不同。一个是面向企业计算的事务型应用；一个是面向个人计算的互联网应用技术成熟度不同。关系数据库已经很成熟，Hadoop还才刚刚开始，还很不完善（编程模型、开发环境、性能优化等）,关于scale-out 与

22、scale-up的讨论,IOE(IBM+ORACLE+EMC)Scale-up高大上的困境Scale-out平民化路线的优势,关于平台标准化的讨论,标准化在平台建设中极其重要数据的标准化接口的标准化服务的标准化,3.3 优化的思维,计算机系统不可能“一劳永逸”的，需要不断的“进化”这个进化过程就是系统优化的过程。“优化”在计算思维中占有重要的位置。优化目标约束条件优化方法,案例：某高校财务处,排长队报账优化目标：减少排队时间甚至不排队,小结,计算思维是计算机科学家在发展计算机科学的过程中逐渐形成的解决问题的思路这种思维方式是我们适应信息社会生活的必要素质和技能计算思维的内涵很丰富，包括但不限于：算法思维：抽象与自动化平台思维：平台与层次化优化思维：平衡与最优化。,总结与讨论,1 数据思维2 互联网思维3 计算思维,