云计算和大数据现状分析.ppt

《云计算和大数据现状分析.ppt》由会员分享，可在线阅读，更多相关《云计算和大数据现状分析.ppt（118页珍藏版）》请在三一办公上搜索。

1、,大数据的探索与实践,云计算和大数据现状及趋势分析,提纲,五、云计算大数据相关案例,信息技术加速中国发展,改革开放三十多年来，中国走过了美国等资本主义国家上百年才走完的发展道路，信息技术在国我的发展功不可没。,信息革命开创了以信息资源为关键资源的知识经济。第一个是信息处理和传播方式的巨大进步。第二个是先进的信息处理和传播方式的广泛普及化应用。第三个是由此对社会面貌、社会状态、社会结构和体制的全方位、综合性和全息性的改造。,工业社会,信息社会（知识社会）,农业社会,农业革命实现了游牧经济到农业经济的变革，农业生产成为社会经济的主导因素；开创了5000多年以土地、牲畜、简单的劳动工具为主要资源的农

2、业经济。,工业革命开创了300年以材料、能源和机器为主要资源的工业经济。工业经济时代的管理重点是生产，制造业是工业经济时代的主体产业，刚性的生产方式关注的是劳动生产率的提升。,基于新一轮IT创新变革和知识经济的深入发展，构建城市发展的智慧环境，形成基于海量信息和智能过滤处理的新的生活、产业发展、社会管理等模式，面向未来构建一种更新的城市形态。,信息资源日益成为重要生产要素的表现,新技术，新机遇：问IT产业谁主沉浮？,你方唱罢我登场，问IT产业谁出沉浮？云计算、大数据、移动互联、社交网络、电子商务等不断发展与融合，改变着中国人的生活、工作和学习方式。,中国万亿IT市场（2011年-2016年）,

3、信息技术：润物细无声,互联网用户增速迅猛,引子1：中国各种信息系统，面临着更多的用户，我们的系统需要处理更多的数据。需要更强大的基础设施能力，以及数据处理能力。,智能终端：一切应用及服务的入口,移动互联网在中国万亿级别的IT市场中的比重及复合增长率越来越大，成为IT产业新的金矿；得终端者得天下：小米、中华酷联，一切应用和服务的入口,移动互联网改变世界：全天候在线,移动互联网：使每个人随时随地任何终端模式接入互联网，使每个人可以全天候工作、学习、购物等。,中国IT产业：更丰富的内容和服务,中国IT产业高速发展：天时、地利、人和,带宽高速增长：从2G到3G再到4G，移动互联网带宽有了1000倍的增

4、长。后台支撑技术的进步：云计算、大数据技术的进步硬件设备迅速普及：手机、平板等智能移动终端设备的价格不断降低，用户可速增长。开放式平台：开源硬件及开源软件发展，打造一个开放式的产业链。新的终端技术的融入：GPS、体感技术、新型传感器设备、可穿戴终端技术不断发展,中国IT产业：未来发展阵型,应用为导向大数据为业务引擎云计算为基础支撑移动互联网为带动社交网络为纽带电子政务为引领电子商务为增长点,什么是云计算：云的业务模式,Gartner高级分析师Ben Pring评价道：“它正在成为一个大众化的词语。”但是，问题是似乎每个人对于云计算的理解各不相同。作为一个对互联网的比喻，“云”是很容易理解的。但

5、是一旦同“计算”联系起来，它的意义就扩展了，而且开始变得模糊起来。有些分析师和公司把云计算仅仅定义为计算的升级版基本上就是互联网上提供的众多虚拟服务器。另外一些人把云计算定义的更加宽泛，他们认为用户在防火墙保护之外消费的任何事物都处于“云”之中。,人云亦云 众说纷纭,什么是云计算:业务模式,同时满足以上三个条件的是云计算,1服务可租用：用户所需资源不在客户一端而在网络,2服务可计量：服务能力具有分钟级或秒级的计量能力,3高性价比：具有较之传统模式5倍以上的性价比优势,云计算,云计算的定义与特征（12345）,通过网络接入弹性可扩展的物理或虚拟资源池，并可以以按需、自服务的方式对资源进行部署和管

6、理的服务模式,1个定义,1：提供者以租代售，由卖产品变为卖服务，提高资源利用率并降低服务成本2：使用者以租代买，提高投资回报率,2个角色,3种模式,1：SAAS(软件即服务)2：PAAS（平台即服务）3：IAAS（基础设施即服务）,1：私有云2：社区云3：公有云4：混合云,4种部署,1：宽带网络接入2：按需服务3：资源共享4：快速弹性扩展5：服务可度量,5个特点,什么是云计算：技术特性,虚拟化技术硬件虚拟化系统虚拟化应用虚拟化并行运算技术映射（Map)归约（Reduce),云计算的4大支撑技术,四大技术是拆分分布技术是合成,一机变多机,一算变多算,一存变多存,海量数据管理技术列族存贮主服务器子

7、表服务器海量数据存贮技术元数据节点数据节点,一库变多库,IAAS云：虚拟机统一调度和管理提高资源效率,IAAS云：虚拟机统一调度和管理提高资源效率,1,2,1,2,IAAS云：虚拟机统一调度和管理提高资源效率,IAAS云：虚拟机统一调度和管理提高资源效率,2,1,4,3,4,3,云的四大效能：对客户的价值,整体高效、资源共效,按需分配、均衡统筹,互联互通,数据统一,云最大的优势有效解决资源、信息孤岛问题,共享硬件资源：计算、存储、网络,统一管理业务、应用、数据,统一安全服务,统一管理服务,标准、规范、法规体系,全球广泛建立云数据中心,世界领先IT公司服务器持有量,云计算产业市场前景,据IDC估

8、计和推算，从2009年底到2015年底，云计算能为全球带来12,103亿美元的新业务收入，为中国带来超过20,483亿人民币（3,012亿美元）的新净业务收入服务的创新孵化作用预测，以广东省为例，至2015年累计可研制孵化3000多个互联网服务，只要其中千分之三的服务能够达到腾讯的规模，就能产生千亿元产值,截止到2012年8月，国内众多省市、行业都规划、启动、应用了云计算服务。北京“祥云”计划上海“云海”计划深圳“鲲云”计划重庆“云端”计划宁波“星云”计划、无锡“云谷”计划苏州“彩云”计划哈尔滨“云飞扬”计划惠州“惠云”计划广州“天云”计划内蒙古“蓝天白云”计划,云计算在中国,中国的云要自己建

9、去IOE和八大金刚，及去开源,IOE:IBM ORACLE EMC2八大金刚：思科、IBM、谷歌、高通、英特尔、苹果、甲骨文、微软美国的“八大金刚”在中国长驱直入，占据政府、海关、邮政、金融、铁路、民航、医疗、军警等关键领域，它们与美国政府、军队保持着紧密的联系，美国情报部门通过它们的设备、软件、网络获取信息，也几乎零门槛。开源云社区：OpensourceOpenstack非常活跃，应用也较为广泛；检查每一行代码，每一类库是不可能的任务；开源社区的掌握实际还是欧美产业界，并不完全是理想的骑士们；产品过度用开源，服务得不到保障，另也会被开源绑架；一些半开源真品也同样混淆我们的视听。,美国的9家互

10、联网公司在棱镜项目中暴露,云平台的规划：总体技术架构,云平台的建设依托于云计算技术，是新型的计算资源利用模式。它将计算任务分布在由数台服务器构成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。,设计理念：安全是前提应用是核心管控是关键,利旧，扩展性,云操作系统：整个云平台的管理者,气象应用,位置应用,GIS应用,桌面云应用,桌面云APP,资源管理子系统,云中间件层,应用层,资源驱动层,Xen驱动,KVM驱动,VMware驱动,虚拟化驱动集合,LocalDisk驱动,NAS驱动,IP-SAN驱动,存储驱动集合,FC-SAN驱动,分布式存储驱动,Switch驱动,Firew

11、all驱动,LB驱动,网络与外设驱动集合,VPN驱动,监控驱动,其他设备OS,硬件,安全体系,管理体系,计算资源管理,存储资源管理,网络资源管理,任务管理子系统,任务过程管理,任务计划管理,监控管理子系统,基本监控信息管理,定制监控信息管理,策略管理子系统,调度策略管理,容错策略管理,节能策略管理,动态迁移策略管理,用户管理子系统,用户管理,授权管理,分组管理,OS管理集合,单机OS管理,存储OS管理,交换机OS管理,防火墙OS管理,硬件管理集合,服务器兼容管理,存储设备兼容管理,网络设备兼容管理,负载均衡OS管理,网络安全集合,网络流量控制,网络流量分析,网络访问控制,虚拟私有云（VPC）,

12、插件管理子系统,故障管理子系统,系统漏洞防护,弱口令防破解,用户安全认证,行为审计系统,系统安全集合,云操作系统：资源的全局监控,对云平台的配置、优化、管理的策略和经验的积累,电子政务云实施：传统电子政务建设面临的问题,近年来，我国的电子政务建设迅猛发展，全国绝大部分地区都已经建设了以电子政务基础网络平台、政府门户网站和办公自动化系统等为代表的一系列电子政务项目，国家电子政务总体框架已见雏形。但是，随着电子政务建设的不断推进，许多矛盾和困难也随之不断涌现出来。,随着政府信息化的逐步深入，电子政务云平台的发展推动了政务信息的互联互通、信息共享、业务协同，强化了信息资源的整合，规范了采集和发布，加

13、强了社会综合开发利用。建设电子政务公共平台是电子政务发展到深化应用、突出实效阶段的重要举措。,电子政务云的定义及目标,“电子政务云”（E-government cloud）是运用云计算技术，统筹利用机房资源、计算资源、存储资源、网络资源、信息资源、应用支撑等资源和条件，发挥云计算虚拟化、高可靠性、通用性、高可扩展性以及快速、按需、弹性的服务等特征，为区域政府单位用户提供基础设施、支撑软件、应用功能、信息资源、运行保障和信息安全等多方面不同类型不同级别服务的电子政务综合性服务平台。,电子政务云紧紧围绕各级政务部门深化电子政务应用、提高履行职责能力的迫切需要，为各部门实现政务、业务目标提供公共的技

14、术环境和服务支撑。满足业务不断发展和改革的需要。满足跨地区、跨部门、跨层级信息共享，以及行业系统与地方应用条块结合的需要。满足大量数据访问、存储和智能化处理的需要。满足安全可靠运行的需要。,电子政务云的价值,四大价值,云计算具有超强的计算能力和低成本、高安全性等特性，将其应用于电子政务领域具有十分重要的价值和意义。电子政务云的应用价值主要包括以下几方面：,电子政务云的总体部署架构,4朵云-省级电子政务云-民生服务云-业务专有云-市级电子政务云N+1+N容灾模式-N个市级政务云采用省级政务云平台作 为异地备份中心-省级政务云选择1个市级政务云建设异地灾备中心-N个市级政务云的同城备份中心省-市两

15、级互补-省-地市：模板下发、资源调度、备份、数据共享交换；-政务云-业务专有云：数据共享交换-政务云-民生服务云：数据共享交换,电子政务云的总体逻辑架构,5层两翼、3体系1门户,电子政务云的主要建设内容,建设内容,建设内容,五部分建设内容:,典型案例,东莞市电子政务云平台,典型案例,东莞市电子政务云平台的建设，在国内首个采用自主安全可控的G-Cloud云操作系统，整合全市电子政务信息资源，创新服务交付模式，走集约、低碳、节能、高效建设之路，并取得了显著的成效。目前，东莞市电子政务云平台有效整合了132台物理服务器、145TB存储、100个虚拟网络资源的统一监控管理，承载近500个电子政务业务应

16、用，为东莞市32个镇/区和近80个市属单位的用户提供统一的IT资源服务。通过该平台的建设，一方面提高了基础设施资源的利用率，每年节省电费约80%，另一方面优化了资源审批流程，将新上线业务应用的部署周期从2天以上缩短至2个小时。,东莞电子政务云总体网络部署架构,一期网络部署架构,电子政务办有两个机房，分别为位于市政府的中心机房和位于大朗的灾备机房。四框刀片服务器中灾备机房部署一框刀片服务器作为备份节点，另三框刀片服务器和2个存储设备都部署到中心机房。,二期网络部署架构,二期G-cloud网络主要包括DMZ区、服务器区、电子政务网、存储网等四个部分。其中关键设备，如核心交换机、汇聚交换机等均采用冗

17、余设计，用以保证网络连接持续性和稳定性。,东莞市电子政务云规模,东莞电子政务云应用部署情况,东莞市电子政务云平台承载近500个电子政务业务应用。政务为东莞市32个镇/区和近80个市属单位的用户提供统一的IT资源服务。,电子政务云平台案例,用户：东莞市中小学、学生、家长；产品&服务：G-Cloud云操作系统、教育云在线平台、国云中间件服务东莞200万学生，10万教师,可靠和安全的数据存储中心，降低成本3.4亿元按需提供信息化建设定制方案；提供可定制的网络学习平台；提供移动办公、学习的支持。,典型案例：教育云,教育云平台,云计算国防应用：军民融合云计算平台,军民融合云计算平台,资源聚合技术,资源协

18、同技术,军民信息化基础设施的安全对接机制,军民信息化基础设施的安全隔离方法,安全环境下信息化基础设施的动员和征用体系,军用数据中心 信息化基础设施,民用数据中心,智慧城市规划“一张网”、“一张图”、“一片云”、“一套库”、“一张表”5个统一的信息化建设，提升城市基础设施的集约化、系统化和承载能力；以互联互通和共享协同为主线，建设智慧城市。,“七”大应用版块是核心、“五”个基础是关键、“三”个标准是支撑,基于云计算的智慧城市建设框架,我们来到大数据时代,数据极简主义,大数据：一切数据皆有用,数据观、技术、成本的变化（硬件、软件和除理技术、来源）,全球每秒钟发送 2.9 百万封电子邮件，一分钟读一

19、篇的话，足够一个人昼夜不息的读5.5 年每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年每天亚马逊上将产生 6.3 百万笔订单每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EBGoogle 上每天需要处理24PB 的数据,人们从信息的被动接受者变成了主动创造者,我们来到大数据时代,大数据时代的爆炸增长,想驾驭这庞大的数据，我们必须了解大数据的特征。,地球上至今总共的数据量：在2006 年，个人用户才刚刚迈

20、进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！,1PB（拍字节）=250字节1EB（艾字节）=260字节1ZB（泽字节）=270字节,20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data,2011年5 月，在“云计算相遇大数据”为主题的EMC World 2011 会议中，EMC 抛出了Big Data概念,什么是大数据：Big Data名词由来,什么是大数据（NO-SQL,Not Only SQL)不同“看”

21、数据的方式,54,可视：结构化资料 15%,未视：半/非结构化数据 85%,DB/DW,主管们看的战情数位仪表板，其实是残缺的,什么是大数据：不同的数据管理对象,当我们想要扩充时，才发觉：架构只能 scale-up，scale-out 不易处理时间过长，time-to-value 受限成本过高，cost-efficiency 受限,15%结构化的 DB/DW,遗憾,残缺,大数据=海量数据+复杂类型数据,增长如此之块，以至于难以使用现有的数据库管理工具来驾驭，困难在于数据的获取、存贮、搜索、共享、分析和可视化等方面,大数据的定义,数据量,复杂性：种类和速度,销量,库存,薪酬表,客户信息,合约,E

22、RP/CRM,WEB2.0,广告,博客,搜索营销,文本/图像,网络日志,大数据,社会情绪,音频/视频,传感器,RFID,维基/博客,微博,金融信息,个人数据,位置信息,政府信息,气象数据,保险信息,EBPBTBGB,维基的大数据定义,任何超过一台计算机处理能力的庞大数据量,亚马逊的大数据定义,大数据是由局部数据汇聚而成能反映出整体的数据，整体的数据又随时空在不断膨胀。,Informatica的大数据定义,大数据=交易数据+互动数据+观测数据,中国电信的大数据定义,中心的大数据定义,如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的

23、，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。,大数据的理性认知,美C.R 劳,与传统比较，大数据的分析处理的核心是预测和推断，根本的变革在于不刻意追求因果关系，而更多关注相关关系。也就是说，只要知道和什么有关，而不必强求为什么有关。,英舍恩伯格,大数据时代来临，使人类第一次有机会和条件在非常多和非常深入的层次获得和使用全面数据、完整数据和系统数据，简而言之就是样本=总体。,英舍恩伯格,大数据为政府统计提供了总体性、非结构化、丰富真实的原始资料，可以极大地缩短数据采集时间，减少报表填报任务，减轻调查对象负担，提高统计数据质量。,国家统计局 马建堂,大数据，也叫

24、全局数据、总体数据，数据量越大其预测和推断的准确性越高,大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合,大数据：4V特性,数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量,大数据要上升为国家战略,大数据不仅仅是数据“大”,多大？PB 级,比大更重要的是数据的复杂性、全面性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,软件是大数据的引擎,大数据与传统数据库的区别,云计算与大数据,大数据应用运行在云平台之上,如果数据是财富，那么大数据就是宝藏；云计算就是挖掘和利用宝藏的利器！没有强大的计算能力

25、，数据宝藏终究是镜中花；没有大数据的存储和积淀，云计算也只能是杀鸡用的宰牛刀！,大数据市场分析,国际企业角力大数据,EMC,EMC的大数据解决方案专注于使组织更有效地使用他们从不同来源产生的数据，包括网络上，网页上，消费者，监控系统和传感器。EMC的数据计算产品事业部正在开发分析工具以解决大数据现象。EMC的大数据解决方案包括40多个产品。,2010年7月收购数据库软件供应商Greenplum，花费3亿美元2009年七月收购数据复制解决方案提供商Data Domain，花费24亿美元不一定和大数据完全相关，EMC从2009年起收购了Archer Technologies,SourceLabs,

26、FastScale Technology,Configuresoft,and Varonis Systems。,IBM,IBM的策略是提供一个全面的方法来解决前所未有的信息爆炸提出的挑战，因为信息量无论在流量、种类、速度还是活力上都是爆炸式增长IBM一直致力于扩大对包括数据仓库中的大数据、信息流和结构化数据的分析,在过去四年中，IBM已经投入超过120亿美元进行了23项相关并购，其中包括：2010年9月收购数据库分析供应商Netezza公司，花费17亿美元2010年10月收购网络分析软件供应商Coremetrics2009年10月收购数据分析和统计软件提供商SPSS,花费12亿美元2009年1

27、月收购业务规则管理软件供应商ILOG,花费3亿4千万美元2007年花费20亿美元收购商务智能软件供应商Cognos,微软,微软提供了高性能计算能力，并在2005年靠Windows Compute Cluster服务器进入相关市场最近，微软的HPC部门开发了该公司的Dryad并行处理技术社区技术预览(CTP),第一步是向Windows HPC Server的用户提供处理大数据工具,甲骨文,甲骨文大数据提供的数据库和数据库软件主要用于配合Sun的硬件，特别是它的最高端服务,2009年7月收购专注于数据复制和实时数据集成解决方案的私人企业GoldenGate Software,大数据的产业价值链,数

28、据,数据的掌控者，拥有或者可以收集大量数据的公司。海量的数据就是财富，可以考虑自己分析或者卖数据给其他公司。,技术,技术供应商或者分析公司。掌握了从海量数据中分析出有用信息的技能或者工具，但本身不一定拥有数据。,思维,有创新思维的人或者公司。他们对大数据敏感，有怎样挖掘数据的新价值的独特想法。,分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：

29、云计算；标签云；关系图等,大数据技术体系：取、存、管、用,存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,大数据核心技术需求,高并发读写,大数据核心技术需求,高效率存储 和访问,高可扩展性和高可用性,低成本建设运维,保证一致性的开销过大，难以实现高并发 存储性能受限于控制器，性能难以保证,关系型表单存储难以适应不同数据类型 上亿行数据的超级达标效率极低,传统基

30、于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高 许可和维护花费高昂,无法简单的通过添加服务节点来扩展数据容量和负载能力，难以进行横向扩展 数据库升级需要停机维护和数据迁移，导致服务中断,不保证遵循ACID原则，提高并发读写性能,Schema-Free存储适应不同数据类型舍弃SQL标准功能，尽量简化数据操作，提升效率MapReduce实现高效访问,基于X86设备，价格低廉开源系统，节省许可费用,支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力数据库升级不影响服务持续,大数据的分析模型,研究对象由组织、用户、大数据和工具构成的运行系统研究内容大数据的构成

31、 大数据的行为 大数据的行为和数据的组织研究方法知识工程解构大数据系统研发工程支撑大数据系统价值工程牵引大数据系统研究目标大数据生产平台大数据开发平台大数据采集平台大数据应用平台研究重点数据分而治之资源组织调度逻辑复制迁移,为什么,是什么,怎么做,大数据变革既有数据观：以变革始,大数据是组织的一种资产,数据资源已经是上升为国家的战略资源。人类已进入“后信息经济时代”，即智慧经济。智慧经济是一种创新形态的萌生经济，能实现经济与环境、能源、社会最大限度的可持续发展。大数据是智慧经济的基础。,从哪里来、当前在哪里、要到哪里去,大数据是一种资产,三个小故事：智者善用数据和工具,孟德尔碗豆杂交实验，基于

32、数十年实验数据，经过采集、分析、归纳、推导、预测找到其规律。,（一）使用数据,曹冲称象，大而划之、分而治之。秤是分析，算盘是汇总。,（二）处理数据,平民传奇，分布式文件系统、分布式数据库系统，解决对象的切分与存贮；MR编程模式解决分析与归纳。,（三）构建系统,大数据处理行为技术特征,数据无限分而治之,功能有限复制分发,大数据系统的定义,是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新、拓展和维护的系统,是一个将各类信息系统产生的数据作为存贮、分析和利用的信息系统，通过借助计算机硬件、软件、网络通信设备以及其他设备，实现对数据的收集、存

33、贮、处理、传递、备份的系统。,管理信息系统,大数据系统,大数据系统的设计目标,大数据系统的逻辑架构,数据域节点子系统任务节点子系统,名称节点子系统,作业节点子系统,数据库主节点子系统,统一协同节点子系统,备份节点子系统,数据调用子系统 数据呈现子系统 数据采集子系统,ERP系统 电子商务网站,大数据库系统界面,产品研发成果：,云数据库虚拟化平台截图：,与现有系统的关系,现有系统,大数据系统,数据输入,分布节点1,分布节点2,分布节点3,输出,现有系统,调用,大数据系统,分布节点1,分布节点2,分布节点3,输出,HADOOP,MaHout,主流大数据库,使用现状,大数据系统体系建设规划,搭平台,

34、采数据,建模型,编代码,图呈现,第一阶段一次建逐步扩可查询简应用巧妇有米可炊,第二阶段重复迭代持续可分析深入用巧妇百变花样,搭平台-系统布署规划,采数据-数据采集模型,建模型-建立四大模型,建模型-建模所需基础知识,概率论随机变量数字特征参数估计假设检验,建模型-十大精典算法,建模型-算法的典型应用,关联规则,建模型-算法的典型应用,决策树,编代码-开发环境的安装,图呈现：图形设计技术,数据描述视觉编码：大小、颜色、纹理、形状；线段、图表、树；听觉编码：声音、语言数据表示 在时空局限下采用滚动、变形、抑制、缩放、快速序列来展现数据。交互 连续、渐进、被动、混合多种交互方式，,大数据展现技术总结

35、：数据呈现技术是大数据能否让智慧经济走进寻常百姓家的最后一公里，利用信息可视可听使大数据的有价信息以可感性认知的方式呈现出来至关重要。,图呈现：一图胜千言,图呈现-图形开发工具,DataWrangler斯坦福大学可视化组（SUVG）设计的基于web的服务的图形化工具计算量大Google Refine用户在电脑上运行这个应用程序后就可以通过浏览器访问之Google Fusion TablesarietyGoogle Fusion Tables的处理大数据量的强大能力，以及能够自由添加不同的空间视图的功能JavaScript InfoVis ToolkitQuantum GIS OpenHeatM

36、apTimeFlow,舆情系统：大数据应用,全文检索软件 文本挖掘软件 舆情分析软件 突发事件专题追踪与分析软件 舆情简报自动生成软件,六大主要技术组件,舆情监控社会传感网络,舆情系统：数据采集模式,一级社会传感网络：活跃的敏感网站，实时监控二级社会传感网络：包含有害信息站点，定时扫描三级社会传感网络：一般性网站，关键词定期巡查,舆情系统：突发事件分析,数据实时处理与汇总,在线分析与计算-事件趋势分析,舆情分析,社会网络分析-蒙牛事件涉及组织,社会网络分析-蒙牛事件人物关系网络演化,传播影响分析-蒙牛事件,舆情系统：结果展示,时空大数据聚合应用案例,广西科技投入分析（聚类分析）-项目投入、民族

37、投入、企业投入-数据地图、柱状图、趋势图-多维度统计、多方式展示,大数据支撑行为分析案例,教育云平台分析（行为分析）-学校分布图-登录用户统计-活跃用户统计-操作统计,实时大数据案例,清华公共安全研究院实时交通应用-交通路况查询-车辆行驶模拟,大数据异构政府信息系统集成应用案例,企业征信平台应用-企业源数据-企业数据集成视图-企业数据量化,跨系统数据异常比对,港区公众服务应用截图，数据联合检查,大数据库产品应用,大数据精典案例,2009年，甲型H1N1流感在全球爆发传播，为了发现和控制疫情，各国政府和卫生相关部门付出了巨大努力，但得到的数据仍然滞后一两周，而Google对人们的搜索的历史记录进

38、行处理，建立合理的数学模型后，得到的预测结果与官方的数据相关性高达97%，能够立刻判断出流感是从哪里传播出来的，没有一两周的滞后。Google处理了5000万条历史记录、4.5亿个不同的数学模型。,大数据精典案例,大数据精典案例,Cloudera正在与西奈山医学院合作开发新的生物数据分析方法和系统。Cloudera还与FDA合作侦测多种药物组合的副作用，与埃默里大学合作帮助病历学家更准确地分析医疗影像。Cloudera的客户之一Explorys的业务主要是聚合并分析医疗记录，而英特尔和NextBio则合作使用Hadoop处理基因数据。Apixio利用Hadoop平台开发了语义分析服务，可以对病

39、人的健康提供医生、护士、及其他相关人士的回答。Apixio试图通过对医疗记录进行先进的技术分析，与一个简单的基于云计算的搜索引擎来帮助医生迅速了解病人相关病史，挽救生命。,大数据精典案例,大数据精典案例,马云成功预测2008 年经济危机“2008 年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用

40、户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。,人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。大数据时代,大数据应用行业分析,应用可能性,电信,政府（公共事业）,交通,金融,医疗,教育,能源（电力/石油）,纵轴契合度：表示该用户的IT应用特点与大数据特性的契合程度；横轴应用可能性：表示该用户出于主客观因素在短期内投资大数据的可能性；注：该位置为分析师访谈的综合印象，为定性分析，图中位置不代表具体数值,High,Mid,Low,Low,Mid,High,优先关注行业用户,应用特点与大数据技术有较高的契合度，在主客观条件上也有较高的应用可

41、能性。,值得关注行业用户应有特点与大数据的契合度及应用可能性综合较高,适当关注行业用户两个维度暂时都不具备优势，可适当给予关注,互联网（电子商务）,契合度,流通,零售,制造,大数据挑战安全道德底限,诸多领域的问题亟待解决，最重要的是每个人的信息都被互联网所记录和保留了下来，并且进行加工和利用，为人所用，而这正是我们所担忧的信息安全隐患！,更多的隐私、安全性问题：我们的隐私被二次利用了多少密码和账号是因为“社交网络”流出去的？3Q大战：没有最黑，只有更黑2011年4月索尼的系统漏洞导致7700万用户资料失窃2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息2011年CSDN密码泄露

42、事件移动大数据：隐私的黑眼下中国互联网热门的话题之一就是互联网实名制问题，我愿意相信这是个好事。毕竟我们如果明着亮出自己的身份，互联网才能对我们的隐私给予更好保护。,大数据与国家安全,高科技犯罪利用信息技术手段,信息时代，高科技犯罪的技术手段获取信息：互联网公开，邮件、社交工具破解作案对象筛选及行为分析：电信诈骗，购买用户信息，筛选对象对于案件侦破：更加强大的反侦察手段，监控案件侦破。犯罪的取证：利用信息技术犯罪本来取证就难，结合日志痕迹擦除/加密手段，隐蔽性更高，定罪更加困难。通讯手段：新的社交工具，微信、专用工具，取代传统通讯工具。网上支付：资金转移快，流向境外，难以跟踪,AMAZON的E

43、C2 早期40%以上的用户通过租用资源：色情网站远程攻击跳转暴力破解互联网赌博反动网站有利于犯罪分子快速聚集资源。降低了实施互联网违法行为的成本，提高了攻击的效率。境外服务器实施，监管难度大。,云模式：互联网违法新的基础设施,电信诈骗：大数据正反两面,近日内地知名女艺人汤唯在上海拍戏时接到诈骗电话，并被骗走了21万余元。汤唯事后已经向上海松江警方报案，目前警方正介入调查。“大数据手段”通过系统的数据分析，发现普通人难以洞察的细节和规律，进而顺藤摸瓜揪出潜在的电信诈骗团伙。理想模式是当接到诈骗电话后，系统能够比对数据库中的历史资料，自动识别骗子号码并发出警报，诈骗者的相关信息也能第一时间传给有关

44、部门。,大数据预测：新的侦破模式,常书心余罪系列偷牛案常规方式案发地空间分布案发地时间分布关联因素案发地气温案发地距高速的位置预测：下一次做案的时间和地点。,大数据：嫌疑人行为的分析和预测,行为分析提款地点空间分布提款时间各提款地点频度关联因素人正常日常活动范围一般作案规律联续性异常：被我们忽视或刻意隐藏的地方。,大数据：治未病，预防犯罪,警方使用的大数据分析工具，如Texton System的Impace软件，可以帮助警方的分析人员采集和分析文本，图像以及其他信息，通过联合查询和模糊查询的功能，可以让用户在即便拼错单词的情况下，以一个查询语句访问不同的数据库Morphotrak包括一个整合了

45、指纹，掌纹，人脸图像，签名等一系列信息的生物信息识别系统。此外，它还提供归档查询服务，警方办案人员可以快速地搜索所有相关的图像记录以及案件卷宗。,在美国南卡罗来那州的查尔斯顿，警方利用大数据分析工具，帮助当地的400多名警察更加准确地进行犯罪模式的分析。根据IBM的说法，警方利用分析预测工具进行警力调配，发现犯罪热点地区提前预防犯罪发生，从而减少了当地的发案率。,大数据：新的数据采集手段,作为美国警界最早的大数据预测分析试点单位，加得福尼亚圣克鲁斯警察局通过城市大数据预测犯罪地点和时间美国马里兰州和宾夕法尼亚州也开始启用一种能极大降低凶杀犯罪率的犯罪预测软件，不但能预测罪犯假释或者缓刑期间的犯罪可能性，还能成为法庭假释条款和审判的参考依据。（例如用软件分析发现14岁第一次杀人比30岁第一次杀人的罪犯更容易再次行凶，因而调整假释条款）,总结,云计算和大数据技术改变了我们生活、工作模式。为各行各业，甚至是犯罪提供了新的工具魔高一尺，道高一丈。云计算和大数据也为打击犯罪提供了新的技术手段。有人基于此提出了警务2.0、智慧警务的概念。技术永远不是万能的，云计算和大数据只是支撑手段。如何发挥这些工具的价值，还是需要各位专家的智慧运用相信在我们的人民卫士保护下，我们的生活更加安定、美好,