云计算和大数据讲座ppt课件.ppt

云计算和大数据,讲座纲要,重点关注的云计算系统平台,2,国内行业云计算推广与应用,3,云计算技术与大数据时代,4,一、数据中心与云计算架构基础,我们已经进入一个无处不网、无时不网的时代！,一、数据中心与云计算架构基础,云计算是能够提供动态资源池、虚拟化和高可用性的下一代计算平台，借用了量子物理中的“电子云”（Electron Cloud），强调说明信息处理的弥漫性、无所不在的分布性和社会性特征。云计算技术可将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务，一般具备以下3个典型特征：（1）硬件基础设施架构在大规模的廉价服务器集群之上；（2）应用程序与底层服务协作开发，最大限度地利用资源；（3）通过多个廉价服务器之间的冗余，使用软件获得高可用性。,一、数据中心与云计算架构基础,存储服务计算服务软件服务信息处理信息资源利用,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,维基百科给出的定义是“数据中心是一整套复杂的设施。它不仅仅包括计算机系统和其它与之配套的设备(例如通信和存储系统),还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置”。谷歌的The Datacenter as a Computer一书中,将数据中心解释为“多功能的建筑物,能容纳多个服务器 以及通信设备。这些设备被放置在一起是因为它们具有相同的对环境的要求以及物理安全上的需求,并且这样放置便于维护”,而“并不仅仅是一些服务器的集合”,一、数据中心与云计算架构基础,数据中心外部,Google的节能措施,微软的节能措施,一、数据中心与云计算架构基础,数据中心内部,Google在芬兰Hamina数据中心,Google爱荷华州的Concil Bluffs数据中心,微软的节能措施,一、数据中心与云计算架构基础,规模经济性,更低的硬件成本更低廉的电价更低的管理费用,更高的利用率 从10-15%到 80%,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,Wikipedia，维基百科的虚拟化定义虚拟化是表示计算机资源的抽象方法，通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。IBM的虚拟化定义虚拟化是资源的逻辑表示，它不受物理限制的约束。虚拟化的三层含义虚拟化的对象是各种各样的资源；经过虚拟化后的逻辑资源对用户隐藏了不必要的细节；用户可以在虚拟环境中实现其在真实环境中的功能。,虚拟化技术,一、数据中心与云计算架构基础,虚拟化技术,虚拟化包括：网络虚拟化存储虚拟化桌面虚拟化服务器虚拟化应用虚拟化其它,一、数据中心与云计算架构基础,系统虚拟化,系统虚拟化：使用虚拟化软件在一台物理机上虚拟出一台或多台虚拟机（Virtual Machine,VM）。虚拟运行环境需要为在其上运行的虚拟机提供一套虚拟的硬件环境，包括虚拟的服务器、内存、设备与I/O及网络接口等。,一、数据中心与云计算架构基础,系统虚拟化,Vmware Workstation,一、数据中心与云计算架构基础,服务器虚拟化,服务器虚拟化：将系统虚拟化应用于服务器上，将服务器进行整合，根据需求虚拟出若干个服务器。,一、数据中心与云计算架构基础,桌面虚拟化,桌面虚拟化：将用户的桌面环境与使用的终端设备解耦合。优势：通过实施桌面虚拟化，可将原有的终端数据资源甚至操作系统都转移到后台数据中心的服务器，而前台终端可以转化为以显示为主、计算为辅的轻量级客户端。,一、数据中心与云计算架构基础,桌面虚拟化,一、数据中心与云计算架构基础,一、数据中心与云计算架构基础,讲座纲要,二、重点关注的云计算系统平台,90%计算任务都能够通过“云计算”技术完成桌面软件正在向Web软件转型 云计算是开放标准，业界不会有公司垄断 中小企业、大学、消费者会相对迅速地转向基于Web的“云计算”技术 新的赢利模式低廉的云计算给Google带来更多的流量，进而带来更多的广告收入承认“云计算”不会在一夜之间普及大公司通常会慢慢地改变自己的习惯其它问题，例如“飞机问题”，以及在不能上网时用户如何工作。,Google观点,Google CEO埃立克.施米特,二、重点关注的云计算系统平台,在计算机上安装的传统软件是微软的根本比尔盖茨(Bill Gates)接受媒体采访时曾提出：“我们致力于推动PC成为一切的中心”微软将自身的战略称为“软件加服务”微软将Google的乐观称作是一厢情愿。利用Web软件收发电子邮件、处理文档和电子表格、进行协作很方便吗？高速宽带连接会象Google断言的那样普及和可靠吗？企业、大学、消费者会让Google保存他们的资料吗？,Microsoft观点,Microsoft CEO史蒂夫.鲍尔默,孰优孰劣，等待市场检验！,二、重点关注的云计算系统平台,“浏览器操作系统”,二、重点关注的云计算系统平台,应用分类,二、重点关注的云计算系统平台,应用分类,Google在线文档,二、重点关注的云计算系统平台,应用分类,Google地图,二、重点关注的云计算系统平台,应用分类,Google邮件,42,二、重点关注的云计算系统平台,应用分类,Google日历,二、重点关注的云计算系统平台,应用分类,Google Wave,Google+信息分享、协作、发布平台,应用分类,隶属于PaaS的Google云计算属于部署在云端的应用执行环境支持Python和Java两种语言通过SDK提供Google的各种服务，如图形、MAIL和数据存储等可使用Google的基础服务，如BigTable和GFS等用户仅需提供应用代码，无需服务器维护应用程序可根据访问量和数据存储需要的增长轻松进行扩展用户可快速、廉价地部署自己开发的应用（如创新的网站、游戏等）,二、重点关注的云计算系统平台,二、重点关注的云计算系统平台,需求分析,Google拥有海量数据，需要存储管理和快速处理,对爬虫获取的网页进行倒排索引计算网站的PageRank分析搜索趋势(Google Trends)计算网页的访问量,二、重点关注的云计算系统平台,关键技术,Google云计算平台关键技术文件存储，Google Distributed File System，GFS并行数据处理MapReduce分布式锁Chubby结构化数据表BigTable,Simple,and good enough!,二、重点关注的云计算系统平台,一个简单的想法IaaS：将硬件设备等基础资源封装成服务供用户使用主要思想：虚拟优势：动态申请，资源无限,起源,二、重点关注的云计算系统平台,简单存储服务(simple storage service,简称S3)简单队列服务(simple queue service,简称SQS)弹性计算云EC2 系统,关键功能,二、重点关注的云计算系统平台,应用示范,AWS的应用案例SmugMug,为什么选择AWS SmugMug是一家在线照片存储共享网站，拥有数亿照片资源和几十万付费用户。业务量的急剧增长导致该新兴公司无法承受巨额的基础设施开销，SmugMug选择了Amazon的EC2服务和S3服务。应用AWS后，仅需50人即可完成如此大的业务量。,二、重点关注的云计算系统平台,应用示范,AWS的应用案例纽约时报,使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章累计花费240美元如果用自己的服务器，需要数月和多得多的费用,二、重点关注的云计算系统平台,应用示范,AWS的应用案例纽约时报,二、重点关注的云计算系统平台,资费情况,Amazon Simple Storage Service,$.15 per GB per monthstorage,Object-Based Storage 1 B 5 GB/object Fast,Reliable,Scalable Redundant,Dispersed 99.99%Availability Goal Private or Public Per-object URLs&ACLs BitTorrent Support,$.10-$.18 per GB data transfer,$.01 for 1000 to 10000 requests,二、重点关注的云计算系统平台,资费情况,Amazon Elastic Compute Cloud,Virtual Compute Cloud Elastic Capacity 1.7 GHz x86 1.7 GB RAM 160 GB Disk 250 MB/Second Network Network Security ModelTime or Traffic-based Scaling,Load testing,Simulation and Analysis,Rendering,Software as a Service Platform,Hosting,$.10-$.18 per GB data transfer,$.10 per server hour,二、重点关注的云计算系统平台,Oracle Real Application Cluster,二、重点关注的云计算系统平台,微软云计算,二、重点关注的云计算系统平台,IBM 云计算,二、重点关注的云计算系统平台,HP 云计算,二、重点关注的云计算系统平台,Vmware vCenter,动态迁移：VMware（storage）vMotion容错：VMware Fault Tolerance高可用性：VMware High Availability备份：VMCB（VMware Consolidated Backup）安全：vSafe，vShield资源优化：DRS（Distributed Resource Scheduler）,二、重点关注的云计算系统平台,EMC Atmos,二、重点关注的云计算系统平台,Cisco 统一计算系统,二、重点关注的云计算系统平台,Hadoop：Google云计算的开源实现OpenStack：云平台管理的项目，美国国家航空航天局和Rackspace合作研发的Eucalyptus：Amazon云计算的开源实现Cassandra：结合了Dynamo的分布技术和Google的BigTable数据模型，高度可扩展、最终一致、分布式的结构化键值存储系统。Hive：基于Hadoop的数据仓库工具Enomaly ECP：提供类似于 EC2的云计算框架,二、重点关注的云计算系统平台,Nimbus：基于网格中间件Globus，提供与EC2类似的功能和接口Sector and Sphere：类似MapReduceAbiquo：以快速、简单和可扩展的方式创建和管理大型、复杂的IT基础设施（包括虚拟服务器、网络、应用和存储设备等）MongoDB：构建基于分布式文件存储系统的数据库,讲座纲要,三、国内行业云计算推广与应用,国务院,国务院关于加快培育和发展战略性新兴产业的决定（国发201032号）,一（三）：我国要在未来国际竞争中占据有利地位，必须加快培育和发展战略性新兴产业，掌握关键核心技术及相关知识产权，增强自主发展能力。二（三）：节能环保、新一代信息技术、生物、高端装备制造产业成为国民经济的支柱产业创新能力大幅提升，掌握一批关键核心技术，在局部领域达到世界领先水平三（二）：新一代信息技术产业。加快推进三网融合，促进物联网、云计算的研发和示范应用,三、国内行业云计算推广与应用,发改委和工信部,关于做好云计算服务创新发展试点示范工作的通知（发改高技20102480号）工信部：国内云计算标准化年底出台主要涉及到标准主体、切入点、运营、建设等方面。其中重点是互联网数据中心的管理。,在北京、上海、深圳、杭州、无锡等五个城市先行开展云计算创新发展试点示范工作二（二）：以信息服务骨干企业牵头、产学研用联合方式，加强虚拟化技术、分布式存储技术、海量数据管理技术等核心技术研发和产业化。,三、国内行业云计算推广与应用,发改委和工信部,试点城市,北京,祥云计划(2010.7)中关村云计算联盟(2010.7),上海,云海计划(2010.8),深圳,华南云计算中心(2010.11),杭州,无锡,无锡云计算中心(2008)二期(2010)物联网云计算数据中心(2010.11),微软云计算中心(2009.5)西湖云计算服务平台(2010.12),三、国内行业云计算推广与应用,发改委和工信部,其它城市,哈尔滨,中国云谷(2010.11),大连,大连云计算知识产权展览中心(2010),天津,云计算战略产业旗舰总部(2010.10),济南,山东省云计算中心(2010.8),南京,阿里软件云计算中心(2008),广州,天云计划(2011.2),三、国内行业云计算推广与应用,发改委和工信部,其它城市,西安,西安软件园云计算中心(2010.12)微软西部云计算中心(2011.4),成都,四川电信西部信息中心(2011.1),重庆,两江国际云计算中心(2011.4),武汉,中国国际云计算数据港(2011.1),澳门,与珠海共建云计算技术和应用实验室(2010.10),香港,与IBM共建云计算实验室(2010.4),三、国内行业云计算推广与应用,发改委和工信部,打造端到端的移动互联网基础设施，用云计算支撑业务系统部署、开发、分发、运行。Big Cloud 1.0已实现分布式文件系统、分布式海量数据仓库、分布式计算框架、集群管理、云存储系统、弹性计算系统、并行数据挖掘工具等功能。目前部署1000台服务器的云试验平台。,三、国内行业云计算推广与应用,发改委和工信部,已推出“e云存储”服务和两种品牌的“e云手机”。“星云计划”正在四个城市开展云计算的现场实验，包括：IDC演进与业务试点、商务领航SaaS应用、基于云计算的移动互联网应用研究、基于云计算的号百优化与提升等。,三、国内行业云计算推广与应用,发改委和工信部,2009年下半年起，中国联通IDC开始建设“互联云”，实现不同云之间的互联，从而集成系统中的硬件、软件、网络、应用和服务的综合性平台。2010年7月27日宣布在青岛建“云计算”基地，要打造成“北方数据中心”乃至“东北亚数据中心”。,三、国内行业云计算推广与应用,中国移动Big Cloud,三、国内行业云计算推广与应用,淘宝云平台,三、国内行业云计算推广与应用,淘宝云平台,三、国内行业云计算推广与应用,万网云计算,三、国内行业云计算推广与应用,腾讯PaaS,云操作系统 WebQQ2.0,三、国内行业云计算推广与应用,腾讯PaaS,QQ云词典,三、国内行业云计算推广与应用,百度框计算,三、国内行业云计算推广与应用,新浪云平台,Sina App Engine,三、国内行业云计算推广与应用,云安全,传统安全的处理策略：One for many,查毒软件开始查杀,一台电脑出现症状,加入病毒库系统升级,三、国内行业云计算推广与应用,云安全,查毒软件开始查杀,多台电脑类似操作,加入病毒库系统升级,上报内容？,云安全的基本思想：Many for one/many,利用客户端搜集样本，客户越多，根据搜集的样本进行安全分析越可靠（大量的探针）,三、国内行业云计算推广与应用,云安全,病毒响应更及时体积更小、查杀病毒能力更强轻量级客户端适合于移动设备查杀“未知”病毒，保障用户彻底安全,讲座纲要,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于时代杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万每一天，全世界会上传超过5亿张图片，每分钟就有20小时时长的视频被分享。人们每天创造的全部信息包括语音通话、电子邮件和信息在内的各种通信，以及上传的全部图片、视频与音乐，其信息量也无法匹及每一天所创造出的关于人们自身的数字信息量。,四、云计算技术与大数据时代,截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。到2020年，全世界所产生的数据规模将达到今天的44倍。,四、云计算技术与大数据时代,纽约时报2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。哈佛大学社会学教授加里金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。”。数据并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。,四、云计算技术与大数据时代,1,2011年-2016年中国大数据市场规模,2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。2012年-2016年，将迎来大数据市场的飞速发展。2012年中国大数据市场规模达到4.7亿元，2013年大数据市场增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。,四、云计算技术与大数据时代,2,各行业大数据市场规模,政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。,四、云计算技术与大数据时代,维基百科：或称巨量数据、海量数据、大数据，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。在总数据量相同的情况下，与个别分析独立的小型数据集（data set）相比，将各个小型数据集合并后进行分析可得出许多额外的信息和数据关系性，可用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定实时交通路况等。Gartner：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。IDC定义：为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。,四、云计算技术与大数据时代,Volume（大量）：数据体量巨大。从TB级别，跃升到PB级别；Variety（多样）：数据类型繁多。网络日志、视频、图片、传感器数据、地理位置信息等。Velocity（高速）：处理速度快，1秒定律，可从各种类型的数据中快速获得高价值的信息，这是和传统的数据挖掘技术有着本质的不同。Value（价值）：合理利用低密度价值的数据并对其进行正确、准确的分析，将会带来很高的价值回报。,4个“V”,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,从技术上看，大数据与云计算的关系密不可分。大数据必然无法用单台的计算机进行处理，必须采用云端分布式架构对海量数据进行分布式存储、分布式处理。云计算为大数据资源、大数据挖掘提供技术设施（软硬科学技术)大数据挖掘为云计算建设和运作提供决策,四、云计算技术与大数据时代,云计算与大数据的关系是静与动的关系，前者强调的是计算、存储能力；大数据需要处理大数据的能力（数据获取、清洁、转换、存储、分析、统计等能力），其实就是强大的计算能力和数据存储能力。云计算为大数据提供了可以弹性扩展,相对便宜的存储空间和计算资源，使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。,四、云计算技术与大数据时代,大数据为体云计算为术物联网为用,四、云计算技术与大数据时代,联合国也在2012年发布了大数据政务白皮书：大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。2013年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。麦肯锡大数据，是下一轮创新、竞争和生产力的前沿：对于企业来说，海量数据的运用将成为未来竞争和增长的基础。,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,四、云计算技术与大数据时代,1,互联网行业大数据主要应用在社交和网购方面,四、云计算技术与大数据时代,2,结合位置数据、消费数据进行实时营销信息推送是电信行业大数据应用主要场景,四、云计算技术与大数据时代,3,金融行业大数据应用场景主要集中在投资方面,四、云计算技术与大数据时代,3,制造行业具有多环节、多地域特色，各个环节的优化是制造行业最关注的大数据应用场景,