大数据与云数据管理课件.ppt

2023/3/8,大数据与云数据管理,大数据与云数据管理,大数据与云数据管理,有关大数据的两个问题,问题1：你知道什么是“大数据”吗？如果你不知道，那么你很可能OUT了！问题2：你听说过“大数据”吗？如果你连“大数据”听都没听过，那么你绝对OUT了！,大数据与云数据管理,你认识这位老兄吗？,如果你连这位老兄都不认识，那你也太OUT了！,大数据与云数据管理,斯诺登事件带给我们的最大震动是什么？,不在于他暴露了美国政府正在监听全世界这件事情。因为，这早已是公开的秘密，对“世界警察”而言，这没有什么值得大惊小怪的!而在于他使我们了解到美国政府已经具备了获取、存储、管理、分析和使用“大数据”的超强能力。这使美国政府获得了相对他国政府更明显的优势！大数据为“世界警察”的“大拳头”装上了“大眼睛”、“大耳朵”和“大脑袋”！,大数据与云数据管理,目前IT领域最引人关注的三个热词是什么？,大数据云计算物联网其他：移动互联网，社交网，XXX2.0/3.0/,大数据与云数据管理,什么是大数据？,来源：2008年9月科学(Science)杂志发表了一篇文章“Big Data:Science in the Petabyte Era”，从此“大数据”这个词开始被广泛传播。,大数据与云数据管理,什么是大数据？,没有统一定义，因为“大”是一个相对“小”而言概念。与大数据(Big Data)相类似的词汇：Large Scale 大规模,Very Large 超大规模,Massive 海量,大数据与云数据管理,什么是大数据？,从历史发展的视角看这几个词：Very Large表示GB级别的数据Massive表示TB级的数据Big Data表示PB级别及其以上的数据显然，争论它们中哪一个更大没有什么意义。,大数据与云数据管理,什么是大数据？,一个普遍接受的定义大数据是指无法在可容忍的时间内用传统方法或工具对其进行抓取、管理和处理的数据集合。数据集组成非常巨大和复杂，以至于传统数据库管理工具处理起来面临很多问题。获取、存储、检索、共享、分析和可视化。数据量达到PB、EB或ZB级别。,*from Big Data wikipedia.,大数据与云数据管理,难道这就是大数据？,大数据与云数据管理,难道这就是大数据？,大数据与云数据管理,大数据产生的背景,数据量 3个月翻一番通信速度 6个月翻一番存储容量 9个月翻一番集成电路 18个月翻一番现在网络环境下每18个月产生的数据量相当于过去几千年的数据量之和数据之多，数据量之大，前所未有,大数据与云数据管理,大数据有多大？以互联网为例,Facebook截止2012年4月，每日评论已达32亿条；每天新上传照片近3亿张。每周新增图片容量约60TB，图片总量约2600亿张，已超过20PB。平均每秒3500次写操作，读操作的峰值可以达到每秒百万次。Amazon目前EC2有约450000台服务器(存储+处理)。,*数据来自Facebook于2012年4月提交的监管文件。*数据来源于亚马逊2012年4月的官方介绍材料。,大数据与云数据管理,大数据有多大？,多，实在是多！繁，实在是繁！大，实在是大！No data like more data!数据永远也不嫌多！,大数据与云数据管理,大数据从何而来？机器,存储软件、系统文件、基础数据元数据(如索引)冗余、备份处理原始数据的自动加工：压缩、聚类、规则适用、可视化、智能衍生传播负载迁移、分布式共享(如P2P),大数据与云数据管理,大数据从何而来？人,内容提供商新闻报道、时事评论、广告宣传音频、视频、微视频职业撰稿人网络作家、写手、推手、水军普通大众博文、图片、音乐、视频SNS网络传播评论、转发,大数据与云数据管理,大数据从何而来？物理世界,无所不在的感知数据传感节点(压力、温度、湿度、声光电)无线宽频信号采样、太湖蓝藻检测、PM 2.5视频监控目前1路720P高清视频摄像数据每小时视频录像3GB左右。按一个月保存时间要求计算，3GB/小时24小时30天1路=2.16T。一个拥有500路高清视频摄像，需要保存1个月的监控系统所需的最少存储容量是1PB。对地观测资源三号卫星在运行前两个月的时间内，产生37TB的原始影像数据。这是后续互联网地图的基础。天文物理、气象、医学等专业领域数据,大数据与云数据管理,大数据向何而去？,服务如果不能提供服务，大数据就没有意义。面向人、机、物的服务物理世界：需要足够的采样数据机器：需要数据具有关联度，能够从中分析出有用信息，非结构化半结构化结构化人：能够直接使用数据的表现形式，进行生产和决策,大数据与云数据管理,大数据为什么重要？,2012年3月29日，奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，美国政府已把“大数据”上升到了国家战略的层面。中国政府和业界对“大数据”高度重视并在大力推进。据报道，今年两会上已有委员提出将大数据列入国家发展战略。,大数据与云数据管理,20,大数据的特征,容量大,1,电子商务,科学计算,网络生活,每月交易21亿笔，产生300TB交易日志信息,7亿用户、400亿张照片，总容量超过1500TB,新墨西哥州的天文望远镜每年产生80TB的图像信息,美国国会图书馆存档信息量：约 80TB,生物信息,第一个中国人的全基因组图谱，1177亿碱基对,大数据与云数据管理,21,大数据的特征,增加快,2,许多数据是人造出来的！,例子：北京至纽约的客机有千余个传感器，一次飞机记录的数据达数百T至P级。,大数据与云数据管理,22,大数据的特征,非结构化,3,非结构化=没有找到共性特征多层结构,大数据与云数据管理,大数据的构成,大数据与云数据管理,大数据的4V特性,体量Volume,多样性Variety,价值密度Value,速度Velocity,非结构化数据的超大规模和增长总数据量的8090%比结构化数据增长快10倍到50倍是传统数据仓库的10倍到50倍,大数据的异构和多样性很多不同形式(文本、图像、视频、机器数据)无模式或者模式不明显不连贯的语法或句义,大量的不相关信息对未来趋势与模式的可预测分析深度复杂分析(机器学习、人工智能Vs传统商务智能(咨询、报告等),实时分析而非批量式分析数据输入、处理与丢弃立竿见影而非事后见效,大数据与云数据管理,Volume 数据量,PB是大数据层次的临界点.KB-MB-GB-TB-PB-EB-ZB-YB-NB-DB,大数据与云数据管理,Value 价值,挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息.价值密度低,是大数据的一个典型特征.,大数据与云数据管理,Variety 多样性,企业内部的经营交易信息，物联网世界中商品，物流信息；互联网世界中人与人交互信息，位置信息等是大数据的主要来源。能够在不同的数据类型中，进行交叉分析的技术，是大数据的核心技术之一。语义分析技术，图文转换技术，模式识别技术，地理信息技术等，都会在大数据分析时获得应用。,大数据与云数据管理,Velocity 速度,1s 是临界点。对于大数据应用而言,必须要在1秒钟内形成答案,否则处理结果就是过时和无效的。实时处理的要求,是区别大数据引用和传统数据仓库技术、BI技术的关键差别之一。,大数据与云数据管理,脸谱(Facebook)数据中心,微软(Microsoft)数据中心,苹果(Apple)数据中心,谷歌(Google)数据中心,数据中心看上去，规模庞大,4,大数据管理的基础数据中心,大数据与云数据管理,30,数据中心走进去，结构复杂,4,大数据管理的基础数据中心,大数据与云数据管理,数据库与大数据,GB/TB级高质量、较干净强结构化Top-down重交易确定解,数据库vs大数据*,传统数据库/数据仓库,PB级以上有噪声、有冗余非结构化Bottom-up重交互满意解,大数据,*摘自李德毅院士于2012年5月23日在云计算大会上的讲话，略有修改,大数据与云数据管理,“大数据”是数据增长从量变到质变的里程碑,从人的认知角度来看，在数据量比较小的情况下，我们基于典型的数据去思考。例如，我们可以设计一个数据模型来管理目前没遇到但以后可能遇到的数据，或者设计一个精妙的算法正确高效地处理将来可能遇到的数据和各种情况。而大数据则颠覆了这一假定，目前的数据量已足够大，足以包罗万象，充分利用现有数据得出的全面而简约的数据模型和算法足以应对我们可能遇到的各种情况。换言之，数据模型与算法设计的首要任务不再是人基于少量数据的思考，而是机器基于海量数据的分析归类。从基于猜测假定的设计到基于事实和经验的归纳总结，是人类认知过程的进步。这是一个革命性的进展，是大数据之所以激动人心的根本。,大数据与云数据管理,大数据不仅仅是“大”,多大？PB 级,比大更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值,大数据与云数据管理,大数据的应用不仅仅是精准营销,通过用户行为分析实现精准营销是大数据的典型应用，但是大数据在各行各业特别是公共服务领域具有广阔的应用前景,消费行业,金融服务,食品安全,医疗卫生,军事,交通环保,电子商务,气象,大数据与云数据管理,软件是驱动大数据的引擎,和数据中心(Data Center)一样，软件是大数据的驱动力。软件改变世界！,大数据与云数据管理,大数据生态:软件是引擎,大数据与云数据管理,前瞻来看，随着互联网对网民的理解，网民对网络的反作用，互联网将变得越来越智能。它在满足你需求的同时，也在创造新的需求。前者的代表是Google，后者的典型则是Facebook。谷歌的盈利在于所有的软件应用都是在线的。用户在免费使用这些产品的同时，把个人的行为、喜好等信息也免费的送给了Google。因此Google的产品线越丰富，他对用户的理解就越深入，他的广告就越精准。广告的价值就越高。这是正向的循环，谷歌好用的、免费得软件产品，换取对用户的理解；通过精准的广告，找到生财之道。颠覆了微软卖软件拷贝赚钱的模式。成为互联网的巨擘。,互联网越来越智能,Google精确掌握用户行为、获取需求,大数据与云数据管理,微博为新浪带来巨大价值,马云的判断来自于数据分析,“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货,出去以后再获得数据;而我们提前半年时间从询盘上推断出世界贸易发生变化了。”,马云对未来的预测，是建立在对用户行文分析的基础上。通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大，保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。腾讯在天津投资建立亚洲最大的数据中心；百度也在投资建立大数据处理中心；新浪推出企业微博产品，提供精准的数据分析服务。,大数据与云数据管理,更高一层数据层面整合企业内外部,更高数据层面整合,大数据与云数据管理,利用用户”行为指纹”创造新商机,用户在线的每一次点击，每一次评论，每一个视频点播，就是大数据的典型来源。互联网企业之所以取得令人瞩目的成绩，其核心的本质就是包括用户网络操作的大数据，进行记录和分析，形成用户“行为指纹”，从而洞悉用户的潜在的、真实的需求，形成预判。这是传统企业花费重金都难以企及的梦想。所有传统的产品公司都只能沦为这种新型用户平台级公司的附庸。,大数据与云数据管理,大数据应用中的陷阱邦弗朗尼原理(Bonferronis Principle),邦弗朗尼原理:在数据随机性假设的基础上，计算所寻找的事件的发生的期望值，如果该期望值大于找到的真实事件的数目，则所找到的事件很可能是一种假象。即随着数据规模的不断增加，任何数据都会显现出一些不同寻常的特征，这些特征看上去似乎非常重要，但实际上却并不重要。,大数据与云数据管理,42,整体情报预警的故事,设有一群恐怖分子会偶尔在酒店聚会策划恐怖阴谋。想找出那些同一天在同一个酒店至少出现两次的人群。,大数据与云数据管理,43,假设,被监控的人数：10亿(109)被监控的天数：1000 days每个人去酒店的概率 1%(1000天里住10天酒店)有 10万(105)家酒店，每家酒店可容纳100 人 每个人行为都是随机的。通过数据挖掘能发现可疑行为吗？,大数据与云数据管理,44,Calculations(1),人员 p 和人员 q 同一天在同一个酒店出现的概率:1/100 1/100 10-5=10-9.人员p 和 q 在d1 和 d2 出现在同一个酒店的概率:10-9 10-9=10-18.1000天任意两天的排列组合:5105.,大数据与云数据管理,45,Calculations(2),人员 p 和 q 在任意两天出现在同一个酒店的概率:5105 10-18=510-13.可能的人数是10亿，任意两个人的排列组合是:51017.平均可疑的人员对的数目:51017 510-13=250,000.实际上他们是纯随机导致的巧合,大数据与云数据管理,46,结论,假设真的有10 对恐怖分子在同一个酒店出现两次那么需要扫描250,010 对候选人才能找出这10对恐怖分子这个方法好吗？“大数据”是不能乱用的！,大数据与云数据管理,大数据与云数据管理,大数据云计算云数据管理,大数据与云数据管理,云计算（Cloud Computing）,2007年第3季度才诞生的新名词，仅过了半年多，其受到关注程度就超过网格计算（Grid Computing），而且关注度至今一直居高不下,大数据与云数据管理,云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。,云计算到底是什么？云计算有什么特点？,大数据与云数据管理,云计算起源和发展,1961年斯坦福教授John McCarthy 提出计算资源可以成为一种重要的新型工业基础。类似水、电、气和通信。1999年Salesforce成立，2001年发布在线CRM系统2001年Google CEO Eric Schmidt 在搜索引擎大会上首次提出”Cloud Computing“概念。2003年Google逐步开始在内部使用云计算，2008年推出Google AppEngine云计算平台2006年Amazon正式对外推出弹性计算服务(EC2)。各大全球知名厂商跟进(IBM,MicroSoft.),大数据与云数据管理,51,什么是云计算?,计 算：对数值或信息进行处理并得到结果的过程，有时也指计算方式。1+1=2 flower.bmpflower.jpg云：由网络连接起来的各种计算资源(包括计算设备和其上的软件)云计算：运用由网络连接起来的大量虚拟化的计算设备对信息进行处理并得到结果的一种计算方式。不是一种产品，也不是一种技术，而是一种产生和获取计算能力的模式。,大数据与云数据管理,52,大型机时代,1960年代,1980年代,2000年代,1990年代,微型机时代,个人计算机变革将只在特定行业中应用的大型主机变成每个人都负担得起的个人电脑，大幅度提高了个人生产效率和企业效率,互联网变革将数以亿万计的信息孤岛汇集成庞大的信息网络，极大的提高了人类沟通，共享和协作的效率，丰富了社交和娱乐生活,互联网时代,云计算变革将IT基础设施转变为像水和煤气一样的社会公用基础设施超级数据中心成为IT资源和服务的提供者,技术,云计算时代,时间,云计算是继个人计算机、互联网变革之后的第三次IT革命,云计算的由来,大数据与云数据管理,云计算定义,云计算(Cloud Computing)：是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的发展，或者说是这些计算机科学概念的商业实现。是指基于互联网的超级计算模式-即把存储于个人电脑、移动电话和其他设备上的大量信息和处理器资源集中在一起，协同工作。在极大规模上可扩展的信息技术能力向外部客户作为服务来提供的一种计算方式。使得计算资源如同用水、用电、用燃气一样,40多亿的移动电话一 2010年 数据来源:Nokia,个人电脑和笔记本电脑,企业电脑和服务器,PDA,大数据与云数据管理,54,从不同角度看云计算的内涵,1.云计算是一种IT基础设施交付和使用模式从原理看，云计算是将计算工作分布在大量的、分布式的计算机上，从而利用大量计算资源(包括硬件设备、软件及网络等IT基础设施)完成所要求的计算任务。云计算环境下，与传统的IT基础设施交付和使用模式的主要区别：1.基础设施建设运维方式不同：基础设施所有权和运维责任2.交付和使用的便捷性不同：提供商交付方式和用户使用方式,大数据与云数据管理,55,从不同角度看云计算的内涵,2.云计算是一种信息服务的交付和使用模式从商业层面看，云计算提供的是而且仅是服务可以统称为“云服务”。从云计算服务商和云计算用户间的关系看，服务商并未向用户提供硬件、软件等事物或具体产品，而是运用自己所掌握的IT资源帮助用户完成计算任务，满足用户使用软硬件设备或获得信息的需要。,大数据与云数据管理,基础设施作为服务(IaaS),平台作为服务(PaaS),软件作为服务(SaaS),服务器,网络,存储,中间件,协同合作,业务流程,CRM/ERP/HR,行业应用,数据中心Fabric,共享的虚拟化的,动态部属,数据库,Web 2.0 应用运行环境,Java运行环境,开发工具,云计算分类,Computing onDemand,Blue Cloud,PureScale Appliication System,市场的例子,IBM 的例子,Source:Hagen Wenzek CHQ Strategy,2/09,大数据与云数据管理,云计算分类,操作系统+应用服务引擎,应用系统,基础设施,应用平台,应用软件,(IaaS),(PaaS),(SaaS),根据提供的服务类型，将云计算应用(服务)分为三类,Infrastructure as a Service以服务的形式提供虚拟硬件资源，如虚拟主机/存储/网络/安全等资源。用于无需购买服务器、网络设备、存储设备，只需通过互联网租赁即可搭建自己的应用系统典型应用：Amazon Web服务IDC,Platform as a Service提供应用服务引擎，如互联网应用编程接口/运行平台等。用户基于该应用服务引擎，可以构建该类应用。典型应用：Google AppEngine,IBMPureScale Application System,SAE,Software as a Service用户通过标准的Web浏览器来使用Internet上的软件。用户不必购买软件，只需按需租用软件典型应用：LotusLive,S,大数据与云数据管理,58,从不同角度看云计算的内涵,3.云计算是一种基于互联网的新型计算模式从数值和信息处理的角度看，云计算是通过互联网将计算任务分布到由大量计算机构成的资源池上，从而使用户能够根据需要获取计算能力、存储空和信息服务。云计算的四方面新特征：1.资源汇聚：计算资源汇聚在一起通过多租户模式服务多个消费者2.快速弹性：计算能力能够以某种自动方式快速而弹性地实现供应3.按需的自助服务：消费者能够根据自己的需要获取计算能力4.可控可计量：系统根据服务类型提供相应的计量方式,大数据与云数据管理,59,云计算服务对象：在各行各业、各种组织、各种产业拓展应用范围,云计算服务内容：从基础架构、在线存储、软件服务扩展到各种应用领域,云计算服务形式：更简单易用、更安全、更智能的差异化服务,从行业视角满足中小企业、政府部门、科研教育、娱乐、商业企业的信息化需求成为互联网企业的运营平台和资源平台成为人民群众生活的必需品,从产业领域视角成为物联网信息存储、分析的智能化平台成为移动互联网的基础信息支撑平台成为移动电子商务、移动支付的支持平台逐步进入网络通信基础设施领域,已有主要服务内容基础设施即服务/IaaS软件平台即服务/PaaS软件即服务/SaaS存储即服务/DaaS,XaaS,一切皆服务，延伸到各种应用硬件即服务：终端设备成为服务发布形式消息即服务：消息中间件成为服务监控即服务：监控内容成为服务现存各种应用均被云服务化,更为便捷：就像现在水、电、气、通信那样简单，打开即用，关闭即停，按需使用，用完充值隐私和信息安全更有保障：用户信息隔离、网络传输加密、高强度身份认证、服务商数据安全审核更智能化：用户服务状态恢复、信息推荐、精准营销、预测用户潜在信息需求、差异化服务：提供从免费、普通用户、中端用户、高端用户的各种服务，按质论价,云服务,大数据与云数据管理,云计算的优势,数据在云端：不怕丢失,不必备份,可以任意点的恢复；软件在云端：不必下载自动升级；无所不在的计算：在任何时间，任意地点，任何设备登录后就可以进行计算服务；无限强大的计算：具有无限空间的，无限速度。,硬件为中心,软件为中心,服务为中心,大数据与云数据管理,天下大势，合久必分，分久必合，计算机技术的分合演义,早期计算技术以“合”为特征:曲高和寡PC的发展使“分”成为了主流:旧时王谢堂前燕，飞入寻常百姓家网络技术的发展使云计算成为了“合”的模式，计算和存储通过网络隐形于云端：大象无形,大数据与云数据管理,云计算体系结构,云计算的基本原理是通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。,大数据与云数据管理,云计算发展路线,大数据与云数据管理,在动态、多机构参与的虚拟组织中协同共享资源和求解问题,同时使用多种计算资源解决计算问题的过程,将需要巨大计算能力的问题分成许多小部分进行处理，最后综合结果,分布式计算,并行计算,网格计算,云计算,大数据与云数据管理,云计算特点,超大规模 虚拟化高可靠性 通用性 高可伸缩性 按需服务 极其廉价,超大规模 虚拟化高可靠性 通用性 高可伸缩性 按需服务 极其廉价,大数据与云数据管理,云计算技术体系结构,大数据与云数据管理,云计算与大数据,大数据虽然不是云计算，但却是云计算的灵魂和升级方向。云计算的核心是业务模式，本质是数据处理技术。数据是资产，云为数据资产提供了保管、访问的场所和渠道。如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，是大数据的核心议题，也是云计算内在的灵魂和必然的升级方向。,大数据与云数据管理,云计算与大数据,本质上，云计算与大数据的关系是“静”与“动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；,大数据与云数据管理,云计算与大数据,但是这样说，并不意味着两个概念就如此泾渭分明。一方面，大数据需要处理大数据的能力(数据获取、清洁、转换、统计等能力)，其实就是强大的计算能力；另一方面，云计算的“动”也是相对而言，比如基础设施即服务(IaaS)中的存储设备提供的主要是数据存储能力，所以可谓是动中有静。,大数据与云数据管理,云计算与大数据,如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！,大数据与云数据管理,大数据比云计算更为落地,商业模式驱动,应用需求驱动,云计算本身也是大数据的一种业务模式,大数据与云数据管理,大数据与云数据管理,大数据云计算云数据管理,大数据与云数据管理,什么是云数据管理？,云数据管理是指通过集群应用、网格技术或分布式文件系统等，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。云数据管理的基础是云存储，其核心是以No SQL(New SQL)为代表的新一代云数据存储(库)系统。,大数据与云数据管理,云数据管理的背景,随着云计算中大数据集高效管理、海量数据中特定数据的快速定位、云端海量数据精准查询等迫切需求的日益显现,Web数据管理正逐步向云数据管理阶段发展,一个新的云数据管理研究领域正逐渐形成。,大数据与云数据管理,云数据管理的背景,云数据管理在云计算概念上延伸和发展出来的一个新的概念。云数据管理使更大数据量的处理成为可能，被称为下一代的因特网计算和下一代的数据中心。Web应用作为推动云计算发展的主力，正快速的普及成熟起来，它需要能够按需进行扩展，企业都希望他们的Web应用系统能够应对不断增长的用户量和数据量，以及适应用户和其它开发人员对WEB应用系统的高吞吐量和低响应时间的要求。,大数据与云数据管理,云数据管理的背景,通过云计算技术，网络服务提供者可以在数秒之内，处理数以千万计甚至亿计的信息，达到和“超级计算机”同样强大的网络服务。系统必须以低延迟的响应速度(几十毫秒)、高吞吐量(每秒上万的读写)为世界范围内的用户请求提供服务。并且，应用必须具备高可用性，长期维持最小的运维成本。但是，如果WEB应用系统仍然依赖传统的关系(SQL)数据库系统，我们会发现数据存储将成为最大的瓶颈。,大数据与云数据管理,云数据管理的背景,幸运的是我们已不再需要提供完整的事务(ACID)支持，单独的系统也可以执行复杂的分析任务，比如像Hadoop这样的map-reduce平台。对于许多应用程序来说，它们处理的请求相比传统数据管理更为简单。数据可能是用户的会话数据，用户在网页上所有的行为只涉及单条记录的读写。应用也有可能是社交化的，对于社交活动可能会被写入单条的用户记录，而用户的朋友们的活动需要从少量的其他用户记录中读取。,大数据与云数据管理,云数据管理的背景,这些挑战推动了新一代数据存储管理系统的发展，该系统基于大型(可能包括成千上万台机器的集群)分布式架构。为了容错，所有数据会在数据中心内被复制。甚至有些数据为了保证低延迟读取，需要横跨多个数据中心进行地域性复制。为了满足构建多租户(multi-tenanted)模式的需要，大型分布式架构能够根据自身需求扩大容量，并且多个应用的托管系统可以共享底层的资源。,大数据与云数据管理,传统关系型数据库的限制,扩展困难：由于存在类似Join这样多表查询机制，使得数据库在扩展方面很艰难；读写速度慢：这种情况主要发生在数据量达到一定规模时由于关系型数据库的内部逻辑非常复杂，使得其很容易发生死锁等的并发问题，而这将导致其读写速度严重下滑；成本高：企业级数据库的License价格很惊人，并且随着系统的规模扩大，而不断上升；有限的支撑容量：现有关系型解决方案还无法支撑Google这样海量的数据存储；,大数据与云数据管理,云数据管理的需求,低延迟的读写速度：应用快速地反应能极大地提升用户满意度；支撑海量的数据和流量：对于搜索这样大型应用，需要利用PB级别的数据和能应对百万级的流量；大规模集群的管理：系统管理员希望分布式应用能更简单的部署和管理；庞大运营成本的考量：IT经理和CFO们都希望在硬件成本、软件成本和人力成本上面能够有大幅度地降低；,大数据与云数据管理,云数据管理准则(1),切分万物以治之Partition Everything and key-value storage数据库的第一范式无法满足,大数据与云数据管理,云数据管理准则(2),容不同乃成大同Embrace Inconsistency 数据库的ACID属性无法满足,大数据与云数据管理,云数据管理准则(3),狡兔三窟方高枕Backup everything with three copies每个数据都有三个备份，达到 99.999%的可用性,大数据与云数据管理,云数据管理准则(4),运筹沧海量兼容Scalable and high performance提供一个可伸缩的，处理和分析海量数据的平台,大数据与云数据管理,拨云见日,切分万物以治之容不同乃成大同狡兔三窟方高枕运筹沧海量兼容,大数据与云数据管理,86,大数据的使用模式基于服务计算的模式具体的实现途径：基于云计算的方式因为大（数据规模），需要大容量的存储（云存储）因为复杂（数据结构），需要高性能的计算能力（云计算）因为有关联（数据关联度），需要跨平台的协同能力（应该是今后云应用的拓展方向之一，在协同粒度、隐私保护、安全等方面更有保证）（云协同）,大数据与云计算的结合,2023/3/8,大数据与云数据管理,演讲完毕，谢谢听讲!,再见，see you again,3rew,