大数据与NOSql概述.ppt
信息技术部,大数据与NOSql概述(2016年12月18日),主要内容,大数据概述大数据的定义大数据的4V特征大数据的系统要求大数据的典型架构大数据的应用大数据的发展,主要内容,Nosql概述什么是NoSQLNoSQL的优势和不足NoSQL的CAP理论实现NoSQL数据模型及分类,大数据的定义,大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。在维克托迈尔-舍恩伯格及肯尼斯库克耶编写的大数据时代2 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。,大数据的4V特征,Volume（海量）、Variety（多样）、Velocity（实时）、Value(价值)海量数据量巨大，对TB、PB数据级的处理，已经成为基本配置。多样处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。实时在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时价值价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来源。,大数据的系统需求,高新能（High performance）高并发读写实时动态获取和更新数据海量存储（Huge Storage）海量数据的高效率存储和访问类似SNS网站 高可扩展性和高可用性（High Scalability&High Availability）需要拥有快速横向扩展能力能提供7*24小时不间断服务,大数据典型架构,大数据典型架构,大数据典型架构,数据计算用时对比 离线计算 流式计算 实时计算,大数据的应用,大数据与互联网大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等大交互数据：来自社交网络的数据，SNS、微博等两类数据有效融合将是大势所趋，更能增强企业的商业洞察力,大数据的应用,大数据与金融银行,大数据的应用,大数据与金融保险,大数据的应用,大数据与金融证券股价预测客户关系管理投资景气指数分析,大数据的发展,NOSql的概念,什么是NoSQL？NoSQL是Not Only SQL的缩写，而不是Not SQL；它不一定遵循传统数据库的一些基本要求，比如SQL标准、ACID属性、表结构等等。相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。,NOSql的优势,易扩展 NoSQL数据库种类繁多；共同的特点都是去掉系型特性；数据之间无关系，容易横向扩展；甚至可以NoSQL之间的整合。数据模型灵活 无需事先为要存储的数据建立字段 随时可以存储自定义的数据格式高可用 NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。大数据量，高性能NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据结构简单。,NOSql的CAP原理实现,分布式数据系统的CAP原理的三要素：一致性(Consistency)可用性(Availability)分区容忍性(Partition tolerance)NOSql的CAP原理实现：在分布式系统中，三个要素最多只能同时实现两点 考虑CP，主要是一些Key-Value数据库，典型代表为Google的Big Table，将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。考虑AP，主要是一些面向文档的适用于分布式系统的数据库，如Amazon的Dynamo，Dynamo将数据按key进行Hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性最终一致性,NOSql数据模型及分类,NoSQL的两个核心理论基础：Google的BigTableBigTable将各列数据进行排序存储；数据值按范围分布在多台机器；数据更新操作有严格的一致性保证。Amazon的DynamoDynamo使用的是另外一种分布式模型；模型更简单，将数据按key进行hash存储；其数据分片模型有比较强的容灾性；实现的是相对松散的弱一致性(最终一致性)。,NOSql数据模型及分类,NOSql数据模型及分类,NOSql使用情况,NOSql数据模型及分类,DB-Engines 发布了 2016 年 12 月份的数据库排名,NOSql数据模型及分类,综合来看，NoSQL数据库正在逐渐地成为数据库领域中不可或缺的一部分，它弥补了关系型数据库在某些应用场景的不足 但是它也并非万能，方法得当的话，能获得很多的好处。企业应该结合自己的业务需求与数据类型，来考量选型搭建NOSql大数据平台。,Thank you!,
