大数据基础知识分析课件.ppt
大数据基础知识,电信云大数据产品线,目录,大数据定义大数据价值大数据产业链,1.大数据定义,共识，全球数据量每年+50%的速度指数递增 工业、生产数据远大于我们 现在关注的消费数据 大量即时数据在价值未流失之前等待处理大数据营销，根据企业数据需要组织挖掘分析，并基于IT系统实时把分析提供给需要决策帮助的内部企业成员。互联网统计 大数据是一个服务行业。大数据是传统统计与互联网相结合的行业。,1.大数据定义,大数据定义：所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。主要的特点:Volume 数据体量Velocity 数据速度Variety 数据多样Veracity 数据真实,2.大数据价值,在阐述大数据价值时，先一起先学习下数据价值 数据 信息 知识 智慧数据是约定俗成的数值量化，对客观事物的数量、熟悉、位置及其相互关系进行抽象表示，以适合在这个领域中用人工或自然的方式进行保存、传递和处理。,2.大数据价值,数据价值 数据 信息 知识 智慧信息是在时效内的一定含义的，经过加工处理对决策有价值的数据流。,2.大数据价值,数据价值 数据 信息 知识 智慧通过人们的参与对信息进行归纳、演绎、比较等手段进行挖掘，使其有价值的部分沉淀下来，并于已存在的人类知识体系相结合，这部分有价值的信息就转变成知识。,2.大数据价值,数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。,2.大数据价值,数据价值 数据 信息 知识 智慧智慧是人类基于已有的知识，针对物质世界运动过程中产生的问题根据获得的信息尽行分析，对比，演绎找出解决方案的能力。智慧乃以知识为根基，加上的运用能力、综合判断、创造力及实践能力来创造价值。,2.大数据价值,在此大数据作为服务工具，是数据分析能力的表现对大数据分析，主要分为五个方面（提供大数据解决方案时的价值输出载体）：可视化分析（Analytic Visualization）数据挖掘算法（Date Mining Algorithms）预测性分析能力（Predictive Analytic Capabilities）语义引擎（Semantic Engines）数据质量管理（Data Quality Management）,2.大数据价值,可视化分析（Analytic Visualization）,2.大数据价值,数据挖掘算法（Date Mining Algorithms）数据挖掘算法是大数据分析的理论核心，其本质是一组根据算法事先定义好的数学公式，将收集到的数据作为参数变量带入其中，从而能够从大量复杂的数据中提取到有价值的信息。著名的“啤酒和尿布”的故事就是数据挖掘算法的经典案例。沃尔玛通过对啤酒和尿布购买数据的分析，挖掘出以前未知的两者间的联系，并利用这种联系，提升了商品的销量。亚马逊的推荐引擎和谷歌的广告系统都大量使用了数据挖掘算法。,2.大数据价值,语义引擎（Semantic Engines）语义引擎是机器学习的成果之一。过去，计算机对用户输入内容的理解仅仅停留在字符阶段，不能很好的理解输入内容的意思，因此常常不能准确的了解用户的需求。通过对大量复杂的数据进行分析，让计算机从中自我学习，可以使计算机能够尽量精确的了解用户输入内容的意思，从而把握住用户的需求，提供更好的用户体验。苹果的Siri和谷歌的Google Now都采用了语义引擎。,2.大数据价值,大数据解决方案在企业知识管理项目上的价值点：1.提供专业团队（数据建模、挖掘技术）与客户（行业专家）进行企业数据价值勘探。2.提供统一可扩展的元数据规则库构建方案。避免组织内产生不同信息和知识体系，保证数据的信息流通、知识管理、智慧创新。3.在公共大数据挖掘平台。定制数据汇集，并依托平台集约化的全面高效支持的时效、海量、弹性、关联等核心能力下快速构建解决和集成实施方案。4.提供私有大数据挖掘平台解决、集成方案，并建设性开放安全数据接口避免“数据孤岛”。,3.大数据产业链,大数据产业链，关键点，1.基础设施提供商2.基础系统提供商3.大数据解决方案提供商4.平台服务提供商,3.大数据产业链,1.基础设施提供商a.采集卡/视频采集卡、监控采集卡、空气质量采集器b.网络带宽/电信 c.存储介质/d.计算设备/e.数据提供商 2.基础系统提供商-目前最热门的开源生态系统：hadoop 分布式计算框架-Yarn:MR/Spark/Storm 分布式文件系统-Hdfs 分布式结构化存储-Hbase/Cassandra,3.大数据产业链,3.大数据解决方案提供商 a.行业、政府解决方案 发现周期规律、促进数据关联、b.企业大数据解决方案 加强数据一致，信息流通，知识积累 b.企业面向主题解决方案 面向 市场营销、推广回报比、渠道质量、投资风险、产品定价 等主题 c.企业面向运营解决方案 发现异常、跟踪质量、客户管理、预警风险 解决方案,3.大数据产业链,4.平台服务提供商/电信云.大数据产品线 我们致力于云计算.大数据生态环境的建设，全面提供集约化面向企业提供大数据平台和技术服务支持，在核心技术上我们已经完成，a.大规模数据分析 支持Map、Reduce、Join、Union 等多种数据节点处理模式，支持直接使用SQL 语句对海量数据进行离线分析 提供与ANSI SQL 高度兼容的语法支持，支持用户复杂的数据分析需求。,3.大数据产业链,4.平台服务提供商/电信云.大数据产品线 b.分布式文件系统 分布式文件系统拥有高可扩展性，支持上亿个文件和PB以上量级的文件存储 实现了大规模数据的快速读写功能，实现了文件并行操作的高效机制 支持大规模并发读写，充分利用分布式并行带宽,3.大数据产业链,4.平台服务提供商/电信云.大数据产品线 c.任务调度 采用数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce，Map-Reduce-Merge，Spark等多种编程模式 高可扩展性，支持十万以上级的并行任务调度 自动检测故障和系统热点，重试失败任务，保证作业稳定可靠运行完成,大数据基础知识,Q&A,
