大数据分析解决方案50.docx
《大数据分析解决方案50.docx》由会员分享,可在线阅读,更多相关《大数据分析解决方案50.docx(51页珍藏版)》请在三一办公上搜索。
1、大数据分析的三个技巧 2013年01月08日09:03 来源:CIO时代网【文章摘要】大数据的性质是有他的三个特点(数据量大、种类多、处理速度快)决定的,数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时,大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。数据分析的职位是由DJ Patil和Jeff Hammerbacher制定的,他们试图称呼数据组的同事们,而又不想因为称呼而限制他们的能力。(because of improper job title like business analyst or research scientist
2、 Building Data Science Teams)随着大数据在驱动企业成功中越来越有决定性作用,数据分析也变得越来越受欢迎。然而,一些领导者对数据分析扮演的角色和它所起的作用仍然不是很了 解,就像很多时候领导者不知道怎么从大数据中抽取有用的信息,虽然很清楚的知道这些大数据是很可信的。他们的脚步落后了他们的眼光在大数据的利用上其 实是模糊的。大数据的性质是有他的三个特点(数据量大、种类多、处理速度快)决定的,数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时,大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。多种知识的掌握为了解决数
3、据量大的问题,大数据平台(例如:Apache Hadoop、LexisNexis HPPC)要求数据是被整理过的。数据分析员应该具有大数据平台应用的全方位知识,这样才能熟练的应用数据平台处理大数据。数据分析元应当具有以下知识:1、了解大数据平台的框架,例如:DFS和MapReduce,他们的编程框架提供强大的应用程序设计。这就意味着数据分析员还要有软件构筑和设计的能力。2、精通大数据平台支持的编程语言,例如:Java, Python, C+, or ECL, 等等。3、具有熟练的数据库知识,特别是用到SQL语言的数据库,像:HBase, CouchDB, 等等。因为大数据平台经常需要数据库来存
4、储和转换数据。4、具有数学/统计学、机器学习、数据挖掘领域的专业知识。一个企业的成功不是由数据量决定的,而是由能否成功的从大数据中发现和抽取有用的知识模式和关系决定的,然后用这些有价值的信息创造出有价值的产 品。统计学、机器学习和数据挖掘可以很好的用于理解数据和发掘数据的价值。自然,为了成功数据分析者必须具备这些领域的专门知识。会使用一些数据挖掘工具 或者平台(例如:R, Excel, SPSS and SAS)是最好的,可以Top Analytics and big data software tools这本书。5、熟练应用自然语言处理的软件或工具。大数据的内容大都来自于文本文件、新闻、社交
5、媒体和报告、建议书等等。因此了解和掌握至少一种自然语言处理软件或工具对于做一个成功的分析者起着决定性的作用。6、应用至少一种数据可视化工具。为了更有效的演示数据存在的模式和关系,能应用好数据可视化工具无疑是对数据分析员的一个加分。这里有20款数据可视化工具的链接。创新好奇随着数据变化速度的加快,经常也会有新的发现和问题出现,数据分析员应该对那些变化敏感、对新发现好奇,并且找出应对新问题的方法。他/她也要热情的及时相互沟通,从新问题中探索新产品的思路和解决方案,成为产品创新的驾驭者。商业技能首先,数据分析员多元化的性质决定了数据分析员要好很强的沟通能力,在企业里数据分析员必须和不同的人沟通,其中
6、包括:沟通和理解业务需求、应用程 序的要求、把数据的模式和关系翻译给市场部、产品开发组和公司高管看。对于企业来说有效的沟通是及时采取行动应对大数据新发现的关键。数据分析员应该是能 联系所有,很好的沟通者。第二、数据分析员要具有良好的规划和组织能力。这样他/她才能巧妙地处理多个任务、树立正确的优先顺序、保证按时完成任务。第三,数据分析员应该具有说服力、激情、和演讲能力。才能引导人们基于数据的发现做出正确的决定,让人们相信新发现的价值。数据分析员在某种意义上说是领导者,驱动产品创新。所有这些大数据的性质决定了数据分析员该具备的技巧和他们在企业中扮演的角色。盘点大数据分析的十二大杀手锏分类:BIMa
7、pReduce2011-11-19 13:12218人阅读评论(0)收藏举报当数据以成百上千TB不断增长的时候,我们需要一种独特技术来应对这种前所未有的挑战。大数据分析迎来大时代全球各行各业的组织机构已经意识到,最准确的商务决策来自于事实,而不是凭空臆想。这也就意味着,他们需要在内部交易系统的历史信息之外,采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论,成为了海量信息的多种形式。极具挑战性的是,传统的数据库部署不能处理数TB数据,也不能很好的支持高级别的数据分析。在过去十几年中,大规模并行处理(MPP)平台和列存储数
8、据库开启了新一轮数据分析史上的革命。而且近年来技术不断发展,我们开始看到,技术升级带来的已知架构之间的界限变得更加模糊。更为重要的是,开始逐步出现了处理半结构化和非结构化信息的NoSQL等平台。大数据分析迎来大时代本文中,我们将向大家介绍迄今为止,包括EMC的Greenplum、Hadoop和MapReduce等提供大数据分析的产品。此外,惠普前段时间收购实时分析平台Vertica、IBM独立的基于DB2智能分析系统和Netezza的相关产品。当然,也有微软的Parallel Data Warehouse、SAP旗下公司Sybase的Sybase IQ数据仓库分析工具等。下面,就让我们来了解业
9、界大数据分析的这十二大产品:1.模块化EMC Appliance处理多种数据类型2010年EMC收购了Greenplum,随后,利用EMC自身存储硬件和支持复制与备份功能的Greenplum大规模并行处理(MPP)数据库,推出了EMC Greenplum Data Computing Appliance (DCA)。通过与SAS和MapR等合作伙伴,DCA扩大了对Greenplum的数据库支持 。支持大数据分析的EMC Appliance今年5月,EMC推出了自己的Hadoop软件工具,而且该公司还承诺,今年秋季发布的模块化DCA将支持Greenplum SQL/关系型数据库,Hadoop部署
10、也能在同样的设备上得到支持。借助Hadoop,EMC能够解决诸如网络点击数据、非结构数据等真正大数据分析的困难。模块化的DCA也能够在同样的设备上支持长期保留的高容量的存储模块,从而满足监测需求。2.Hadoop和MapReduce提炼大数据Hadoop是一个开放源码的分布式数据处理系统架构,主要面向存储和处理结构化、半结构化或非结构化、真正意义上的大数据(通常成百上千的TB甚至PB级别数据)应用。网络点击和社交媒体分析应用,正在极大地推动应用需求。Hadoop提供的MapReduce(和其他一些环境)是处理大数据集理想解决方案。MapReduce能将大数据问题分解成多个子问题,将它们分配到成
11、百上千个处理节点之上,然后将结果汇集到一个小数据集当中,从而更容易分析得出最后的结果。MapReduce结构图Hadoop可以运行在低成本的硬件产品之上,通过扩展可以成为商业存储和数据分析的替代方案。它已经成为很多互联网巨头,比如AOL、eHarmony(美国在线约会网站)、易趣、Facebook、Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比如摩根大通银行,也正在考虑采用这一解决方案。3.惠普Vertica电子商务分析今年二月被惠普收购的Vertica,是能提供高效数据存储和快速查询的列存储数据库实时分析平台。相比传统的关系数据库,更低的维护和运营成本,就可
12、以获得更快速的部署、运行和维护。该数据库还支持大规模并行处理(MPP)。在收购之后,惠普随即推出了基于x86硬件的HP Vertica。通过MPP的扩展性可以让Vertica为高端数字营销、电子商务客户(比如AOL、Twitter、 Groupon)分析处理的数据达到PB级。惠普Vertica实时分析平台其实,早在惠普收购之前,Vertica就推出有包括内存、闪存快速分析等一系列创新产品。它是首个新增Hadoop链接支持客户管理关系型数据的产品之一,也是首个基于云部署风险的产品平台之一。目前,Vertica支持惠普的云服务自动化解决方案。4.IBM提供运维和分析数据仓库去年,IBM推出了基于D
13、B2的Smart Analytic System(图中左侧),那么它为何还要收购另外的Netezza方案平台呢?因为前者是具备高扩展性企业数据仓库的平台,可以支持成千上万的用户和各类应用操作。比如,呼叫中心通常拥有大量的雇员需要快速回拨客户的历史通话记录。Smart Analytic System提供了整合信息的DB2数据库,预配置Cognos BI软件模块,可以在IBM Power System(RISC或者X86架构)上运行。Smart Analytic System及NetezzaNetezza致力于为数字化营销公司、电信、和其他挖掘成百上千TB甚至PB级别数据的公司,提供高可扩展分析应
14、用的解决方案。IBM的Netezza TwinFin数据仓库设备,支持大规模并行处理,可以在一天时间内部署完毕。Netezza支持多种语言和方式进行数据库分析,其中包括Java、C、C+、Python和MapReduce。与此同时,它还支持如SAS,IBM SPSS使用的矩阵操作方法和R编程语言。IBM Netezza最近增加了一个高容量长期存档设备以满足更多要求。5.Infobright减少DBA工作量和查询时间Infobright列存储数据库,旨在为数十TB级别数据提供各类分析服务。而这一块也正是甲骨文和微软SQL Server的核心市场之一。InfoBright还表示,建立在MySQL基
15、础之上的数据库也提供了另外一种选择,它专门针对分析应用、低成本简化劳动力工作、交付高性能的服务进行设计。列存储数据库能够自动创建索引,而且无需进行数据分区和DBA调整。相比传统数据库,它可以减少90%的人工工作量,而且由 于其采用高数据压缩,在数据库许可和存储等方面的开支也可以减少一半。Knowledge Grid查询引擎InfoBright最新的4.0版本产品,新增了一个DomainExpert的功能。企业用户可以借此忽略不断重复的那些数据,比如邮箱地址 、URL和IP地址。与此同时,公司还可以增加与呼叫记录、业务交易或者地理位置信息相关的数据。Kowledge Grid查询引擎则可以帮助过
16、滤那些静态数据而只关注那些变化的数据。也就是说,它可以帮助节省数据查询的时间,因为那些无关的数据无需进行解压缩和筛选。6.Kognitio提供三倍速度和虚拟多维数据集Kognitio是一家本身不生产硬件产品的数据库厂商,它看到了客户对快速部署的广泛兴趣和市场需求,推出了在惠普、IBM硬件产品上预配置有WX2数据库的Lakes、Rivers和Rapids解决方案。Lakes能够以低成本、10TB数据存储和每个模块48个运算核心提供大容量存储服务。电信或金融服务公司,可以使用这种配置来扫描大量的分支结构的各种信息记录。Rivers则提供了容量和速度之间的平衡,预配置为2.5TB存储容量,它的每个模
17、块拥有48个运算核心。而追求查询性能的Rapids,其预配置提供有96个运算核心,每个模块仅仅为1.5TB。该产品方案主要针对金融公司在算法交易或者其他高性能要求方面的需求。Kognitio基于内存运算的数据仓库和数据分析今年, Kognitio新增了一个虚拟化OLAP风格的Pablo分析引擎。它提供了灵活的、为企业用户进行分析的解决方案。用户可升级选用WX2构建一个虚拟多维数据集。因此,WX2数据库中任何一个维度的数据都可在内存中用于快速分析。这种分析的前端接口是我们常见的Microsoft Excel。7.微软SQL Server新增PDW功能今年年初微软发布的SQL Server R2
18、Parallel Data Warehouse(PDW,并行数据仓库),一改以往SQL Server部署时间需要花 费两年半时间的历史,它可以帮助客户扩展部署数百TB级别数据的分析解决方案。支持这一产品的包括有合作伙伴惠普的硬件平台。发布之初,虽然微软官网提供有让利折扣,但PDW售价仍超过13000美元/TB(用户和硬件访问量)。SQL Server PDW和很多产品一样,PDW使用了大规模并行处理来支持高扩展性,但微软进入这一市场实属“姗姗来迟”,而且在一定程度上说,数据仓库分析和内存分析计算市场落下了后腿。目前,微软寄希望于其整体数据库平台在市场上带来的差异化竞争力。这意味着,所有沿袭了基
19、于微软平台的数据和数据管理,将被广泛应用在信息集成领域Reporting and Analysis Services,而这一切都基于SQL Server数据库。微软在今年10月12日通过推出Apache Hadoop和相关的SQL Azure Hadoop服务,宣布进入大数据领域。Azure服务将在2011年底亮相,而相应的本地配套软件要在明年上半年推出,现在也不清楚微软是否会与其他硬件合作伙伴或者相关大数据设备厂商合作。8.甲骨文讲述Engineered Systems的故事甲骨文表示,Exadata(图中左侧)是迄今以来发布的产品中最为成功的产品,自从2008年推出以来,已经拥有超过100
20、0名客户。而engineered system使得甲骨文11g数据库,可以支持基于X86的数据处理和磁盘存储层,其闪存缓存也使得可以实现超快速查询处理。它既可应用在任意事务环境中,也可以应用在数据仓库(但不能同时进行)。Exadata的混合柱状压缩能够实现列存储数据库的某些高效率特点,提供高达10:1的压缩比,而大部分行存储数据库的平均压缩比为4:1。甲骨文在9月通过宣布Oracle SuperCluster(图中右侧),扩展了engineered systems产品家族。它采用了最新的Sun Sparc T-4芯片。SuperCluster支持全机架/半机架配置,而且用户可以在半机架容量基础
21、上进行扩容。满额配置提供有1200个CPU线程,4TB内存,97TB至198TB磁盘存储,8.66TB闪存。甲骨文大数据分析系统设施甲骨文声称,SuperCluster事务处理和数据仓库性能相比传统服务器架构能分别带来10倍和50倍速度提升。但作为一个专有的Unix机器,甲骨文想通过SuperCluster,在面向x86硬件的数据仓库部署迁移大潮中力挽狂澜。甲骨文的Exadata和Exalogic都基于x86架构而且运行Linux系统。在十月召开的Oracle OpenWorld中,甲骨文宣布将新增一个分布式pache Hadoop软件和相关的大数据设备。甲骨文也计划推出一个独立的基于开源Be
22、rkeleyDB产品的NoSQL。9.ParAccel大打列存储、MPP和数据库分析组合拳ParAccel是ParAccel Analytic Database(PADB)的开发厂商提供快速、选择性查询和列存储数据库,并基于大规模并行处理优势特点的产品。该公式表示,其平台支持一系列针对各种复杂、先进应用的工作负载报告和分析。ParAccel大数据解决方案内置的分析算法可以为分析师提供高级数学运算、数据统计、和数据挖掘等各种功能,同时,它还提供一个开放的API,可以扩展数据库的各种数据处理能力和第三方分析应用。Table functions被用来传送和接收第三方和采用C、C+等编写的定制算法的数
23、据结果。ParAccel与Fuzzy Logix一家提供各种描述统计学、统计实验模拟和模式识别功能库功能的服务商。此外, Table functions还支持MapReduce和广泛应用在金融服务的700多种分析技术。10.Sybase推进IQ列存储数据库SAP旗下的Sybase是列存储数据库管理系统的首批厂商,而且目前仍然是拥有2000多个客户的畅销厂商。今年夏天推出了Sybase IQ 15.3版本,该版本产品能够处理更多数据和更多数据类型,也能胜任更多查询,当然这主要得益于其包含了一个名叫PlexQ 的大规模并行处理功能。基于MPP大规模并行处理的PlexQ分布式查询平台,通过将任务分散
24、到网格配置中的多台计算机,加速了高度复杂的查询。有报道说,它能提供比现有的IQ部署快12倍的交付能力。Sybase IQ为了支持不同的分析,15.3版本的产品增加了分布式处理功能,来执行PlexQ网格中跨CPU的查询服务。为了确保实现最快速度的查询,PlexQ包含了一个逻辑服务器让管理员对PlexQ网格的物理服务器组成虚拟群集,以便优化分析工作负载、用户需求和应用程序。Sybase IQ和其他大多数的支持MPP功能的产品之间区别主要在于,它采用了全共享的方式。全共享的缺点是CPU会争相访问共享存储(通常是SAN),而这会降低查询性能。不过Sybase坚持认为,从优化查询的角度来说全共享会更加灵
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 分析 解决方案 50
链接地址:https://www.31ppt.com/p-1667955.html