“大数据”出现的背景、定义及特征.doc
《“大数据”出现的背景、定义及特征.doc》由会员分享,可在线阅读,更多相关《“大数据”出现的背景、定义及特征.doc(32页珍藏版)》请在三一办公上搜索。
1、“大数据”出现的背景、定义及特征背景大数据(Big Data)一词当前越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过纽约时报、华尔街日报的专栏封面,进入美国白宫官网的新闻。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每
2、一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量,大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DV
3、D;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于时代杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、 EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,2008年全球产生的数据量为 0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到2012年为止,人类
4、生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。定义大数据或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更 积极目的的资讯。“大数据”首先是指数据体量大,指代大型数据集,一般在10TB规模左右,但在实际应用中,很多企业用户把多个数据集 放在一起,已经形成了PB级的数据量;其次是指数据类别大,数据来自多种数据源,数据种类和格式日渐丰富,已冲破
5、了以前所限定的结构化 数据范畴,囊括了半结构化和非结构化数据。接着是数据处理速度快,在数据量非常庞大的情况下,也能够做到数据的实时处理。最后一个特 点是指数据真实性高,随着社交数据、企业内容、交易与应用数据等新数据源的兴趣,传统数据源的局限被打破,企业愈发需要有效的信息之力以确保其真实性及安全性。特征大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别,其基本特征即体量大、多样性、价值密度低、速度快。第一,数据体量巨大。从TB级别,跃升到PB级别。第二,数据类型繁多,如前文提到的网络日志、视频、图片、地理位置信息,等等。第三,价值密度低。以视频为例,连
6、续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。摘自百度百科大数据的六个维度安全维度大数据时代,线上与线下、虚拟与现实、软件与硬件重叠交错、跨界影响,尤其是核心的大数据不可避免地成为各种利益诉求的集散地、国与国之间进行渗透的重要渠道。数据安全既影响商业、金融等经济安全,也可能涉及文化意识形态等精神领域,甚至可能会激发社会动荡、改变战争形态、影响国家安全。明确大数据采集和使用所涉及的包括数据隐
7、私、准确性、可获取性、归档和保存等问题在内的应用规则,厘定信息使用权限和职责,确保数据依照规则规范使用。要重视大数据安全体系建设。大数据涉及政府数据公开,所以大数据的安全防护,需要有全新的模式,不仅要重视对大数据本身的安全保障,还要注重大数据平台的安全建设。管理维度数据安全管理问题,是我国应用大数据面临的最大风险。虽然将海量数据集中存储,方便了数据分析和处理,但由于安全管理不当所造成的大数据丢失和损坏,则将引发毁灭性的灾难。筑牢我国大数据安全管理的“三道防线”,强化数据安全立法工作,防止“大而无序”;尽快实现对关键装备、核心领域与人才的自主自控,防止“大而无力”;高度重视大数据显隐价值保护,防
8、止“大而无安”。总之,要以国家核心安全需要为牵引,多措并举实现大数据安全保障。政府治理维度大数据为政府治理能力的提升带来了发展机遇。首先是为推动政府治理理念和模式的变化带来机遇。在政府治理领域,通过让海量、动态、多样的数据有效集成为有价值的信息资源,推动政府转变管理理念和治理模式,进而加快治理体系和治理能力现代化。其次是为推动政府治理决策精细化和科学化带来机遇。 从政府层面来说,大数据可以将原本分散存储在不同部门、行业、主体的数据作为整体加以利用,实现统一管理,为信息分析、利用、开放提供基础。同时,大数据的信息平台,使数据资料更加全面,政府部门间的数据信息调用将更加方便快捷,可以有效地提高工作
9、效率。大数据处理模式和大数据技术的应用,可以使政府决策更具科学性、权威性;帮助政府在第一时间内获得市场数据,有利于对市场的监管;提升公共管理和服务能力,有利于定制个性化服务。 详细互联网思维维度互联网思维是一个多元概念。一般认为,互联网思维指在(移动)互联网、大数据、云计算等科技不断发展的背景下,对市场、对用户、对产品、对企业价值链乃至对整个商业生态进行重新审视的思考方式,本质是发散的非线性思维。 将大数据和社会治理紧密结合起来,改进网络舆情源头治理。将大数据和网上政务信息公开紧密结合起来,提升政府公信力。将大数据和日常舆情管理紧密结合起来,提高网络舆情整体掌控能力。将大数据和突发事件应对紧密
10、结合起来,提高网络舆情应急处置能力。将大数据和舆论引导紧密结合起来,提高感染力和说服力。 生存维度大数据是数字化生存时代的新型战略资源,正在改变人类的生产和生活方式,对国家和社会发展作用巨大。近年来,大数据引起各国科技界、产业界和政府部门的高度关注。 作为个体则必须在这个特定的环境中对自己的目的、价值和意图进行重建,从而达到强调自己个性和分享他人个性的理解。任何技术都倾向于创造一个新的人类环境。而信息技术、电脑网络乃至最近问世的大数据,已经为人类创造出一个崭新的环境。实践维度把大数据的手段和方法引入管理领域,是实现管理现代化的有效路径,也是大数据时代的必然要求。在广东省,伴随着经济的迅猛发展,
11、地方税收纳税登记户从1994年60多万户增加到2011年的285多万户,地税收入从184亿元增加到4248亿元,而同期,地税系统干部人数仅增加了20%。海量数据的即时获取和精确分析成为摆在管理者面前的一道难题。摘自求是2014年12月16日中国尝试用大数据保护知识产权 12月23日在杭州召开的“阿里巴巴网络交易平台打假工作汇报会”披露,中国的电子商务平台正在尝试联合政府相关部门、品牌商等,利用大数据保护知识产权,并计划在时机成熟时定期公布“线下假货分布及流通地图”。 近年来关于网上售假的争议不断。线下制假线上售假、知假买假,成为中国电子商务市场难以回避的问题。 “但是在电子商务平台上,每一笔交
12、易、每一个售假者都有迹可循,互联网可以成为打击制假售假的有力工具。”阿里巴巴集团首席风险官邵晓锋说。 阿里巴巴方面23日称,阿里在15年的摸索中,逐渐探索出一套基于互联网的大数据打假。通过智能图像识别、数据抓取与交叉分析、智能追踪、大数据建模系统等技术,将假货从10亿量级的在线商品中捞取出来,支持多达60个维度的组合条件筛选,每天消息处理量2亿条以上。 至于如何利用大数据打假,邵晓锋介绍说,线上的商品、商家背后对应的自然人,网购平台可以基于大数据建立各种模型,对商家和交易行为进行实时监控。售假的商家和正常商家在定价、图片使用、商品上架时间等方面都有不同,经过复杂的大数据运算,发现异常交易,再进
13、行人工判定。 而对于开店人的身份验证也在从“实名认证”向“实人认证”迈进。目前正在开发人脸和声纹特征数据库网店注册者打个电话进来验证,后台能鉴别你是不是过去开店卖过假货的某个人。 根据阿里巴巴最新披露的数据,今年前三季度,阿里巴巴平台上发现有问题并下架的侵犯知识产权商品约9000万件,其中600多万件是来自消费者和权利人投诉,其余90%是基于这套大数据体系和进一步的人工排查发现的。 不过对于网购平台来说,打假的难点在于:尽管电子商务平台有大量数据、信息,但平台本身没有执法权。大数据打假体系必须有国家相关部门打通协作。 去年以来,包括阿里巴巴在内的电商平台与公安、质监等部门建立了协作机制,线上线
14、下联动打假。例如,公安部门会把线下打假的情况反馈给阿里巴巴,进行线上核查;阿里把线上的打假信息汇聚起来,作为线索和情况反馈移交公安机关。 今年4月,上海公安在侦办“假冒运动鞋案”时,与阿里巴巴共同努力,通过嫌疑人的账户交易数据、物流发货信息等进行交叉对比分析,掌握了整个假货生产销售体系的数据信息,一举捣毁了这个以福建莆田为生产源头,经销网络涉及多地的生产销售假冒品牌运动鞋的犯罪团伙,涉案总价值达2150余万元。 一周前公布的2014淘宝联动警方打假报告显示,今年淘宝与公安机关展开了紧密的联合行动,截至12月初共破获18个集群案件,端掉200多个制售假窝点,抓获犯罪嫌疑人近400人。 网购平台的
15、大数据甚至勾画出一套中国“售假区域图”,为执法部门提供线索参考。根据淘宝数据分析,近9成网上售假团伙来自十个区域,前三大区域分布在珠三角、长三角、东南等地,且体现出制假售假集中的特点。比如,成以上的假冒饰品手表案件发生在华南地区、6成以上的运动户外假货来自东南地区。 致力于打假的网购平台不止阿里巴巴一家。今年月,微信宣布启动新一轮“雷霆行动”打击假货,专门针对微信公众账号和朋友圈中的假冒商品、假冒海外代购,进行大规模清理。10月底,京东宣布与供应商和卖家代表签署联合承诺书,做出“杜绝假冒伪劣、真实让利回馈消费者、全程优质服务”的承诺。 “说到底,打假的本质是市场信用体系建设的问题。利用大数据开
16、启打假新时代,在保护商业秘密和消费者隐私基础上的信息公开与共享,打假需要引入社会共治的理念。”全国打击侵犯知识产权和制售假冒伪劣商品工作领导小组办公室副主任柴海涛说。摘自新华网2014年12月23日大数据加快产业创新中国经济步入新常态,如何实施创新驱动战略备受关注。有学者指出,大数据将成为33万亿美元新兴产业的基础工具。中国拥有全世界最庞大的消费数据,在可预见的未来十多年内,数据的互联互通和挖掘将推动几乎涵盖所有领域的产品创新、产业创新、商业模式创新。海峡经济研究院副院长邱宝军是在周二于福建平潭出席一论坛时做出上述表述的。他指,大数据已经促进了众多产业的创新。他并举例称,今年德国队在世界杯的胜
17、利被誉为大数据的胜利。德国队在训练中使用可穿戴设备和大数据分析技术,协助教练优化球队的训练方法和战术。此外,美国LinkedIn公司通过大数据分析全球3亿多用户的行为,算出他们下一个想跳槽的职位,供企业挖角人才。经济学人称之将引发全球劳动市场革命。不仅如此,大数据也将带来工业生产的创新模式,工业4.0的基础即是传感器、物联网、数据互联互通等大数据技术。未来,当企业数据被全息收集与建模之时,现在看来非常复杂的产业供应链将不再复杂:产业供应链或可像组装电路板一般把最合适的企业敏捷有效地按需集成与组装在一起,形成最优化的供应链。新加坡驻上海总领事馆领事庄庆维介绍,从2012年至今,新加坡政府已开放了
18、超过8800个政府的数据集。数据覆盖了各个领域,包括经济、地理、环境、教育、卫生、交通等,并以电脑可读取的格式对企业和市民全面开放。这些数据的开放,亦带动了企业和科研的创新。以往政府需要投钱来开发很多市民服务应用。现在企业甚至学生,可以利用这些公开数据来开发更富有创意的应用,并开发新的商业模式。摘自大公报2014年12月17日“大数据时代”莫忘信息安全围绕个人信息的采集、加工、开发和销售正悄然变为一条“数据产业链”,由于信息泄露造成的“精准营销”和金融诈骗活动,给人们的隐私和财产造成了难以估量的损失。我们既不能熟视无睹,也不能因噎废食近日,一则“130万考研用户信息网上叫卖”的消息引发社会关注
19、。据报道,上百万考生的报名信息被人以1.5万元的价格出售,一些考生因此遭遇各种电话和短信“精准营销”。尽管中国研究生招生网工作人员表示,已就此向公安机关报案,但该事件暴露出的信息安全问题不容忽视。在大数据时代,网络对人们经济、社会活动的介入越来越深,信息和数据的收集也变得越来越便捷。这一方面使相关行业能够利用信息和数据实现更大的价值创造,另一方面也给个人信息的保护带来前所未有的挑战。用户的位置信息、行为信息、消费信息、社交信息等等,都变成了可被存储、分析的数据,如果将这些数据汇总起来,可以准确还原和预测个人在日常生活中的真实活动轨迹,如果被滥用势必加剧个人信息风险。近年来,从网上疯传的各种“查
20、开房软件”,到频繁发生的客户信息被倒卖事件,都表明信息安全已成为全社会共同面对的系统性风险。用户信息不仅涉及个人隐私,更是一种重要的“数据资产”,特别是互联网经济的崛起,使“大数据”带来的商业价值日益凸显。也正因为如此,相关行业的数据和信息被作为核心资源广泛争夺。然而,一方面缺少监管,一方面又有利可图,使非法获取个人信息的行为获得了很大的操作空间。近年来,由于经济利益的驱使、行业生态的混乱、法律法规的缺失,以及公民自身对个人信息保护意识的欠缺等原因,围绕个人信息的采集、加工、开发和销售正悄然变为一条“数据产业链”,由于信息泄露造成的“精准营销”和金融诈骗活动,给人们的隐私和财产造成了难以估量的
21、损失。我们也要看到,今天的世界正变得日益数字化,无论是政府对公共政策的制定,还是企业对市场行情的分析,都离不开信息和数据的采集。观察互联网经济的每一次创新,如百度打造的“大数据引擎”,支付宝生成的“十年账单”等,处处都让人们感受到了数据的力量。在大数据时代的信息安全风险面前,我们既不能熟视无睹,也不能因噎废食。如何让个人信息的保存、使用和流动保持在安全可控的范围,在合法、合理利用数据资源增进社会福祉的同时,筑牢个人信息安全的“防火墙”,已经成为政府和企业都无法回避的问题。捍卫大数据时代的个人信息安全,亟待建立健全系统化的防护体系。在法律层面,迫切需要制定保护公民个人信息的专门性法规,明确规定个
22、人信息的保护范围,并对个人信息的采集、使用、处理予以特别规定;在行业层面,要建立互联网、电信、金融等重点领域的行业自律机制,完善客户信息的管理规范,使客户信息的采集更加透明,并切实做好保密义务;在技术层面,要加快建立规范的网络认证标准体系,加快大数据安全保障关键技术的推广,降低信息泄露的潜在风险。唯有如此,才能有效遏制大数据时代个人信息安全的系统性风险,使大数据真正成为促进信息消费的新动力。摘自中国经济网2014年12月23日大数据十大发展趋势1.数据资源化数据的资源化是指大数据在企业、社会和国家层面成为重要的战略资源。大数据将不断成为机构的资产,成为提升机构和公司竞争力的有力武器。2.大数据
23、隐私问题大数据对于隐私将是一个重大挑战,现有的隐私保护法规和技术手段难于适应大数据环境,预计2014年将会颁布关于大数据隐私的标准和条例。3.大数据与云计算等深度融合云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供了新的商业价值, 2014年大数据技术与云计算技术必然进入更完美的结合期。4.基于海量数据(知识)的智能2014年将会有更多基于海量数据(知识)的智能成果出现,甚至有可能产生人工大脑。5.大数据分析的革命性方法基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据/小世界里的很多算法和基础理论,这方面很可能会产生理论级别的突破。6.大数据安
24、全大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制提出更高的要求。7. 数据科学兴起2014年数据科学作为一个与大数据相关的新兴学科出现,将有专门针对数据科学的专业形成,有博士、硕士甚至本科生出现。8. 数据共享联盟数据共享联盟将在2014年逐渐壮大成为产业的核心一环。9. 大数据新职业大数据将在2014年催生一批新的就业岗位,如数据分析师、数据科学家等。具有丰富经验的数据分析人才成为稀缺资源,数据驱动型工作机会将呈现出爆炸式的增长。10. 更大的数据2014年,体现大数据特征的体量大、速度快、模态多、价值密度低等几个V的特性将变得更加极致。尤其是大数据的价
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 数据 出现 背景 定义 特征
链接地址:https://www.31ppt.com/p-2396063.html