大数据及其典型应用.ppt

《大数据及其典型应用.ppt》由会员分享，可在线阅读，更多相关《大数据及其典型应用.ppt（54页珍藏版）》请在三一办公上搜索。

1、信息资源管理-扩展知识大数据及其典型应用,2023/9/8,2,引子,棱镜门波士顿马拉松爆炸案PredPol少数派报告2013 大数据元年,video,一、大数据的相关概念二、国内外大数据分析的研究现状三、构建大数据分析平台四、公共安全领域大数据应用案例,目录,2023/9/8,3,一、大数据的相关概念,2023/9/8,4,数据管理技术发展历史,数据管理技术历经人工管理、文件管理、数据库管理等时代，大数据技术的出现使该领域进入了一个新的发展阶段,-5-,1946,1951,1956,1961,1970,1974,1979,1991,2001,2003,2008,2011,第一台计算机ENIA

2、C面世,磁带+卡片人工管理,磁盘被发明，进入文件管理时代,SQL,E-R,GE公司发明第一个网络模型数据库，但仅限于GE自己的主机,1960年代，IT系统规模和复杂度变大，数据与应用分离的需求开始产生，数据库技术开始萌芽并蓬勃发展，并在1990年后逐步统一到以关系型数据库为主导,提出关系模型,SQL语言被发明,关系型数据库,ORACLE发布第一个商用SQL关系数据库，后续快速发展,数据仓库,数据仓库开始涌现，关系数据库开始全面普及且平台无关，进入成熟期,2001年后，互联网迅速发展，数据量成倍递增，量变引起质变，开始对数据管理技术提出全新的要求,1946年，电脑诞生，数据与应用紧密捆绑在文件中

3、，彼此不分,Hadoop成为Apache顶级项目，重点支持海量数据分布式管理和分布式计算,GFS,谷歌发表论文介绍分布式计算,大数据发展背景,全球信息化发展已步入大数据时代150亿个设备连接到互联网全球每秒钟发送 290万封电子邮件每天有 2.88 万小时视频上传到YoutubeFacebook 每日评论达32亿条，每天上传照片近3亿张，每月处理数据总量约130万TB2011年全球产生数据量1.8ZB，预计2020年将增长到35ZB大数据正迅速成为最值得关注的IT领域之一2011年5月，EMC World 2011大会主题“云计算相遇大数据”，EMC 除了一直倡导的云计算外，还抛出大数据（Bi

4、gData）概念2011年6月底，IBM、麦肯锡等众多国外机构发布大数据相关研究报告，予以积极跟进2011 年10 月，Gartner 认为2012 年十大战略技术将包括大数据2011 年11 月底，IDC 将大数据放入2012 年信息通信产业十大预测之一,-6-,IDC全球数据量预测（1ZB=1百万PB=10亿TB）,Google网站 Big data关键词搜索及新闻引用量,大数据的定义理解,大数据的“4V”特征,大数据的产生、增长,2023/9/8,7,“大数据”是如何产生的？,21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速

5、膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。,半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。信息爆炸的学科如天文学和基因学，创造出了“大数据”这个概念*。如今，这个概念几乎应用到了所有人类智力与发展的领域中。,2023/9/8,8,大数据时代的爆炸增长,想驾驭这庞大的数据，我们必须了解大数据的特征。,地球上至今总共的数据量：在2006 年，个人用户才

6、刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011 年，这个数字达到了1.8ZB。而有市场研究机构预测：到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！,1GB=230字节1TB=240字节1PB=250字节1EB=260字节1ZB=270字节,2023/9/8,9,大数据的4V特征,“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。,2023/9/8,10,大数据的构成,大数据=海量数据+复杂类型的数据,海量

7、交易数据：企业内部的经营交易信息主要包括联机交易数据和联机分析数据，是结构化的、通过关系数据库进行管理和访问的静态、历史数据。通过这些数据，我们能了解过去发生了什么。,大数据包括：交易数据和交互数据集在内的所有数据集,海量交互数据：源于Facebook、Twitter、LinkedIn及其他来源的社交媒体数据构成。它包括了呼叫详细记录CDR、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输Manage File Transfer协议传送的海量图像文件、Web文本和点击流数据、科学信息、电子邮件等等。可以告诉我们未来会发生什么。,海量数据处理：大数据的涌现已经催生出了设计用于数据密集

8、型处理的架构。例如具有开放源码、在商品硬件群中运行的Apache Hadoop。,2023/9/8,11,分析技术：数据处理：自然语言处理技术统计和分析：A/B test;top N排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等,一些相关技术,存储结构化数据海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为

9、结构化存储按照非结构化存储,解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）,2023/9/8,12,2023/9/8,13,大数据的市场潜力,利用GPS数据了解交通状况,智能电表应用级家庭能源监测,2012年3月29日奥巴马政府公布了”大数据研发计划”。该计划的目标是改进现有人们从海量和复杂的数据中获取知识的能力，从而加速美国在科学与工程领域发明的步伐，增强国家安全，转变现有的教学和学习方式。“大数据战略”上升为美国最高国策对数据占有和控制，做为在陆权、海权、空权之外的另一种国家核心能力。,大数据的浪潮,谷歌搜索与流感预测,大数据与乔布

10、斯的癌症治疗,微博&投资,沃尔玛的啤酒与纸尿布,塔吉特预测少女怀孕,沃尔玛蛋挞与飓风用品的关系,“魔毯”病人的监控,智慧城市&智能化交通,谷歌翻译系统,理解大数据,数据已经成为可以与物质资产和人力资本相提并论的重要的生产要素,麦肯锡大数据:下一个创新、竞争和生产力的前沿,二、国内外大数据分析的研究现状,流感趋势预测,2023/9/8,17,全球每年约10%15%的人群会患上流感，受感染人群约5000万人，死亡人数约50万。这可不是个小数字。如果我们能够尽早提前预测到流感即将爆发，无疑将使全球公众都将受益：政府和医疗机构提前拿出应对措施，就能挽救大量生命。2008年，谷歌推出了其著名的流感趋势网

11、站（）。该网站假定的前提是：如果用户患上了流感，则他们会搜索更多同流感相关的信息。如此一来，如果对任何一个国家或地区有关流感的搜索量进行统计，就能较好推断出某个国家或地区是否正爆发流感。事实上，谷歌的这项统计数据被证实很有效。谷歌的相应数据，同美国疾病控制与预防中心(CDC)等政府机构所统计的数据非常接近（97%）。在某些情况下，谷歌甚至能够比CDC提前一周预测出哪些地区将爆发流感。,2023/9/8,18,全球每星期会有数以百万计的用户在网上搜索健康信息。正如您所预料的那样，在流感季节，与流感有关的搜索会明显增多；到了过敏季节，与过敏有关的搜索会显著上升；而到了夏季，与晒伤有关的搜索又会大幅

12、增加。某些搜索字词非常有助于了解流感疫情。Google 流感趋势会根据汇总的 Google 搜索数据，近乎实时地对全球当前的流感疫情进行估测。搜索流感相关主题的人数与实际患有流感症状的人数之间存在着密切的关系。当然，并非每个搜索“流感”的人都真的患有流感，但将与流感有关的搜索查询汇总到一起时，便可以找到一种模式。将统计的查询数量与传统流感监测系统的数据进行了对比，结果发现许多搜索查询在流感季节确实会明显增多。通过对这些搜索查询的出现次数进行统计，便可以估测出世界上不同国家和地区的流感传播情况。Detecting influenza epidemics using search engine q

13、uery data,Nature 457,1012-1014(19 February 2009),2023/9/8,19,上图显示了根据历史查询所得的美国近几年的流感估测结果，以及这些结果与官方的流感监测数据的对比。从图中可以看出，根据与流感相关的 Google 搜索查询所得到的估测结果，与以往的流感疫情指示线非常接近。当然，过去的表现并不能保证以后的结果一定准确。,2023/9/8,20,2023/9/8,21,2023/9/8,22,卡耐基梅隆大学的 Jiwei Li 和康乃尔大学的 Claire Cardie，成功利用 Twitter 预测了早期流感爆发。他们的方式与 Google 类似

14、。首先，从 Twitter 数据流中过滤包含与“流感”相关，并带有位置标签的 tweet；然后，在地图上标注这些 tweet 的位置分布，以及随时间产生的变化。同时，还制作了流感的动态变化模型。新模型中，流感包括 4 个阶段：无传染阶段、爆发阶段、稳定阶段以及衰退阶段。此外，采用了全新的算法，试图尽可能快得发现不同时期的转换节点。实际上，Li 和 Cardie 在 2008 年 6 月至 2010 年 6 月间，已经利用 100 万美国人的 360 万条 tweet，验证了该方法的有效性。为了检验他们的预测是否成真，Li 和 Cardie 将他们的分析与 CDC 进行对比。他们说，“我们确信，

15、流感相关 tweet 与 CDC 提供的流感疾病案例数目，呈显著相关。”,2023/9/8,23,2023/9/8,24,日本国内有一个网站，你只要打开这个网站用自己的 Twitter 账号登录，就可以在短时间内通过数万条 Twitter 找出可能感冒的人，并通过过去的感冒情况和今日的感冒情况进行分析（以及统计目前发烧以及嗓子痛的患者数量），另外该程序还会结合气温和湿度的变化来预测 将来感冒的流行情况，并制作一个“易感冒日历”。目前，此类服务正在日本陆续展开。通过这个服务器的分析，大家就能够知道在自己身边到底有多少人有感冒的症状，并提前做好预防准备。日本国立感染症研究所将会把全国约5000 个

16、医疗诊所的流感患者进行统计并发布数据。经过对比，研究所得出的实际统计数字和网站上预测的结果基本是一致的，那么为什么大数据的结果会很准呢？首先是因为通过网络信息分析的技术有所进步，已经可以通过各种各样的留言自动搜索到相关的数据，并自动分类。就像 Google 现在所使用的技术，就是利用服务器分析与流感关系十分密切的十几个单词进行统计。另一个就是大数据所特有的功能。在流感最严重的时候，每天会有成千上万条 Tweets 发布，即便有一些误差，但通过数据分析也能分析出数据的精准度。以往，公共机构在发布流感情报的时候至少要延迟一周，在有些偏远地区的立杆信息也并不确切，而现在，通过网络能够有效弥补这些缺憾

17、。,2023/9/8,25,2023/9/8,26,淘宝的数据化运营实例分析,分析流程1.分析主题确定及数据指标的选择；2.数据仓库数据提取及清洗；3.不相关指标剔除；4.用训练数据建立模型；5.用测试数据检验模型；6.预测新的流失用户，并提取用户名单；7.制订挽留策略：对圈定的客户进一步进行分群，然后逐群制 订有针对的挽留策略。比如有的群组是属于夜间通话多（和 总体的均值相比）的客户，那么针对他们的挽留策略可能是 推荐一些夜间通话优惠的资费方案。8.实施挽留行动、收集客户反馈。9.评估挽留效果：,2023/9/8,27,三、构建大数据分析平台,四、公共安全领域大数据应用案例,面向公共安全领域

18、的大数据分析技术平台,数据挖掘Data Miner,多维分析BI Beans,查询Discoverer,数据仓库管理(OEM),数据提取WarehouseBuilder,应用服务器ApplicationServer/Portal,DataBase,人口数据,外部数据,犯罪数据,报表Reports,Data Mining,OLAP,数据转换,中央数据仓库,知识发现,信息展现,应用系统,源数据,2023/9/8,30,刑侦的犯罪预防搜集犯罪的信息 推断罪犯的习惯 预测罪案的发生非法出入境判别海关走私模式的分析紧急事件的处理人员的紧急疏散资源的紧急调配 紧急状态的安全管理紧急事件发生的预演交通管理,

19、公共安全领域基于大数据的智能分析,2023/9/8,31,信息的来源,银行交易,历史资料库/知识库,公共信息,政府数据库,Internet,截获/监听情报,通信情报,人工情报,2023/9/8,32,问题的关键,大量的信息(有关/无关)是分析的基础，也是分析的障碍事件的信息往往是随机获得不确定的因素影响分析的结果分析的速度是关键,2023/9/8,33,飞速膨胀的信息多种学科的边缘结合有限的记忆和注意范围长时间持续的分析工作严重依赖分析人员的经验,如何用计算机系统支持复杂海量的分析过程?,限制,他们承担了大部分负担,依靠分析人员,2023/9/8,34,限制,分析人员的沉重负担,依靠分析人员,

20、2023/9/8,35,当前的分析需求,从不同的来源有效的集成知识和信息连续的知识积累提供自动的警告为分析人员的查询提供答案构造不同的案件情节假设,2023/9/8,36,定性,定量分析,时间&频率分析,Databases,经验,自由文本,统一的知识系统,从不同信息来源和格式获取数据,2023/9/8,37,基本信息 组织 个人,人工情报,事件数据库,银行交易,其它,数据源,政府数据库,通信情报,监听,人工情报,询问 检查 模拟 联结,事件生成,2023/9/8,38,典型应用 1 刑事罪案自动分析,2023/9/8,39,参与分析的数据,罪犯 犯罪技巧(爆炸-爆炸物制作,杀人方式,动机等等)

21、,属于特定团伙和团伙中的角色(计划者,辅助者,领导者,执行者/马仔等等),户籍地/暂住地,入狱历史团伙 成员,角色潜在目标 人群/公共机构/商业机构,他们的位置知识和经验 这些因素如何相互作用 包括外在的影响和经验(过去发生的事件)新的信息会源源不断,2023/9/8,40,模拟案例,-西西里,巴勒莫,4/4/03:“Corradi 拘捕了 Don Marcello”(公共信息),理解信息 Corradi 是巴勒莫警方的的首席侦探 Don Marcello 是 Marcello 家族的教父 Marcello 家族具有很强的报复性巴勒莫警方很可能遭到报复,文本信息的理解,外部数据访问,外部数据访

22、问,Data Mining/先验知识,推理,警报,2023/9/8,41,新的信息,理解信息Bob 是 Marcello 家族的成员Bob 是家族中的计划者和谈判代表Marcello 家族的势力只限于巴勒莫 谈判代表到外面的地区寻找家族内没有的炸弹专家炸弹制造和使用是 Marcello 家族没有的技术,Parsi 地区的黑手党家族有这样的专家 Per 是Parsi 地区的黑手党炸弹专家同时间服刑的罪犯经常会一起合作犯案Per 和 Bob 有同时间服刑的历史Marcello 家族有可能以炸弹攻击的方式报复 Don Marcello 的被拘捕Bob 有可能计划用炸弹攻击巴勒莫警方,巴勒莫,4/4/

23、03:“Corradi 拘捕了 Don Marcello”(公共信息)巴勒莫,5/5/03:“Bob 在 Parsi 出现”(警方通报),2023/9/8,42,新的信息,巴勒莫,4/4/03:“Corradi 拘捕了 Don Marcello”(公共信息)巴勒莫,5/5/03:“Bob 在 Parsi 出现”(警方通报)罗马,5/5/03:“Fabrizzi 将会29号在巴勒莫法庭宣判 Don Marcello(公共信息)巴勒莫,7/5/03:“这个月巴勒莫会发生一些事情”(警方情报),有可能报复巴勒莫警方 可能是一起炸弹攻击有可能针对 Fabrizzi 法官 可能的攻击手段,谋杀或是炸弹攻

24、击,2023/9/8,43,新的信息,如果我们拘捕 Per?炸弹攻击的威胁会降低,但是不会消失 Marcello 家族的谈判代表还知道其他的炸弹专家,等等如果我们同时拘捕 Per 和 Bob?,2023/9/8,44,巴勒莫,4/4/03:“Corradi 拘捕了 Don Marcello”(公共信息)巴勒莫,5/5/03:“Bob 在 Parsi 出现”(警方通报)罗马,5/5/03:“Fabrizzi 将会29号在巴勒莫法庭宣判 Don Marcello(公共信息)巴勒莫,7/5/03:“这个月巴勒莫会发生一些事情”(警方情报),本月有事情(突发事件)在巴勒莫发生,Fabrizzi 将在2

25、9日宣判Don Marcello,事件与冲突,2023/9/8,45,系统的功能,系统包含了先验知识阅读自由结构的文本并建立事件事件被联系起来,按照逻辑,触发原因,警报,额外事件的发生,等等结合自由文本理解人像特征、指纹特征自动识别推理Data Mining联结外部的信息资源,2023/9/8,46,在信息的海洋中搜索,问题的关键在于面临不断变化的信息和多重的分析角度 对象,沟通渠道,地点,威胁的类型.对于多种非规格化的数据处理 人像识别、指纹鉴别、与基于地理信息查询分析的集成系统重要优点是自动帮助使用者连续的跟踪和分析.找出人脑很难判别的复杂关联,2023/9/8,47,Polly Klaa

26、s 12 岁1993 年10月被人从加利福尼亚的家中被诱拐警察拘捕了诱拐罪犯 在犯罪记录系统中进行查询 没有任何犯罪记录，所以罪犯被释放罪犯随后就杀害了 Polly 如果警察查询了虐待儿童数据库，他会发现大量的记录,恐怖事件#1,恐怖事件#2,Richard Ramirez 被称为“Night Stalker”1985 年在洛杉矶谋杀了 13 名妇女在这期间他曾因为行为不检点被拘捕过两次被拘捕的信息最迟 6 个星期之后才被输入电脑最后被洛杉矶警方以谋杀罪拘捕时已经是 9 个月以后了!,恐怖事件#3 9.11,2023/9/8,50,唯一原因 缺乏信息的关联分析,19 个恐怖分子中的6 个在中央情报局(CIA)的监控名单上16 个人获得美国的签证(旅游,学生,工作)最起码有 4 个人有驾驶执照；所有人都有社会保险号码(SSN)关键人物使用真名租车，购买飞机票，等等州法律执行机构和其他联邦特工不知道他们在哪里，甚至也不知道有渠道可以监控他们信息全部都可获得，但是没有分析，没有共享,2023/9/8,51,唯一原因 缺乏信息的关联分析,2023/9/8,52,关联-复杂的关系,2023/9/8,53,谢 谢！,2023/9/8,54,