微观大数据.ppt

《微观大数据.ppt》由会员分享，可在线阅读，更多相关《微观大数据.ppt（38页珍藏版）》请在三一办公上搜索。

1、,微观 大数据,ZHANG DONG,一个小故事,林彪带兵打仗，身上有个小本子，上面记载着每次战斗的 数据,1948年辽沈战役，每天要进行例常“每日军情汇报”。林彪要求：俘虏要分清军官和士兵，缴获的枪支，要统计出机枪、长枪、短枪；缴获的汽车，也要分出类别。,一天深夜，值班参谋读战报：说碰到一个不大的遭遇战。林彪敏锐的,发现了数据的异常，只问了 3个问题 就判断出敌人的指挥所所在地：,为什么那里缴获的短枪与长枪的比例比其它战斗高？,为什么那里缴获和击毁的小车与大车的比例比其它战斗高？为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗高？,http:/,大数据（1）,公元前3世纪埃及的亚历山大图书

2、馆被认为收藏了人类所有知识。如果把今天全世界的信息平分给活着的每个人，每人获得,的信息量将是当年亚历山大图书馆藏书量的 320 倍,根据IDC发布的数字宇宙研究报告(Digital Universe)显示：在接下来的8年中，人类所产生的数据量将超过 40ZB(泽字,节)，相当于地球上每个人产生 5200GB 的数据 预计从现在到2020年，数据量每两年翻一番,大部分数据将不是由人类产生，而是由机器，包括机器传感,器以及与其他设备通信的智能设备,http:/,http:/,大数据（2）大数据到底有多大？一组名为“互联网上一天”的数据告诉我们：一天之中，互联网产生的全部内容可以刻满1.68亿张 D

3、VD,邮件有 2940,亿封之多,相当于美国两年的纸质信件数量,社区帖子达 200万个，相当于时代杂志770年文字量http:/,2013：大数据元年,大数据，即将成为石油、矿产类的新能源、新生产要素和巨大的经济资产，开启一次重大的时代转型。,大数据是管理国家的手段、商务经营的法宝、未来就职的热门，发达国家下一轮全球化竞争中的利器,2013 被称为大数据元年,http:/,“大数据研发”倡议书,奥巴马政府发布“大数据研发倡议书”,2012年3月29日，美国政府宣布了“大数据研究和发展倡议书”，来推进从大量的、复杂的数据集合中获取知识,和洞见的能力。该倡议涉及联邦政府的6个部门美国国家科学基金（

4、NSF）、美国国家卫生研究院（NIH）、美国能源部（DOE）、美国国防部（DOD）、美国国防部 高 级研究 计 划局（DARPA）、美国地 质 勘探局（USGS）六个部门。,http:/,数据源 x 应用行业,电子商务金融，保险医疗健康军事，安全,创业投资教育学习互联网广告影视娱乐博彩，足彩，彩票大选股票运营商交通环保农业,x,搜索数据浏览、购买数据社交媒体数据IM、邮件数据,声音数据图像数据视频数据个人健康数据压力数据GPS 位置数据行驶路线数据宏观经济数据微观经济数据犯罪数据,浏览购买数据,x 电子商务,聚划算商品预测系统聚划算中筛选商品是关键的一环，这个项目之前运营人员每人平均每天要审核

5、 200个 商品。为提升选品效率，增加爆款量，根据聚划算、淘宝的属性，卖家的属性，品牌属性，机器自动筛选高销量的商品和卖家，从海量的卖家中去找到最合适的卖家，还有合理的定价和库存管理：提高了平均单产 64%http:/,社交媒体数据 x 商业,沃尔玛在全球超过 200 万员工，有 110 个超大型配送中心，每天处理资料量超过10 亿笔。,沃尔玛收购的 Kosmix 打造的大数据系统称做“社交基因组Social Genome”：连接到 Twitter、Facebook 社交媒体。工程师从每天热门消息中推出与社会时事呼应的商品创造消费需求。,http:/,搜索数据 x 公共卫生,谷歌通过观察人们在

6、网上的搜索记录以预测流感传播在将预测结果与2007年、2008年美国疾病监控中心记录,的实际流感病例进行对比后，谷歌公司发现了45条检索词的组合，将它们用于一个特定的数学模型后，他们的预测与官方数据的相关性高达 97%，且预测更及时，不,会像官方数据一样要在流感爆发一两周后才发现,2009年甲型H1N1流感爆发的时候，与习惯性之后的官方数据相比，谷歌成为了一个更有效、更及时的指示标。,http:/,购买数据 x 机票预测,Farecast 飞机票价预测工具,Farecast 系统利用近 十万亿 条价格记录来帮助预测美,国国内航班票价而且 Farecast 票价预测准确度已经高达,75%，平均购

7、买每张机票可节省 50美元,目前已被微软收购并整合到 Bing 中,http:/,浏览数据 x 保险,中英人寿通过分析爱好、常浏览的网页、常看的节目、收入估计等好几百种生活方式数据，找出更有可能患高血压、糖尿病和抑郁症的人,申请者不必提供血液和尿样，可使保险公司在每人身上节省 125 美元,http:/,互联网数据 x 小微贷款,造成小微企业融资困境的根源有两个：资金供需双方之间信息不对称和风险管理上的激励不相容。但是，在大数据时代，这两个难题正在出现有解的可能。基于大数据应用的互联网金融产业，正尝试突破束缚小微企业融资的信息与成本枷锁，一定程度上扭转信贷资源分配的不对称格局比如 P2P 在线

8、贷款公司 Lending Club、阿里贷,谷歌 5 月 2 日称，它已经用 1.25亿 美元收购 LendingClub 的少数股权，据报道约占 7%。,http:/,互联网数据 x 阿里金融,揭秘阿里金融：转账，放贷，吸储,马云到底要推动它变成怎样的梦工厂？支付、融资、担保、理财无所不包？还是做成一个管理十亿人信用的巨型数据库和信用平台，覆盖银行、保险、券商、基金、小贷公司等所有金融机构？它目前取得了哪些成绩？它从何来到何处去？告诉你一个真实的阿里金融,http:/,体感数据 x 运动,耐克数码 Nike+,耐克将技术与运动装备相结合，推出Nike+系列，帮助用户在参加体育运动的时，检测与

9、个人相关的统计数据。该系列还拥有 APP 和社区，形成了线上的即时互动，吸引了大批消费者。,快乐，运动！,运动不一定健康，不运动一定不健康：科学运动！,http:/,体感数据 x 运动,大数据分析技术降低运动员受伤的风险,在每次训练中，老虎队球员们会佩戴高精度的身体传感器，提供有关运动中肌肉，肌腱，和呼吸系统的详细信息，从心率到施加在运动员身体上力量的反馈数据等。,球员监控系统由体育分析软件开发商 Edge10 开发，同时使用IBM提供的分析工具对收集到的信息进行分析。数据分析过程反馈的结果能够精确判断球员受伤的风险。,http:/,体感数据 x 比赛,NBA比赛背后的大数据,目前有一半的NB

10、A球队使用内嵌英特尔至强处理器的SportVU运动数据采集系统，每秒拍摄25张图片，及时进行数据分析，得出结论改进攻防策略。,“运动家”棒球队利用大数据选择球员,迈克尔.刘易斯在魔球一书里讲述了奥克兰“运动家”棒球队的经营哲学。运动家棒球队的总经理比利.比恩，依靠电脑程序和数据模型分析比赛数据，用来选择球员，指导比赛。最终他带领球队在美国联盟西部赛中夺冠，并创下20场连胜纪录。,http:/,体感数据 x 医疗,37 健康,主要针对慢性病领域人群：高血压人群。通过对病人数据云端化的采集，并对数据进行预诊性的评估，建立起病人与医生和家人之间的互动。,另外，由于慢性病治疗周期长，37健康还会提供针

11、对慢性病治疗的监测过程，包括治疗效果的反馈、药物的管理以及生活习惯的管理等等。,http:/,体感数据 x 保健,作为传统设备身份的麦克风，通常都是用来采集声音。但凭借最新发展的技术及软件，能够让这种传统设备用于新的用途：,StressSense:帮人们确定愤怒状态和后续反应之间的,关联性,BeWell:能通过监测人的“睡眠、身体活动和社交情况”,三个指标以借此评估人的整体健康状况,MusicalHeart:能分析佩戴者的心率，推荐歌曲以调节,心率,http:/,互联网数据 x 国家安全,棱镜门,据美国中情局前职员爱德华斯诺登爆料：“棱镜”窃听计划，始于2007 年的小布什时期，美国情报机构一

12、直在九家美国互联网公司中进行数据挖掘工作，从音视频、图片、邮件、文档以及连接信息中分析个人的联系方式与行动。监控的类型有10类：信息电邮，即时消息，视频，照片，存储数据，语音聊天，文件传输，视频会议，登录时间，社交网络资料的细节，其中包括两个秘密监视项目一是监视、监听民众电话的通话记录，二是监视民众的网络活动。,http:/,地理位置数据 x 安全,洛杉矶警局按计算机算法建议的路线巡逻后抢劫事件下降,25%,软件在预测犯罪上是随机检查,6倍,而人类犯罪分析专家成绩是随机 3倍该软件由加州创业公司PredPol开发，联合创始人Jeff Brantingham是 UCLA 的人类学家http:/,

13、互联网数据 x 教育,一名热爱教育事业的老师因为看不惯笨重教学过程辞职开创网络教育公司 Ontract：将包括学生信息系统、学习管理系统等数个分离的教育系统联结在一起，并通过收集和分析学生数据，为教师提供改进工作的视角,Knewton 通过“自适应学习推荐算法”提升托福考试成绩公务员考试辅导软件“猿题库”通过大数据，根据某用户“DNA”，参照其他有相同DNA用户的做题记录和数据为该用户生成高效的做题策略,http:/,http:/,搜索浏览数据 x 互联网广告,Search AdsContextual AdsBehavior TargetingRTB,大数据,x 创投,匿名 VC 爆料：挑选创

14、业团队也开始用大数据了,风投调查你都阅读些什么？电话号码的使用年数，每天第一个电话拨打的时间？创业者和欧斯曼拉瓦奇比起来怎么样？是否有斯坦福校友？,某国内知名投资公司利用微博数据发掘 靠谱的创业者http:/,搜索历史 x 票房,谷歌称能根据搜索量预测电影票房准确率94%据国外媒体报道，本周，谷歌发布一篇研究论文，称能够根据谷歌网页和 YouTube 搜索量，再加上其他辅助数据以 94%的准确率预测出好莱坞新电影首映第一个周末的票房。,http:/,60718,Netflix大数据炼金术&股价逆袭,纸牌屋探秘：Netflix 的大数据炼金术,3000万用户、每天3000多万点击、每天400万个

15、评分以及每天300 万次搜索请求，庞大的数据池，让Netflix 公司可以通过推荐算法准确找到喜欢政治惊悚片、大卫芬奇和凯文史贝西作品的观众群，创造了颠覆性的成功。,http:/,比赛数据 x 彩票,澳洲的几十位数学家携手在大量数据基础上，借助云计算，开始推导当地彩票开奖结果，他们认为海量数据会帮助他们更接近实际结果。,同时，在被认为最具技术性的足球彩票中，据专业人士透露，当前彩民能够掌握的数据只占了实际足球数据的 5%：足球比赛早已被量化成数字，足球数据不单是穆里尼奥这样世界顶级教练的掌上法宝，更是专业彩民的需求。,接下来的问题就是数据处理，精确到每场比赛每个队员每脚出球路线和其他 10个可

16、能的接球队员之间成功率这样的数据，如果以 300 场每天的量级放在普通彩民面前，数据就会像一座珠穆朗玛峰,http:/,397232819ff9a47a7b7e80a40613cfe1,社交媒体 x 大选,大数据成功预测了 2012 美总统大选 和 85 届奥斯卡,David Rothschild是微软纽约研究院一名经济学家，在2012年美国总统大选中，他正确预测了51 个选区中 50个地区的选举结果，准确性高于98%。,不久前，David Rothschild通过大数据分析，对第 85 届奥斯卡各奖项的归属进行了预测，除最佳导演外，其它各项奖预测全部命中,http:/,社交媒体 x 股价,T

17、witter 消息可预测个股的涨跌情况,Twitter 上的信息可以迅速地捕捉到市场变化情况，Twitter 上强烈的买入信号往往会预示着某支股票会在第二天带给投资者高于预期的收益率。,同时，涉及某支股票的 Twitter 消息多少还与第二天该股票交易量高低密切相关。波动幅度较大(意味着股价变化很大)会导致相关Twitter 消息数量增多，因为用户都纷纷向同行请教这方面的信息。,http:/,移动数据 x 运营商,运营商开始出售用户数据，成为大数据公司运营商的数据挖掘实践早已开始：,比如说，捕捉和拦截用户访问非法网址的绿色上网 比如分析用户消费行为后进行的针对性营销 弹出广告窗口等,美国的电信

18、运营商的步子迈得更大了，据华尔街日报报道，国外运营商开始将自己手握的海量用户数据变现，将用户的位置、旅行、上网流量习惯等信息出售给包括广告公司在内的第三方，比如 Verizon 推出的 Precision Market Insights，NBA 球队菲尼克斯太阳队就是是这项服务的客户之一，太阳队用它来找出来观看比赛的人群住在哪里，从而加强其他地区的广告营销。,http:/,地理位置 x 交通,爱尔兰首都都柏林已与IBM合作，利用实时数据来简化公交交通。大数据策略帮助了该地区的公交顺畅运行。都柏林的交通控制站能够利用数据定位巴士的实时位 置。管理人员得以快速将公交网络中潜在的问题可视化。例如，管

19、理人员可以确定拥堵区域，并在拥堵蔓延到其他交通干线之前找出问题的根源。,南京市基于强大的云平台运行智慧交通云系统、云视频监控和智能分析应用，实时采集和处理南京1000个摄像头，并对整个南京140万机动车规模的交通数据进行实时查询和分析，并主动报警、主动通知用户。,http:/,智能技术 x 农业,大数据风潮现在已吹到农业去了,100 头奶牛的农场的运营只需要“机器人+智能手机”就能将所有的事情干完。,目前传统农业正在接受移动互联网、智能技术和大数据浪潮的洗礼。对传统农业生产者，这将产生不小的冲击，但也会带来巨大的机遇,http:/,agriculture.html,其他应用,雪佛龙利用大数据技

20、术消除“炼油、销售，运输下游系统”中的重复流程和系统每年可节省 5000 万美元,美国医药贸易商 McKesson 将大数据技术融合到供应,链业务中，节省了超过 1亿美元 的流动资金,eBay分析平台每天处理数据量达100PB，通过大数据,优化其广告费降低了90%,加拿大皇家银行在大数据上每投入600万美元，就能,获得1.2亿美元的收入回报,http:/,大数据：分类,大数据的一点思考,1,大数据的 5 个开放问题,多大是大数据？越大越好吗？“大”能带来什么价值?数据，模型，应用 三者哪个更重要？大数据是好的创业方向吗？有哪些可以创业的点？工程师如何进入大数据领域？人人都在谈大数据，大数据是泡沫吗？,谢谢大家！,